爬取中国亚马逊网站遇到503怎么解决?

爬了一部分然后就返回503了

集搜客有采集Amazon亚马逊的快捷工具，输入网址，就可以采集，不用自己做采集规则，非常快捷方便。

503是一种HTTP状态码。英文名503 Service Unavailable与404（404 Not Found)是同属一种网页状态出错码。由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况503是临时的，并且将在一段时间以后恢复。但并不意味着必须在服务器过载的时候使用它。某些服务器只不过是希望拒绝某些客户端的连接。

爬数据的时候出现503，应该是服务器拒绝了访问，那就暂停采集，缓一段时间再采集，并且要注意放慢采集速度和设置采集的间隔周期

有网友说就算解决了亚马逊503问题，amazon返回给爬虫的价格也是错的，会这样吗？
果真是这样的话，要怎样才能跑到正确的价格。

xandy 发表于 2015-12-21 14:13
有网友说就算解决了亚马逊503问题，amazon返回给爬虫的价格也是错的，会这样吗？
果真是这样的话，要怎样才 ...

集搜客GooSeeker采用精准抓取技术，抓取的时候会做校验，根据设定的关键内容校验是否有正常的内容，如果定位到才抓取，如果没有发现，则会报日志。所以，抓到错误价格的可能性很小。出现503的时候，整个网页内容都不一样了，会报错