抓取可以设置ip的网站

https://www.rndsystems.com/produ ... a-protein-cf_156-b7
这是网站地址，我想抓取里面的价格。注意：必须选择成美国ip我自己写了规则后，但失败率特别高，4000个链接成功率只有4分之一。
降低速度，也试过，不行

规则名是什么？管理员帮你诊断一下

Fuller 发表于 2016-10-19 11:18
规则名是什么？管理员帮你诊断一下

你好，规则名是 rd价格

看规则没有问题，你把爬失败的网址加载出来，分析一下结构是否有差异。操作参考http://www.gooseeker.com/doc/article-272-1.html

ym 发表于 2016-10-20 09:59
看规则没有问题，你把爬失败的网址加载出来，分析一下结构是否有差异。操作参考http://www.gooseeker.com/d ...

关键在于，这个跟可以手动切换ip没关系吗？

shiyanbin123 发表于 2016-10-20 11:00
关键在于，这个跟可以手动切换ip没关系吗？

这个网页我测试了一下，设置哪个国家是记录在cookie中的，一旦你设置了以后，关闭浏览器，再次打开，还有有效的。

如果是这样的话，一开始先手工切换好，然后跑爬虫，把需要的网址都爬完。如果需要爬其他地方的，就再次重新设置