5 11664

抓取可以设置ip的网站

shiyanbin123 于 2016-10-19 10:57 发表 [复制链接]
本帖最后由 shiyanbin123 于 2016-10-19 11:02 编辑

https://www.rndsystems.com/produ ... a-protein-cf_156-b7
这是网站地址,我想抓取里面的价格。注意:必须选择成美国ip我自己写了规则后,但失败率特别高,4000个链接成功率只有4分之一。
降低速度,也试过,不行

UT0OI439$5V$PYZP_K_J7A1.png
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2016-10-21 18:02

Fuller 管理员 发表于 2016-10-19 11:18:50 | 显示全部楼层
规则名是什么?管理员帮你诊断一下
举报 使用道具
shiyanbin123 初级会员 发表于 2016-10-20 08:34:36 | 显示全部楼层
Fuller 发表于 2016-10-19 11:18
规则名是什么?管理员帮你诊断一下

你好,规则名是 rd价格
举报 使用道具
ym 版主 发表于 2016-10-20 09:59:20 | 显示全部楼层
看规则没有问题,你把爬失败的网址加载出来,分析一下结构是否有差异。操作参考http://www.gooseeker.com/doc/article-272-1.html
举报 使用道具
shiyanbin123 初级会员 发表于 2016-10-20 11:00:05 | 显示全部楼层
ym 发表于 2016-10-20 09:59
看规则没有问题,你把爬失败的网址加载出来,分析一下结构是否有差异。操作参考http://www.gooseeker.com/d ...

关键在于,这个跟可以手动切换ip没关系吗?
举报 使用道具
Fuller 管理员 发表于 2016-10-21 18:02:18 | 显示全部楼层
shiyanbin123 发表于 2016-10-20 11:00
关键在于,这个跟可以手动切换ip没关系吗?

这个网页我测试了一下,设置哪个国家是记录在cookie中的,一旦你设置了以后,关闭浏览器,再次打开,还有有效的。

如果是这样的话,一开始先手工切换好,然后跑爬虫,把需要的网址都爬完。如果需要爬其他地方的,就再次重新设置
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 22:50