快捷导航
网速太慢导致爬虫爬到一半浏览器加载不出来就停止采集了,有什么办法能让爬虫在中断的地方继续爬数据吗

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-12-6 09:42

shengchengx 金牌会员 发表于 2017-12-6 09:42:02 | 显示全部楼层
解决方法:
1)如果是翻页采集,而且每一页都有独立网址,那么可以把断掉的下一页网址重新添加线索,就能从断开的地方作为起点采集。

2)但如果页码网址是不变的话,这种只能激活线索后重新开始采集了。
对于有页码输入框的翻页,有一个解决方法:在规则里通过连续动作设置 “点击、输入页码” 的动作,参看连续动作教程http://www.gooseeker.com/doc/article-141-1.html

3)不是翻页采集的话,有多条线索网址,再次采集时会自动从下条线索网址开始的。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-12-18 22:48