快捷导航
网速太慢导致爬虫爬到一半浏览器加载不出来就停止采集了,有什么办法能让爬虫在中断的地方继续爬数据吗

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-12-6 09:42

shengchengx 金牌会员 发表于 2017-12-6 09:42:02 | 显示全部楼层
解决方法:
1)如果是翻页采集,而且每一页都有独立网址,那么可以把断掉的下一页网址重新添加线索,就能从断开的地方作为起点采集。

2)但如果页码网址是不变的话,这种只能激活线索后重新开始采集了。
对于有页码输入框的翻页,有一个解决方法:在规则里通过连续动作设置 “点击、输入页码” 的动作,参看连续动作教程http://www.gooseeker.com/doc/article-141-1.html

3)不是翻页采集的话,有多条线索网址,再次采集时会自动从下条线索网址开始的。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 挖掘淘宝爆款商品名称中的关键词
  • 怎样抓取京东和淘宝sku对应的库存?
  • 快速建立手机用户评论特征词库-GooSeeker分
  • 为政民互动大数据分析建立特征词库
  • 比较北京和上海各个行业的招聘分布

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-5-23 12:57