3 7492

翻页采集中断

inthin 于 2017-8-25 09:43 发表 [复制链接]
翻页采集的时候,翻页还没完,就自动中断完成了,日志那边什么都没提示,帮忙测试看看什么问题,谢谢!
规则名:列表翻页测试2
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-8-25 10:40

bowieD 金牌会员 发表于 2017-8-25 09:59:04 | 显示全部楼层
本帖最后由 bowieD 于 2017-8-25 10:01 编辑

原因可能是翻页到中间后,线索范围的的定位标志与第一页的定位标志不同。
分析第一页和失败页面,找到共有的@class值或者@id值在谋数台中做为线索范围定位标志。
翻页到中间就断掉的解决方法,你先看看这个教程《翻页到中间就失败了怎么解决》,看能不能找到解决方法。
举报 使用道具
inthin 初级会员 发表于 2017-8-25 10:35:08 | 显示全部楼层
bowieD 发表于 2017-8-25 09:59
原因可能是翻页到中间后,线索范围的的定位标志与第一页的定位标志不同。
分析第一页和失败页面,找到共有 ...

谢谢,这个可以确定翻页的每个页面都是一样的,目前一个原因可能和网络状况和采集速度有关系
举报 使用道具
bowieD 金牌会员 发表于 2017-8-25 10:40:55 | 显示全部楼层
本帖最后由 bowieD 于 2017-8-25 11:06 编辑

1,跟网络状况有关就需要你们自己内部解决。采集是在本机上进行的,所以是你们的网络状况有关。
2,跟采集速度有关可以参考这个教程《怎么样优化DS打数机/爬虫参数提高抓取速度》去改善


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 12:54