抓取失败(超时),抓取规则不合适或者超时时间设置太短
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-10-16 18:10

wangyong 版主 发表于 2017-10-16 18:04:43 | 显示全部楼层
本帖最后由 wangyong 于 2017-10-16 18:11 编辑

当网页抓取规则不合适,等待的时间到了设置的“超时时长”时就会出现这个提示。

解决方案:
1)大部分是因为网页结构与规则不匹配,才会抓取失败,所以,首先要研究不合适的原因。根据DS打数机日志中失败的线索编号。

QQ截图20171016180211.png
在MS谋数台上加载分析,即,使用“工具”菜单->“加载规则”->“按线索号”,输入某个线索号,MS谋数台会把那个网页加载上来并用抓取规则进行分析,如果规则不适合,就会提示**抓取内容定位不到,定位不到就是说结构不同或发生了变化,请根据提示修改规则或者针对网页另做规则。

QQ截图20171016180346.png
2)修改超时时间,选择DS打数机菜单“配置”->“超时时长”,默认是60秒,不要修改小于60。

举报 使用道具
wangyong 版主 发表于 2017-10-16 18:07:58 | 显示全部楼层
再次修改规则时,可以参考提高规则适应性的方法:《[url=http://www.gooseeker.com/doc/thread-4395-1-1.html]提高规则适应性的方法有哪些?
》[/url]
举报 使用道具
wangyong 版主 发表于 2017-10-16 18:10:17 | 显示全部楼层
QQ截图20171016180903.png
如果是使用爬虫群或者其他方式采集,日志栏可能处于隐藏状态,点击DS打数机底部的三角可以将日志栏展开
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 21:08