抓取失败(超时),抓取规则不合适或者超时时间设置太短
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-10-16 18:10

沙发
wangyong 版主 发表于 2017-10-16 18:04:43 | 只看该作者
本帖最后由 wangyong 于 2017-10-16 18:11 编辑

当网页抓取规则不合适,等待的时间到了设置的“超时时长”时就会出现这个提示。

解决方案:
1)大部分是因为网页结构与规则不匹配,才会抓取失败,所以,首先要研究不合适的原因。根据DS打数机日志中失败的线索编号。


在MS谋数台上加载分析,即,使用“工具”菜单->“加载规则”->“按线索号”,输入某个线索号,MS谋数台会把那个网页加载上来并用抓取规则进行分析,如果规则不适合,就会提示**抓取内容定位不到,定位不到就是说结构不同或发生了变化,请根据提示修改规则或者针对网页另做规则。


2)修改超时时间,选择DS打数机菜单“配置”->“超时时长”,默认是60秒,不要修改小于60。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
wangyong 版主 发表于 2017-10-16 18:07:58 | 只看该作者
再次修改规则时,可以参考提高规则适应性的方法:《[url=http://www.gooseeker.com/doc/thread-4395-1-1.html]提高规则适应性的方法有哪些?
》[/url]
举报 使用道具
地板
wangyong 版主 发表于 2017-10-16 18:10:17 | 只看该作者

如果是使用爬虫群或者其他方式采集,日志栏可能处于隐藏状态,点击DS打数机底部的三角可以将日志栏展开

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-21 20:42