我要抓取的网页经常加载时间过长导致抓取失败,明明整个网页已经加载完成,我所需要抓取的内容也一开始就加载完成,但是网页就是不停的显示正在加载中...然后不是超时抓取失败,就是抓取一个网页的时间太长。
这种情况下,我应该怎么做?整个网页一开始就会把我所需要的内容加载完,我根本不关心其他的加载情况。
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2016-8-1 11:09

沙发
Fuller 管理员 发表于 2016-5-26 16:28:51 | 只看该作者
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位标志映射用上
举报 使用道具
板凳
asia361836 新手上路 发表于 2016-5-26 18:33:28 | 只看该作者
Fuller 发表于 2016-5-26 16:28
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位 ...

还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。
举报 使用道具
地板
Fuller 管理员 发表于 2016-5-26 19:50:27 | 只看该作者
asia361836 发表于 2016-5-26 18:33
还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。 ...

规则名是什么?我帮你看看吧
举报 使用道具
5#
ym 版主 发表于 2016-5-26 22:03:27 | 只看该作者
超时失败大部分是因为网页结构与规则不匹配,你可以参考这篇文章提到的做法检查一下http://www.gooseeker.com/doc/thread-663-1-1.html
举报 使用道具
6#
asia361836 新手上路 发表于 2016-8-1 11:09:57 | 只看该作者
谢谢版大,我自己解决了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-1-15 13:56