我要抓取的网页经常加载时间过长导致抓取失败,明明整个网页已经加载完成,我所需要抓取的内容也一开始就加载完成,但是网页就是不停的显示正在加载中...然后不是超时抓取失败,就是抓取一个网页的时间太长。
这种情况下,我应该怎么做?整个网页一开始就会把我所需要的内容加载完,我根本不关心其他的加载情况。
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2016-8-1 11:09

沙发
Fuller 管理员 发表于 2016-5-26 16:28:51 | 只看该作者
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位标志映射用上
举报 使用道具
板凳
asia361836 新手上路 发表于 2016-5-26 18:33:28 | 只看该作者
Fuller 发表于 2016-5-26 16:28
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位 ...

还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。
举报 使用道具
地板
Fuller 管理员 发表于 2016-5-26 19:50:27 | 只看该作者
asia361836 发表于 2016-5-26 18:33
还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。 ...

规则名是什么?我帮你看看吧
举报 使用道具
5#
ym 版主 发表于 2016-5-26 22:03:27 | 只看该作者
超时失败大部分是因为网页结构与规则不匹配,你可以参考这篇文章提到的做法检查一下http://www.gooseeker.com/doc/thread-663-1-1.html
举报 使用道具
6#
asia361836 新手上路 发表于 2016-8-1 11:09:57 | 只看该作者
谢谢版大,我自己解决了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 21:27