我要抓取的网页经常加载时间过长导致抓取失败,明明整个网页已经加载完成,我所需要抓取的内容也一开始就加载完成,但是网页就是不停的显示正在加载中...然后不是超时抓取失败,就是抓取一个网页的时间太长。
这种情况下,我应该怎么做?整个网页一开始就会把我所需要的内容加载完,我根本不关心其他的加载情况。
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2016-8-1 11:09

Fuller 管理员 发表于 2016-5-26 16:28:51 | 显示全部楼层
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位标志映射用上
举报 使用道具
asia361836 新手上路 发表于 2016-5-26 18:33:28 | 显示全部楼层
Fuller 发表于 2016-5-26 16:28
DS打数机菜单 配置-》定时器触发 ,把他打开

如果还说超时,说明抓取规则的适应能力不够,可以考虑把定位 ...

还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。
举报 使用道具
Fuller 管理员 发表于 2016-5-26 19:50:27 | 显示全部楼层
asia361836 发表于 2016-5-26 18:33
还是不行,观察发现定时器好像根本没有触发,加入对应的定位标志也没什么效果。仍然是超时的多。 ...

规则名是什么?我帮你看看吧
举报 使用道具
ym 版主 发表于 2016-5-26 22:03:27 | 显示全部楼层
超时失败大部分是因为网页结构与规则不匹配,你可以参考这篇文章提到的做法检查一下http://www.gooseeker.com/doc/thread-663-1-1.html
举报 使用道具
asia361836 新手上路 发表于 2016-8-1 11:09:57 | 显示全部楼层
谢谢版大,我自己解决了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 05:39