timeout_1.png

问题:DS打数机出现好多 Timeout to load page

抓取好慢怎么办?


解决方案:网页抓取规则不合适,就会Timeout,DS打数机的超时时间设置为10分钟,就会变得好慢。有如下解决方案:


1)首先要解决抓取规则不合适的问题,研究不合适的原因。根据失败的线索号,在MS谋数台上加载分析,即,使用菜单“工具”->“加载规则”->“按线索号”,输入上面的某个线索号,MS谋数台会把那个网页加载上来并用抓取规则进行分析,如果规则不适合,会报错,而且会在输出窗口中显示哪个抓取内容的规则不对。根据提示重新修改抓取规则。



2)有一个技巧可是试用,就是,选中DS打数机的“配置”->“定时器触发”。轻易不要用,但是如果发现总是Timeout,就可以试试效果。比如,淘宝网页,微博网页,如果用浏览器看这样的网页,就能看到浏览器的地址输入栏那里的表示加载状态的圈一直在转,这样的网页永远加载不完,会造成DS打数机Timeout,就可以打开定时器触发。



3)修改超时时间,选择DS打数机菜单“配置”->“超时时长”,设置短一些。




举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2015-9-10 12:20

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件
  • 遇到“无法识别的应用”告警怎么办?
  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词

热门用户

GMT+8, 2024-6-23 22:25