采集国外智库数据时总是超时怎么解决?

sangsang1806

如题
规则名：lowy
在抓取时总是抓取失败，检查线索显示超时，不知道是因为网络原因还是其他原因？求解答

yangwenge · 发表于 2018-3-15 16:38:26

本帖最后由 yangwenge 于 2018-3-15 16:40 编辑

采集的时候观察下是否是页面没有加载出来就报错了，
可以在打数机菜单》》配置》》将延迟抓取和超时时长设置长一点（这边设置的是500秒）。

这边测试规则是没有问题的，就是网站加载比较慢

sangsang1806 · 发表于 2018-3-15 17:29:43

yangwenge 发表于 2018-3-15 16:38
采集的时候观察下是否是页面没有加载出来就报错了，
可以在打数机菜单》》配置》》将延迟抓取和超时时长设 ...

亲测有效

谢谢解答！解决了困扰我好几天的问题

Fuller · 发表于 2018-3-15 17:31:05

sangsang1806 发表于 2018-3-15 17:29
亲测有效谢谢解答！解决了困扰我好几天的问题

刚才我测试了一下，这个网站太慢了，确实要把超时时长设置长一些

sangsang1806 · 发表于 2018-3-15 17:39:29

Fuller 发表于 2018-3-15 17:31
刚才我测试了一下，这个网站太慢了，确实要把超时时长设置长一些

是的……设置成了5000秒让它自己爬去,有点心塞

共 4 个关于本帖的回复最后回复于 2018-3-15 17:39

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页