爬虫的超时时长一般设置多少合适

马涌河畔

爬虫的超时时长一般设置多少合适？

内容分析应用 · 发表于 2020-7-13 16:31:01

一般设置为60，就是60秒。
对于大多数网页，这个超时时长值就没问题

内容分析应用 · 发表于 2020-7-13 16:33:25

超时时长通常不影响速度，一般不要少于60s
如果设置的太小，比如5秒，那么可能网页还没有加载完全，就执行抓取然后结束了，这种情况可能会丢数据

共 2 个关于本帖的回复最后回复于 2020-7-13 16:33

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页