快捷导航
如果目标网站暂时性不可用,或者网络拥塞,DS打数机如果一直等待,必然会影响其他网页的抓取,所以,超时时长是一个保护机制,让DS打数机在适当的时候放弃抓取。可以设置1分钟以上。不要担心会造成抓取变慢。GooSeeker爬虫跟大型百度爬虫一样,都有自适应算法,能够尽早执行抓取。
  • 如果抓取时网络较慢,可以适当调大“超时时长”,避免由于超时时长设置太短造成抓取失败的情况。
  • 如果抓取的目标网页相对简单,网络较好,可减小“超时时长”提高抓取效率
Tips:打数机有智能判断能力,并不是得到超时时长结束才开始抓取网页内容,而是利用一系列智能判断标志, 一旦发现条件成熟,即刻启动抓取过程,所以,设置超时时长是不用有太多顾虑,只是在网络异常或者抓取规则 不适应时才等到超时。            

举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2017-1-13 15:41

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 在Jupyter Notebook中将分词结果转换成数组
  • 在Jupyter Notebook中使用word2vec和k-mean
  • 网络评价对水产品线上销量影响的实证分析—
  • “中坚青年”压力与动力转化的—以高校青年
  • “抖音”短视频文本里的新生代婆媳关系

热门用户

GMT+8, 2021-11-27 10:16