快捷导航
如果目标网站暂时性不可用,或者网络拥塞,DS打数机如果一直等待,必然会影响其他网页的抓取,所以,超时时长是一个保护机制,让DS打数机在适当的时候放弃抓取。可以设置1分钟以上。不要担心会造成抓取变慢。GooSeeker爬虫跟大型百度爬虫一样,都有自适应算法,能够尽早执行抓取。
  • 如果抓取时网络较慢,可以适当调大“超时时长”,避免由于超时时长设置太短造成抓取失败的情况。
  • 如果抓取的目标网页相对简单,网络较好,可减小“超时时长”提高抓取效率
Tips:打数机有智能判断能力,并不是得到超时时长结束才开始抓取网页内容,而是利用一系列智能判断标志, 一旦发现条件成熟,即刻启动抓取过程,所以,设置超时时长是不用有太多顾虑,只是在网络异常或者抓取规则 不适应时才等到超时。            

举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2017-1-13 15:41

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 我国旅游管理研究的知识来源与结构—基于文
  • 面向用户评论的关键词抽取研究-以美团为例
  • 对话理论视域下趣味性短视频的传播效果研究
  • 基于最小二乘法的突发事件网络舆情演化规律
  • Jupyter Notebook怎样获取安居客二手房小区

热门用户

GMT+8, 2021-7-28 08:37