快捷导航
如果目标网站暂时性不可用,或者网络拥塞,DS打数机如果一直等待,必然会影响其他网页的抓取,所以,超时时长是一个保护机制,让DS打数机在适当的时候放弃抓取。可以设置1分钟以上。不要担心会造成抓取变慢。GooSeeker爬虫跟大型百度爬虫一样,都有自适应算法,能够尽早执行抓取。
  • 如果抓取时网络较慢,可以适当调大“超时时长”,避免由于超时时长设置太短造成抓取失败的情况。
  • 如果抓取的目标网页相对简单,网络较好,可减小“超时时长”提高抓取效率
Tips:打数机有智能判断能力,并不是得到超时时长结束才开始抓取网页内容,而是利用一系列智能判断标志, 一旦发现条件成熟,即刻启动抓取过程,所以,设置超时时长是不用有太多顾虑,只是在网络异常或者抓取规则 不适应时才等到超时。            

举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2017-1-13 15:41

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 对共词关系求协方差矩阵后再用Girvan-Newma
  • 社区发现算法Girvan-Newman(GN)是否能应用
  • 使用GooSeeker分词和Gephi进行中文文本分析
  • Gephi社会网络分析-网络图的统计
  • 范文:亚运短视频对杭州城市形象的建构研究

热门用户

GMT+8, 2023-2-2 09:21