:显示抓取成功,还有爬虫算法需要优化,怎么办

答:显示“需要优化”的话,数据能抓下来,但是速度很慢,要等到超时了才抓。如果没有设置的话,超时时间是10分钟,很长,可以设短一些。但是,最关键是找出来为什么总是超时,总是提示需要优化。如果抓淘宝类网站,这种情况很常见,没有别的好办法。如果是普通的静态网页,这种问题就可能是规则不合适。淘宝和新浪微博类的,可以把超时设置短一些,比如,1分钟,还有一个设置 定时器触发,可以大大加快速度,但是能造成遗漏。



如果有这么一个旋转的圈的,经常会出现那个“需要优化”提示。有些网页,虽然都看到了需要的内容,但是总是旋转,那就设置 定时器触发。

那该如何设置呢?

都在配置菜单中




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-5-24 10:46

沙发
ym 版主 发表于 2016-5-24 10:46:57 | 只看该作者
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-3-12 17:08