我用过别的网络爬虫产品,时不时就弹出一个框,说网页上的脚本停止响应:
  1. A script on this page may be busy, or it may have stopped responding. You can stop the script now, or you can continue to see if the script will complete.
复制代码

据说是网站的反爬功能,集搜客网络爬虫是否也这样?



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-3-30 13:40

沙发
Fuller 管理员 发表于 2017-3-30 13:40:24 | 只看该作者
集搜客网络爬虫不会有这种问题。因为集搜客的软件是用C++写的,性能很高,只有性能低的网络爬虫才会出现这个问题,这也不是网站防爬造成的。
淘宝、社交网站等等,为了提高用户体验,在网页上有大量的javascript代码,持续运行,如果网络爬虫对javascript代码的执行速度不行,就会提示脚本忙。比如,python爬虫、.net爬虫或者javascript爬虫,这类编程语言本身执行速度很低,加上自己没有高性能的浏览器引擎,执行网页上的复杂的JavaScript就会这样。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 12:51