我用过别的网络爬虫产品,时不时就弹出一个框,说网页上的脚本停止响应:
  1. A script on this page may be busy, or it may have stopped responding. You can stop the script now, or you can continue to see if the script will complete.
复制代码

据说是网站的反爬功能,集搜客网络爬虫是否也这样?



举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-3-30 13:40

沙发
Fuller 管理员 发表于 2017-3-30 13:40:24 | 只看该作者
集搜客网络爬虫不会有这种问题。因为集搜客的软件是用C++写的,性能很高,只有性能低的网络爬虫才会出现这个问题,这也不是网站防爬造成的。
淘宝、社交网站等等,为了提高用户体验,在网页上有大量的javascript代码,持续运行,如果网络爬虫对javascript代码的执行速度不行,就会提示脚本忙。比如,python爬虫、.net爬虫或者javascript爬虫,这类编程语言本身执行速度很低,加上自己没有高性能的浏览器引擎,执行网页上的复杂的JavaScript就会这样。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 16:41