爬取多个网页会不会因为网页加载慢而没办法爬到所有数据?

上图是我打开采集的网页,发现数据是有的,就是没采集全。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-1-20 15:36

沙发
xandy 论坛元老 发表于 2017-1-20 15:36:51 | 只看该作者
网页上应该存在一些一定会有的内容,把他们设置成关键内容,这是防止抓空数据的关键。
另外,网页加载太慢的话,你可在DS上通过设置滚屏参数把抓取速度放慢来,避免抓空。


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 16:39