1161#
Fuller 管理员 发表于 2020-10-23 17:04:38 | 只看该作者
Daaandaaan 发表于 2020-10-23 16:43
您好,我用工具箱爬取微博某话题下的全部评论,共有十几页,打数机显示已经滚动翻到最后一页了,并停止翻页 ...

在后台看到的日志,你每次采集到的数据量比较小。

爬虫运行的时候,爬虫窗口一定要尽量放大,还要登录好微博。如果这些都没有问题。你把要采集的微博网址发出来,我试试
举报 使用道具
1162#
杨愿安 新手上路 发表于 2020-10-24 10:49:39 | 只看该作者
请问可以自定义抓取前几次翻页的评论吗?不需要那么多
举报 使用道具
1163#
Fuller 管理员 发表于 2020-10-24 22:22:34 | 只看该作者
杨愿安 发表于 2020-10-24 10:49
请问可以自定义抓取前几次翻页的评论吗?不需要那么多

用微博采集工具箱的话,不能限定翻页次数。微博采集规则可以单独下载下来运行,就像自己定义的规则一样运行,这样就能限定翻页次数。新浪微博的采集规则在这个版块中找:https://www.gooseeker.com/res/cr ... iew&resType=906
举报 使用道具
1164#
ujiaku2020 初级会员 发表于 2020-10-26 17:16:25 | 只看该作者
为什么每次采集大V粉丝数据都不全,一次任务,100个大V,理论应该1W条粉丝数据,但是最多只有5000多条?
举报 使用道具
1165#
wangyong 版主 发表于 2020-10-26 17:29:10 | 只看该作者
采集的时候有没有把爬虫窗口最小化?采集的时候不能最小化,要保持正常

另外检查一下数据存储目录下的harvestrecord文件里面有没有文件

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
1166#
acui123 新手上路 发表于 2020-10-27 13:27:58 | 只看该作者
请问,那个采集微博评论的为什么只能采集15条评论啊
举报 使用道具
1167#
wangyong 版主 发表于 2020-10-27 14:17:05 | 只看该作者
acui123 发表于 2020-10-27 13:27
请问,那个采集微博评论的为什么只能采集15条评论啊

采集的时候在爬虫软件里登录微博了吗?

添加的什么网址,我们测试一下
举报 使用道具
1168#
ambei1996 新手上路 发表于 2020-10-28 16:50:20 | 只看该作者
为什么我采集了好几次都不成功 已经按照说明来的 每次都告诉我错误 哭了
举报 使用道具
1169#
Fuller 管理员 发表于 2020-10-28 17:04:30 | 只看该作者
ambei1996 发表于 2020-10-28 16:50
为什么我采集了好几次都不成功 已经按照说明来的 每次都告诉我错误 哭了

可以加入qq群,让技术支持协助你一些,可以加入这个群:674721846
举报 使用道具
1170#
Hioooo 新手上路 发表于 2020-11-17 18:02:51 | 只看该作者
请问微博关键词爬出来的数据有很多都是没有展开全文,这个有办法解决吗?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 10:00