【集微库】微博采集工具箱使用常见问题

Fuller · 发表于 2020-10-23 17:04:38

Daaandaaan 发表于 2020-10-23 16:43
您好，我用工具箱爬取微博某话题下的全部评论，共有十几页，打数机显示已经滚动翻到最后一页了，并停止翻页 ...

在后台看到的日志，你每次采集到的数据量比较小。

爬虫运行的时候，爬虫窗口一定要尽量放大，还要登录好微博。如果这些都没有问题。你把要采集的微博网址发出来，我试试

杨愿安 · 发表于 2020-10-24 10:49:39

请问可以自定义抓取前几次翻页的评论吗？不需要那么多

Fuller · 发表于 2020-10-24 22:22:34

杨愿安发表于 2020-10-24 10:49
请问可以自定义抓取前几次翻页的评论吗？不需要那么多

用微博采集工具箱的话，不能限定翻页次数。微博采集规则可以单独下载下来运行，就像自己定义的规则一样运行，这样就能限定翻页次数。新浪微博的采集规则在这个版块中找：https://www.gooseeker.com/res/cr ... iew&resType=906

ujiaku2020 · 发表于 2020-10-26 17:16:25

为什么每次采集大V粉丝数据都不全，一次任务，100个大V，理论应该1W条粉丝数据，但是最多只有5000多条？

wangyong · 发表于 2020-10-26 17:29:10

采集的时候有没有把爬虫窗口最小化？采集的时候不能最小化，要保持正常

另外检查一下数据存储目录下的harvestrecord文件里面有没有文件

acui123 · 发表于 2020-10-27 13:27:58

请问，那个采集微博评论的为什么只能采集15条评论啊

wangyong · 发表于 2020-10-27 14:17:05

acui123 发表于 2020-10-27 13:27
请问，那个采集微博评论的为什么只能采集15条评论啊

采集的时候在爬虫软件里登录微博了吗？

添加的什么网址，我们测试一下

ambei1996 · 发表于 2020-10-28 16:50:20

为什么我采集了好几次都不成功已经按照说明来的每次都告诉我错误哭了

Fuller · 发表于 2020-10-28 17:04:30

ambei1996 发表于 2020-10-28 16:50
为什么我采集了好几次都不成功已经按照说明来的每次都告诉我错误哭了

可以加入qq群，让技术支持协助你一些，可以加入这个群：674721846

Hioooo · 发表于 2020-11-17 18:02:51

请问微博关键词爬出来的数据有很多都是没有展开全文，这个有办法解决吗？

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页