【集微库】微博采集工具箱使用常见问题

Fuller · 发表于 2020-10-21 08:59:56

ghkd8566 发表于 2020-10-21 00:25
我是外国人所以我的写汉语不好。请您理解一下我吧。
下次的时候下载微博数据没问题。但是现在我下载微博数 ...

我看到数据库里面已经采集到很多数据了。你是不是已经导出过了？导出以后，如果没有新数据，就不能导出了。以前导出的数据可以在下载那里多次下载：

Fuller · 发表于 2020-10-21 09:01:40

如果在下载那里也没有看到数据，告诉我们一下，我让管理员重新激活一下下载状态

Daaandaaan · 发表于 2020-10-23 16:43:49

您好，我用工具箱爬取微博某话题下的全部评论，共有十几页，打数机显示已经滚动翻到最后一页了，并停止翻页显示“没有线索了”，但是采集状态还是“采集中”，而且点打包数据，显示只有20条可打包（积分够）是为什么？我花积分打包几次都是只有十几条评论，但明明遍历了很多页，怎么能获取全部的数据呢？

Fuller · 发表于 2020-10-23 17:04:38

Daaandaaan 发表于 2020-10-23 16:43
您好，我用工具箱爬取微博某话题下的全部评论，共有十几页，打数机显示已经滚动翻到最后一页了，并停止翻页 ...

在后台看到的日志，你每次采集到的数据量比较小。

爬虫运行的时候，爬虫窗口一定要尽量放大，还要登录好微博。如果这些都没有问题。你把要采集的微博网址发出来，我试试

杨愿安 · 发表于 2020-10-24 10:49:39

请问可以自定义抓取前几次翻页的评论吗？不需要那么多

Fuller · 发表于 2020-10-24 22:22:34

杨愿安发表于 2020-10-24 10:49
请问可以自定义抓取前几次翻页的评论吗？不需要那么多

用微博采集工具箱的话，不能限定翻页次数。微博采集规则可以单独下载下来运行，就像自己定义的规则一样运行，这样就能限定翻页次数。新浪微博的采集规则在这个版块中找：https://www.gooseeker.com/res/cr ... iew&resType=906

ujiaku2020 · 发表于 2020-10-26 17:16:25

为什么每次采集大V粉丝数据都不全，一次任务，100个大V，理论应该1W条粉丝数据，但是最多只有5000多条？

wangyong · 发表于 2020-10-26 17:29:10

采集的时候有没有把爬虫窗口最小化？采集的时候不能最小化，要保持正常

另外检查一下数据存储目录下的harvestrecord文件里面有没有文件

acui123 · 发表于 2020-10-27 13:27:58

请问，那个采集微博评论的为什么只能采集15条评论啊

wangyong · 发表于 2020-10-27 14:17:05

acui123 发表于 2020-10-27 13:27
请问，那个采集微博评论的为什么只能采集15条评论啊

采集的时候在爬虫软件里登录微博了吗？

添加的什么网址，我们测试一下

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页