【集微库】微博采集工具箱使用常见问题

lalaxiaoer 发表于 2019-11-13 16:02
爬到的数据里博主发的内容如果比较多就会显示展开全文，而不是全部内容，这个怎么解决呀 ...

这里有个现成的快捷采集工具，需要进入到每篇博文，爬虫会自动点击展开全文：https://www.gooseeker.com/res/datadiy.html?category=%E7%A4%BE%E4%BA%A4&web=%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A&rule=%E5%BE%AE%E5%8D%9A%E5%8D%9A%E6%96%87%E5%B1%95%E5%BC%80%E5%85%A8%E9%83%A8%E9%87%87%E9%9B%86

您好，我想问微博全文过长，如何设置在爬虫的时候自动展开全文呢？

为什么我选择展开全文的爬虫    就一直显示错误   不能继续爬了呢

养猩猩的猪 发表于 2019-11-24 22:58
为什么我选择展开全文的爬虫    就一直显示错误   不能继续爬了呢

我安排人检查一下这个爬虫规则

养猩猩的猪 发表于 2019-11-24 22:58
为什么我选择展开全文的爬虫    就一直显示错误   不能继续爬了呢

我们检查到微博展开全文的快捷采集没有问题

采集展开全文的数据是需要添加微博的独立网址：https://weibo.com/1737737970/Fz7dw8A8u?refer_flag=1001030103_&type=comment#_rnd1574645520243

先采集关键词搜索列表，然后从关键词搜索列表中筛选出要展开全文的微博，再进行采集

养猩猩的猪 发表于 2019-11-24 22:24
您好，我想问微博全文过长，如何设置在爬虫的时候自动展开全文呢？

爬关键词得到的excel数据表中，有一列是博文独立网址。把博文独立网址批量复制添加到博文展开工具。

maomao 发表于 2019-11-25 09:37
爬关键词得到的excel数据表中，有一列是博文独立网址。把博文独立网址批量复制添加到博文展开工具。

谢谢

博主主页链接是那个复制的链接吗？为什么我粘贴后还不可以？

leijiah 发表于 2019-12-1 20:32
博主主页链接是那个复制的链接吗？为什么我粘贴后还不可以？

看到这样的内容的时候，就是博主的主页

为什么我抓微博评论只能抓到一页啊?我想抓一条微博的所有评论怎么抓呀？