【集微库】微博采集工具箱使用常见问题

Fuller · 发表于 2022-4-30 11:06:51

wx906dissertest 发表于 2022-4-30 01:04
请问较长的微博为什么无法完整采集？在excel中现实“展开全文c”怎么办？

把这样的微博网址筛选出来，添加到展开全文的快捷采集工具中采集完整的内容：https://www.gooseeker.com/res/rule_494.html

dengyuxin · 发表于 2022-5-1 22:27:18

你好，如果用关键词搜索，微博最小是一个小时作为一个时间粒度，一个小时内关于xx的话题量超过了50页，微博只显示前50页，就没有办法穷尽这段时间所有发出来的微博是吗，有其他办法可以穷尽吗？

dengyuxin · 发表于 2022-5-1 22:29:59

你好，如果用关键词搜索，微博最小是一个小时作为一个时间粒度，一个小时内关于xx的话题量超过了50页，微博只显示前50页，就没有办法穷尽这段时间所有发出来的微博是吗，有其他办法可以穷尽吗？

dengyuxin · 发表于 2022-5-1 22:47:52

如果用关键词搜索，微博最小是一个小时作为一个时间粒度，一个小时内关于xx的话题量超过了50页，微博只显示前50页，就没有办法穷尽这段时间所有发出来的微博是吗，有其他办法可以穷尽吗

Fuller · 发表于 2022-5-2 00:24:09

dengyuxin 发表于 2022-5-1 22:47
如果用关键词搜索，微博最小是一个小时作为一个时间粒度，一个小时内关于xx的话题量超过了50页，微博只显示 ...

超出50页就没办法采集更多了

dengyuxin · 发表于 2022-5-2 08:50:27

好的谢谢

dengyuxin · 发表于 2022-5-2 08:52:57

你好，请问微博关键词搜索采集中断后要怎样继续呢

gz51837844 · 发表于 2022-5-2 09:23:24

dengyuxin 发表于 2022-5-2 08:52
你好，请问微博关键词搜索采集中断后要怎样继续呢

就微博关键词搜索采集来说，无论是做了细分条件还是没有做细分，实际采集的该条件下的网址最多翻50页
你可以找到采集中断的关键词和(细分)条件，重新添加任务做采集

luguoqiang2020 · 发表于 2022-5-22 01:18:53

使用“微博关键词搜索结果采集工具”，为什么出来的结果，所有的“博文独立网址”都是空的呢？

Fuller · 发表于 2022-5-22 09:38:19

luguoqiang2020 发表于 2022-5-22 01:18
使用“微博关键词搜索结果采集工具”，为什么出来的结果，所有的“博文独立网址”都是空的呢？ ...

首先要确保使用最新版的网络爬虫软件，现在叫数据管家了，采用了新技术，老版本可能会有数据采集不下来。新版本的下载网址：https://www.gooseeker.com/pro/gooseeker.html
其次，360等安全卫士软件会拦截爬虫软件的流量，甚至删除爬虫软件的程序，导致运行异常。因为爬虫软件产生的网络流量太大，360这些软件可能是来不及过滤就直接删程序文件了

【集微库】微博采集工具箱使用常见问题

推荐板块

精彩推荐

热门话题

热门用户

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页