【集微库】微博采集工具箱使用常见问题

Fuller 发表于 2020-9-4 12:22
用的是哪个工具？博主主页采集？还是关键词搜索采集？

关键词

请问，抓取全部微博内容后，很多条微博文字太多没有抓全，最后几个字是展开全文c，这个问题怎么解决？

ykl1031300815 发表于 2020-9-4 14:39
关键词

你加一下这个QQ群：813874590
把相关截图发一下

ykl1031300815 发表于 2020-9-4 14:39
关键词

要预先在集搜客浏览器中登录微博，正在采集过程中，不能最小化爬虫窗口，还没有采集完成的时候，不要关闭窗口。可以加入qq群，让技术支持协助诊断一下：661795153

damdadi 发表于 2020-9-4 14:46
请问，抓取全部微博内容后，很多条微博文字太多没有抓全，最后几个字是展开全文c，这个问题怎么解决？ ...

把有展开全文字样的博文独立链接找到后，添加到展开全文的快捷采集：https://www.gooseeker.com/res/da ... 8%E9%87%87%E9%9B%86

damdadi 发表于 2020-9-4 14:46
请问，抓取全部微博内容后，很多条微博文字太多没有抓全，最后几个字是展开全文c，这个问题怎么解决？ ...

在excel中，把这些网址过滤出来，添加到这个快捷采集工具中，会展开采集全文：https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8%E7%BD%91%E7%AB%99&web=%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A&rule=%E5%BE%AE%E5%8D%9A%E5%8D%9A%E6%96%87%E5%B1%95%E5%BC%80%E5%85%A8%E9%83%A8%E9%87%87%E9%9B%86

请问MAC电脑在终端如何手动打开多个窗口爬数据？我要爬500个博主信息，是否开的窗口越多，完成的越快呢？

pighill 发表于 2020-9-7 09:10
请问MAC电脑在终端如何手动打开多个窗口爬数据？我要爬500个博主信息，是否开的窗口越多，完成的越快呢？ ...

采集微博的时候，我们特意把速度调慢了，因为很容易被微博反爬。通常一台电脑一天采集量不要超过1万个网页。如果你开多个爬虫群窗口，微博采集任务比较多的时候，确实会更多窗口一起爬数据，但是网络爬虫很可能会被封锁，整个速度都受影响了。

如果任务特别多，最好分散到多台电脑同时运行，每台电脑登录微博的账号不用重用，各自一个账号，但是集搜客账号是同一个，那么这些电脑就会一起执行相同的任务。专业版可以同时运行2台，旗舰版可以同时运行5台，还可以加电脑。

pighill 发表于 2020-9-7 09:10
请问MAC电脑在终端如何手动打开多个窗口爬数据？我要爬500个博主信息，是否开的窗口越多，完成的越快呢？ ...

在爬虫软件的右上角启动打数机后，在配置里可以运行多个爬虫群窗口。

但是微博工具的调度为了应对反爬是特殊设置的，一台电脑无论开多少个窗口都会只有一个窗口运行采集，因为同时采集的窗口多了会遇到反爬封锁

如果想要加快采集速度，需要在多台电脑上运行爬虫窗口。

Fuller 发表于 2020-9-7 09:25
采集微博的时候，我们特意把速度调慢了，因为很容易被微博反爬。通常一台电脑一天采集量不要超过1万个网 ...

好的，谢谢