【集微库】微博采集工具箱使用常见问题

dada1017 · 发表于 2021-2-28 19:23:11

登陆了

Fuller · 发表于 2021-2-28 19:48:30

dada1017 发表于 2021-2-28 19:23
登陆了

是不是已经有两个爬虫窗口在运行了？后续的所有的点击启动操作都不会再启动更多窗口了。

启动更多窗口会遭到微博封锁。一般需要分散到多台电脑上，每台电脑运行两个窗口。专业版可以两台电脑同时运行，旗舰版可以有5台，还可以外加电脑，最多到20台。再多就要vip版了。

dada1017 · 发表于 2021-3-1 00:19:09

如果我要采集很多很多的数据，几十万条这样？但是一天有50页的限制，有什么方法能或者技巧可以让采集的速度更快嘛还是一定要每天来采50 页

Fuller · 发表于 2021-3-1 07:36:12

dada1017 发表于 2021-3-1 00:19
如果我要采集很多很多的数据，几十万条这样？但是一天有50页的限制，有什么方法能或者技巧可以让采集的速度 ...

如果是采集微博关键词搜索结果的话，可以细分到小时

dada1017 · 发表于 2021-3-2 23:22:50

Fuller 发表于 2021-3-1 07:36
如果是采集微博关键词搜索结果的话，可以细分到小时

已经细分到小时了，但是如果我要采集很多，到50页之后自动就会停止采集，我要怎么样才能让他继续采集呢？

Fuller · 发表于 2021-3-2 23:49:24

dada1017 发表于 2021-3-2 23:22
已经细分到小时了，但是如果我要采集很多，到50页之后自动就会停止采集，我要怎么样才能让他继续采集呢？ ...

还可以细分到地区，还能再多采集一些

itroyslb · 发表于 2021-3-3 09:11:44

为什么不能爬取展开全文的内容呢？

Fuller · 发表于 2021-3-3 09:32:50

itroyslb 发表于 2021-3-3 09:11
为什么不能爬取展开全文的内容呢？

含有“展开全文”的微博网址要过滤出来，添加到另外一个快捷采集工具中，专门展开采集全文，是这个微博博文展开全部采集

scraper · 发表于 2021-3-3 09:34:43

itroyslb 发表于 2021-3-3 09:11
为什么不能爬取展开全文的内容呢？

可以爬微博展开全文，用快捷采集上的微博博文展开全部采集工具对博文进行筛选，将包含展开全文内容的博文独立网址，添加到微博博文展开全部采集工具中
具体可以参考这个帖子的置顶回答：https://www.gooseeker.com/doc/thread-11134-1-1.html

xinzhe · 发表于 2021-3-9 10:02:28

你好可以爬取是否是认证用户吗

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页