集搜客GooSeeker网络爬虫

标题: 怎么提高微博采集速度 [打印本页]

作者: 发誓学好内容分析 时间: 2021-5-7 10:25
标题: 怎么提高微博采集速度
我用集搜客数据管家V10.6.2采集微博博主发布的所有微博，也用关键词搜索采集某个话题下的所有微博。我发现采集关键词搜索结果还好，采集博主主页的速度特别慢。如下图，我观察到滚屏都到底了，滚屏数还在增加，感觉浪费了很多时间。有没有办法加快速度
[attach]14210[/attach]

作者: Fuller 时间: 2021-5-7 10:31
V10.6.2和以前版本在控制滚屏方面速度有些慢，要下载V10.6.3及其以后的版本，专门优化了速度。滚屏次数不再是滚屏的总数了，而是额外滚屏数。

如果是自己定义的数据采集规则，那么滚屏数可以设置成2，表示滚屏到底的时候，再额外滚屏2次。为了防止判断失误，可以把额外滚屏数设置得更大一些。

微博采集工具箱和快捷采集，滚屏次数是管理员设置好的，自己调整不了，只要下载V10.6.3及其以后版本，就能感受到速度提升了。

另外，在数据管家软件界面上集成了主要工具的入库，不用在地址栏输入网址，只需点击左栏的按钮。注意下图圈出来的几个入口：
[attach]14211[/attach]

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)