【集微库】微博采集工具箱使用常见问题

在微博话题广场时只抓取37条内容，而且遇到视频就停下来，为什么？

刘宝宝 发表于 2017-5-6 14:17
在微博话题广场时只抓取37条内容，而且遇到视频就停下来，为什么？

哪个话题？昨天我测试一个话题也很怪，到第二页就不翻页了。你告诉我话题名字，我测试一下

怎么采集规定的页数不用全部采集完？

ABCDFFD 发表于 2017-5-9 18:11
怎么采集规定的页数不用全部采集完？

如果要控制翻页次数，就得用爬虫群模式，

在会员中心-〉爬虫群 那里，看下面的加入爬虫群，找到那个规则，点击“调度”，在高级设置那里设置 同一线索内翻页次数。

调度参数设置好以后，还得在本地启动爬虫群，具体参看《如何运行爬虫群》

垃圾一点也好用

在搜索“择天记”的关键词，点击启动采集之后一直是“等待分配采集任务”，没有顺利运行 0.0

closeyoo 发表于 2017-5-11 12:04
在搜索“择天记”的关键词，点击启动采集之后一直是“等待分配采集任务”，没有顺利运行 0.0 ...

1，检查打数机账号密码是否输入正确，看右下角的服务器状态是什么颜色，绿色代表正常，红色代表异常。
2，再检查打数机登录的账号和微博工具的账号是否一致。
3，如果安装软件时开着360安全卫士，需要关掉360重新安装一遍软件。

你好，我一直采集途中显示已停止，timeout，我尝试很多网站了，之前都挺好用的，这是为什么呢，该怎么解决呢

1. 你有没有在GS浏览器登录微博？要登录微博。
2. 是不是爬得太多，出验证码？
3. 微博主页采集的话，可以按分页，或者按时间，分段采，断了，也能接上。

gjcjonas 发表于 2017-5-17 00:27
你好，我一直采集途中显示已停止，timeout，我尝试很多网站了，之前都挺好用的，这是为什么呢，该怎么解决 ...

比如姚晨的微博比较多，可以按时间打开来采集。