【集微库】微博采集工具箱使用常见问题

如果抓取的博文转发数特别多，DS打数机会在爬取数据翻到最后一页的时候，显示匹配失败
对了，购买专业版的集搜客可以无限量地打包数据吗

sunshine_h2so4 发表于 2017-3-22 09:52
如果抓取的博文转发数特别多，DS打数机会在爬取数据翻到最后一页的时候，显示匹配失败
对了，购买专业版的 ...

评论和转发微博本身是限制翻页的，转发和评论多的话不可能一翻到底。
旗舰版才支持无限打包。
具体看这里：《windows版爬虫功能列表》

xandy 发表于 2017-3-22 10:01
评论和转发微博本身是限制翻页的，转发和评论多的话不可能一翻到底。
旗舰版才支持无限打包。
具体看这里 ...

那抓取这种转发数多的微博有什么相应的处理措施吗？
专业版和免费版打包数据都是1积分20条数据吗

sunshine_h2so4 发表于 2017-3-22 10:10
那抓取这种转发数多的微博有什么相应的处理措施吗？
专业版和免费版打包数据都是1积分20条数据吗

调整抓取频率，放慢速度。购买专业版会送490积分。

是设置DS打数机的“配置”-》“延迟抓取”和“超时时长”的数值吗？把它们的值设的大一些？

sunshine_h2so4 发表于 2017-3-22 10:25
是设置DS打数机的“配置”-》“延迟抓取”和“超时时长”的数值吗？把它们的值设的大一些？ ...

可以看看这个帖子：抓取微博中断

嗯呢

学习

为什么抓了31页后ds还在翻页 怎么能停下ds而不丢失数据呢

炸酱面 发表于 2017-3-26 13:26
为什么抓了31页后ds还在翻页 怎么能停下ds而不丢失数据呢

是工具箱中的哪个工具？关键词搜索吗？

如果强制关闭DS，翻页就中断了，此时的数据还没有入库，需要再次运行DS打数机，就会再次启动一次入库。一般是不会丢数据的