【集微库】微博采集工具箱使用常见问题

lzh3366 发表于 2017-3-12 17:15
为什么我选了微博关键词搜索下，时间为2016年某天的微博抓取，抓到的数据只有10条？？而且都是今天的微博 ...

你应该是没有登录微博。如果使用GS网络爬虫，就在GS浏览器中先登录微博，再运行爬虫。如果你用的是Firefox插件版，就先在Firefox中登录微博

为什么有些博文独立网址在采集的最后都会显示出错？

sunshine_h2so4 发表于 2017-3-22 09:40
为什么有些博文独立网址在采集的最后都会显示出错？

检查你添加的任务的链接是不是正确的，具体什么问题可以描述清楚点

如果抓取的博文转发数特别多，DS打数机会在爬取数据翻到最后一页的时候，显示匹配失败
对了，购买专业版的集搜客可以无限量地打包数据吗

sunshine_h2so4 发表于 2017-3-22 09:52
如果抓取的博文转发数特别多，DS打数机会在爬取数据翻到最后一页的时候，显示匹配失败
对了，购买专业版的 ...

评论和转发微博本身是限制翻页的，转发和评论多的话不可能一翻到底。
旗舰版才支持无限打包。
具体看这里：《windows版爬虫功能列表》

xandy 发表于 2017-3-22 10:01
评论和转发微博本身是限制翻页的，转发和评论多的话不可能一翻到底。
旗舰版才支持无限打包。
具体看这里 ...

那抓取这种转发数多的微博有什么相应的处理措施吗？
专业版和免费版打包数据都是1积分20条数据吗

sunshine_h2so4 发表于 2017-3-22 10:10
那抓取这种转发数多的微博有什么相应的处理措施吗？
专业版和免费版打包数据都是1积分20条数据吗

调整抓取频率，放慢速度。购买专业版会送490积分。

是设置DS打数机的“配置”-》“延迟抓取”和“超时时长”的数值吗？把它们的值设的大一些？

sunshine_h2so4 发表于 2017-3-22 10:25
是设置DS打数机的“配置”-》“延迟抓取”和“超时时长”的数值吗？把它们的值设的大一些？ ...

可以看看这个帖子：抓取微博中断

嗯呢