【集微库】微博采集工具箱使用常见问题

Fuller · 发表于 2017-6-1 14:59:54

476181322 发表于 2017-6-1 12:04
你好，请问要怎么设置群爬虫并行呢？

采集微博还想并行，那么一定要记得在每台计算机上用不同的微博账号登录微博。
如果只有一台计算机，轻易不要并行，否则容易被微博封锁。最好在采集2000个网页以后清理cookie，如果能换IP就更好了

小黄鸭 · 发表于 2017-6-1 22:42:49

数据打包只显示前十条，其他的都要用积分，除了用积分还能有其他方法导出数据吗

maomao · 发表于 2017-6-1 23:17:50

小黄鸭发表于 2017-6-1 22:42
数据打包只显示前十条，其他的都要用积分，除了用积分还能有其他方法导出数据吗 ...

可以购买旗舰版，打包下载数据不用积分。不限量

墨鱼仔1994 · 发表于 2017-6-13 08:24:03

你好，微博评论总共有400多条，手动可以把评论全部翻完，但第一次爬出来只有100多条，第二次爬只有20多条，这是怎么回事？

maomao · 发表于 2017-6-13 08:41:14

墨鱼仔1994 发表于 2017-6-13 08:24
你好，微博评论总共有400多条，手动可以把评论全部翻完，但第一次爬出来只有100多条，第二次爬只有20多条， ...

登录微博了吗？

gz51837844 · 发表于 2017-6-13 08:50:22

墨鱼仔1994 发表于 2017-6-13 08:24
你好，微博评论总共有400多条，手动可以把评论全部翻完，但第一次爬出来只有100多条，第二次爬只有20多条， ...

你把微博评论网址发出来, 我们测试一下

JcyRita · 发表于 2017-6-13 23:55:53

为什么搜索关键词，不管什么关键词，和什么时间，搜索出来的微博都是一样的

maomao · 发表于 2017-6-14 07:19:50

JcyRita 发表于 2017-6-13 23:55
为什么搜索关键词，不管什么关键词，和什么时间，搜索出来的微博都是一样的 ...

登录微博了吗？

善良的手榴弹 · 发表于 2017-6-21 23:33:01

为什么我在限定了爬取的时间之后，只能爬出20条数据呢？

Fuller · 发表于 2017-6-22 07:48:29

善良的手榴弹发表于 2017-6-21 23:33
为什么我在限定了爬取的时间之后，只能爬出20条数据呢？

登录微博了吗？

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页