集搜客GooSeeker网络爬虫

标题: 采集微博评论转发采集中断 [打印本页]

作者: 何波波    时间: 2016-7-20 16:48
标题: 采集微博评论转发采集中断
在采集文博的评论的过程中,还没有采完,就出现打数机停止采集的情况


作者: 何波波    时间: 2016-7-20 16:52
微博会限制采集评论或者转发,翻页到中间就不能继续的访问了。另外,微博账号也是有等级的,不同的等级触发反爬虫的几率不同,爬微博数据要定期的更换微博账号,并且清理浏览器cookies。http://www.gooseeker.com/doc/thread-1872-1-1.html
作者: Fuller    时间: 2016-7-20 21:25
1,为了反爬,爬微博最好用爬虫群模式,在爬虫罗盘中设定这个任务的调度参数,每爬一页,增加一个随机的停顿。
2,如果使用我们的微博采集工具箱(http://www.gooseeker.com/land/weibo.html ),这个工具箱都把参数调试好了,只需关注第三点
3,控制每天每个微博账号采集的数量:控制在2000次点击以内。然后就换微博账号,注意使用以下步骤确保账号换得清爽:
a,在微博上登出
b,用火狐浏览器的功能清除cookie
c,重启火狐和GooSeeker爬虫
d,访问微博并登录
e,开始新的采集




欢迎光临 集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/) Powered by Discuz! X3.2