|
1,为了反爬,爬微博最好用爬虫群模式,在爬虫罗盘中设定这个任务的调度参数,每爬一页,增加一个随机的停顿。
2,如果使用我们的微博采集工具箱(http://www.gooseeker.com/land/weibo.html ),这个工具箱都把参数调试好了,只需关注第三点
3,控制每天每个微博账号采集的数量:控制在2000次点击以内。然后就换微博账号,注意使用以下步骤确保账号换得清爽:
a,在微博上登出
b,用火狐浏览器的功能清除cookie
c,重启火狐和GooSeeker爬虫
d,访问微博并登录
e,开始新的采集 |
|
共 2 个关于本帖的回复 最后回复于 2016-7-20 21:25