本帖最后由 ym 于 2016-5-31 11:40 编辑
大家用爬虫群要注意一点:为了避免封锁ip,请控制好爬虫数量(最大允许运行爬虫数)
如果是同一个抓取规则,同一台计算机建议允许2个爬虫窗口,防止被封锁
如果同一个规则要在不同计算机上抓取,要给每台计算机起爬虫名字(在DS打数机文件菜单->爬虫名字中修改),这样每台计算机就会分别运行最多2个爬虫窗口;如果名字相同,就当成同一台了,只能运行到2个爬虫窗口。
如果遇到限制访问的情况,请参考这篇文章解决 http://www.gooseeker.com/doc/thread-676-1-1.html
|
共 2 个关于本帖的回复 最后回复于 2020-3-16 17:15