官方有建議一個爬蟲群的運行數量麽？

中秋2016

我開了是10個，速度是很快，但是會遇到進行中瀏覽器自己結束進程的情況
這個怎麽解決呢？

shenzhenwan10 · 发表于 2016-11-26 21:46:28

一般建议不超过10个，和电脑配置及网站有关
你碰到的这种情况，可以测试下，比如从10个减少到8个

中秋2016 · 发表于 2016-11-26 21:46:56

多謝…我減少兩個試試看
那可以兩個不同線索的爬蟲群一起運行麽

shenzhenwan10 · 发表于 2016-11-26 21:47:15

可以的

中秋2016 · 发表于 2016-11-26 21:47:34

我有兩臺電腦登錄一個賬戶開了兩個爬蟲群可以一起爬麽
我操作了一下發現可以進行但是不確定數據是不是會重複呢

shenzhenwan10 · 发表于 2016-11-26 21:47:50

可以一起爬，不会重复

中秋2016 · 发表于 2016-11-26 21:48:43

厲害了!

共 6 个关于本帖的回复最后回复于 2016-11-26 21:48

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页