本帖最后由 Anna J 于 2015-12-25 11:32 编辑
我相信很多用户会有这样的场景:一个网站需要做好几个规则,才能采完想要的东西。
比如淘宝的商品数据,一要在列表页面定义一个规则,二要点击商品链接后定义规则采集宝贝详情,三要跳转到评论页签采集评论。规则是很快写好了,等待输出结果可真是叫人难受。
量大的时候一个规则要花好几个小时才能采完,每个规则需要的时间我又是不确定的,只能一边干其他工作一边观察DS打数机的进程,一个规则跑完了再手动运行下一个规则。
有了新上线的爬虫群功能,您只需要专心做规则,然后把做好的规则丢到调度池,它们会自己运行,您就等着收割数据吧!
更多关于“爬虫群”请见http://www.gooseeker.com/doc/article-200-1.html
|
|
|
|
|
共 4 个关于本帖的回复 最后回复于 2016-9-15 14:59