能不能自己设定爬虫运行对应的规则

TonyJiang

我有3个规则，希望配置3个爬虫来爬对应的规则
3个主题对应的网页和数据都不一样。

我想弄3台电脑同时抓取不同规则的数据，或者一台电脑同时抓取不同规则的数据

quyixuan · 发表于 2016-12-26 10:22:53

TonyJiang · 发表于 2016-12-26 10:23:13

quyixuan 发表于 2016-12-26 10:22
配置爬虫群模式http://www.gooseeker.com/doc/article-197-1.html

有一个问题，我希望电脑A爬取的是规则A的数据，电脑B爬取的是规则B的数据。不希望他们有所穿插。这样能做到么？

quyixuan · 发表于 2016-12-26 10:23:24

TonyJiang 发表于 2016-12-26 10:23
有一个问题，我希望电脑A爬取的是规则A的数据，电脑B爬取的是规则B的数据。不希望他们有所穿插。这样能 ...

可以

共 3 个关于本帖的回复最后回复于 2016-12-26 10:23

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页