集搜客GooSeeker网络爬虫

标题: 会员中心添加线索后如何抓取？ [打印本页]

作者: 坦克罐头 时间: 2016-10-21 11:43
标题: 会员中心添加线索后如何抓取？
会员中心添加线索后如何抓取？

作者: xandy 时间: 2016-10-21 12:02
我们来看下下面这个实际的应用场景——
通过会员中心给“weibo_博主主页”添加了7条线索。
[attach]1991[/attach]
现在“weibo_博主主页”这个规则中有7条线索，都是“待抓取”状态。运行这些线索要在DS打数机启动。
打开DS打数机，搜索出要运行的规则，点击“单搜”或者“集搜”都可以启动DS打数机进行抓取数据。
单搜：在当前DS窗口采集；集搜：弹出新的窗口采集。
[attach]1992[/attach]
点击集搜后，待抓取线索有几条就输入几条，点击确定。
[attach]1993[/attach]
我们看到DS打数机马上在运行抓取了。
[attach]1994[/attach]
如果不知道待抓取线索有多少条，在DS打数机右击统计线索就可以了。
[attach]1995[/attach]

作者: Fuller 时间: 2016-10-21 17:04
也可以在会员中心给这个抓取规则设置调度参数，一旦设置了调度参数，这个规则就放入了爬虫罗盘，也就是准备好了爬虫群抓取。然后，你在DS打数机上设置和运行爬虫群，这样爬虫群中的所有爬虫会自动去会员中心拿线索爬数据。具体参看《爬虫群模式，高效便捷的采集方式》

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)