集搜客爬虫群大批量采集数据的场景、原理和价值

Fuller · 最后登录 2024-11-22

这是一个文档合集

1，场景描述

2，使用手册

3，入口网址

qq16359 · 发表于 2016-5-4 01:33:10

好像很厉害的样子喔

ethree · 发表于 2016-7-1 11:11:11

好像很厉害的样子喔

markjl · 发表于 2016-10-8 17:28:39

是用什么语言写的？python 么？

wjzeng · 发表于 2016-10-14 09:07:31

为什么最大允许运行爬虫数设置成4的时候可以进行爬虫，设置成2的时候就不可以了呢？单开两个爬虫也不能运行......

Fuller · 发表于 2016-10-14 09:12:00

wjzeng 发表于 2016-10-14 09:07
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫，设置成2的时候就不可以了呢？单开两个爬虫也不能运行 ...

有这个问题？我们测试一下。我先确认一下你的设置，是不是这样的：
1）在会员中心设置主题的调度参数，把最大运行爬虫数量设置为2
2）在DS打数机上配置爬虫群
DS打数机上爬虫群任务窗口设置了多少个？要2或者大于2

wjzeng · 发表于 2016-10-14 09:17:19

最大允许运行爬虫数必须设置成大于等于4吗？

shenzhenwan10 · 发表于 2016-10-14 09:24:32

wjzeng 发表于 2016-10-14 09:07
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫，设置成2的时候就不可以了呢？单开两个爬虫也不能运行 ...

我刚才测试了一下，没发现异常
你说的“设置成4的时候可以运行，设置成2的时候不可以”，具体是什么现象？
是爬虫没有进行爬取？还是只有1个窗口有爬取？

shenzhenwan10 · 发表于 2016-10-14 09:29:37

wjzeng 发表于 2016-10-14 09:17
最大允许运行爬虫数必须设置成大于等于4吗？

最大允许爬虫数是1到20的整数

wjzeng · 发表于 2016-10-14 09:55:47

shenzhenwan10 发表于 2016-10-14 09:24
我刚才测试了一下，没发现异常
你说的“设置成4的时候可以运行，设置成2的时候不可以”，具体是什么现象 ...

最大允许运行爬虫数设置成1、2、3的时候爬虫没有进行爬取（所有爬虫窗口都是），设置成大于4时才可以

共 28 个关于本帖的回复最后回复于 2018-1-4 16:46

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页