GooSeeker
产品
资源
教程
视频教程
使用交流
资讯
开启辅助访问
切换风格
请
登录
后使用快捷导航
没有帐号?
立即注册
登录
|
注册
快捷导航
资讯
常见问题
使用交流
python交流
视频教程
资源发布公告
数学建模交流
论坛
›
搜客社区
›
使用交流
6
13506
怎样才能让同一个规则在同一台电脑用多个爬虫爬取?
HW老施
于 2015-12-24 20:34
发表
[复制链接]
[只看楼主]
[打印]
[上一主题]
[下一主题]
HW老施
积分
64
精华
0
威望
20
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
比如我想在一台电脑上开10个规则为jingjie_taobao_search的窗口,可以实现这个吗
收藏
0
转播
支持
0
反对
0
举报
|
回复
共 6 个关于本帖的回复 最后回复于 2015-12-24 20:49
ym
积分
5311
精华
24
威望
1760
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
沙发
ym
版主
发表于 2015-12-24 20:35:04
|
只看该作者
用爬虫群调度实现的话,哪个窗口跑,你是决定不了的,你只能决定运行多少个窗口,哪个窗口空闲,哪个就会被分配任务
举报
回复
支持
反对
ym
积分
5311
精华
24
威望
1760
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
板凳
ym
版主
发表于 2015-12-24 20:41:37
|
只看该作者
由于为了防止封锁ip,爬虫群做了限制,一个规则在一台电脑里只能由两个爬虫同时抓数据,多开的爬虫是不会抓的,这样的话,一个规则,可以开一个单搜窗口,一个集搜窗口,加上爬虫群的两个爬虫窗口,那么,一台电脑最多可以用四个爬虫同时来抓同一个规则的数据。
如果数量还不够,crontab.xml可以继续手工添加thread。爬虫群用的crontab,thread是很简单的几个参数,手工管理的crontab就要把规则名和各种参数都写进去,以前你应该写过,没有变化,所有参数都在这里:
http://www.gooseeker.com/doc/article-112-1.html
举报
回复
支持
反对
HW老施
积分
64
精华
0
威望
20
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
地板
HW老施
初级会员
发表于 2015-12-24 20:42:57
|
只看该作者
那这个是怎么调出那么多的
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
举报
回复
支持
反对
ym
积分
5311
精华
24
威望
1760
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
5
#
ym
版主
发表于 2015-12-24 20:44:24
|
只看该作者
本帖最后由 ym 于 2015-12-24 20:57 编辑
你去DS打数机的爬虫群菜单里配置多个爬虫,勾上自启动,然后重启DS就有这么多了,只是同一个规则目前有限制,只分配给两个爬虫,只有一个规则的话开两个就行了,多开的爬虫也不会抓数据的,有多个规则的话,就可以开多个爬虫,还有,线程名字可以随便起,不是规则名字
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
举报
回复
支持
反对
HW老施
积分
64
精华
0
威望
20
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
6
#
HW老施
初级会员
发表于 2015-12-24 20:46:00
|
只看该作者
那怎么知道是爬取哪一个规则
举报
回复
支持
反对
ym
积分
5311
精华
24
威望
1760
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
7
#
ym
版主
发表于 2015-12-24 20:49:07
|
只看该作者
本帖最后由 ym 于 2015-12-24 20:57 编辑
是由调度池自动分配采集任务给各个爬虫的,抓哪个规则是不定的,每个爬虫爬了哪些规则,点击性能就可以看到如果要限定,你就得用老crontab模式
比方我们自己的爬虫,一天要爬很多很多规则,都规定死的话,那会是个很大的规划工作,所以就用爬虫群,哪个空闲就塞给他个任务
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
举报
回复
支持
反对
返回列表
B
Color
Image
Link
Quote
Code
Smilies
高级模式
您需要登录后才可以回帖
登录
|
立即注册
发表回复
回帖并转播
回帖后跳转到最后一页
回复
推荐板块
使用交流
常见问题
数学建模交流
python交流
视频教程
精彩推荐
运行Apple无法验证的程序的方法
文本聚类分析软件的安装和使用方法
利用AI阅读和分析文本:扣子COZE记录用户反
在网页片段内直观标注——以B站评论采集为
利用AI阅读和分析文本:使用COZE建设游记文
热门话题
1
【集微库】微博采集工具箱使用常见问题
2
集搜客文本分词标注工具(V1版)
3
怎样使用快捷采集(以采集京东评论为例)
4
有没有办法采集机场的出租车信息?
5
获得积分的好方法:转发小程序、QQ群、微信
6
【求助】关于采集阿里巴巴国际站访客详情分
7
GooSeeker分词,情感分析和关键词抽取平台使
8
新浪微博_博主主页
9
怎样采集抖音关键词搜索后的数据
10
集搜客GooSeeker 网络爬虫版本发布公告
热门用户
Fuller
帖子:10575
访问主页>>
wangyong
帖子:1714
访问主页>>
gbkuce
帖子:0
访问主页>>
GMT+8, 2024-12-25 19:24
快速回复
快速发帖
返回顶部
返回列表
共 6 个关于本帖的回复 最后回复于 2015-12-24 20:49