意思是,比如我要采集三层的数据,第一层是链接,第二层是链接,第三层是内容,就要建立三个主题,在DS打数机中需要先采集第一层,第一层采集完后才能手动的采集第二层,以及后面的第三层,我想问的是能不能判定一下第一层采集完后自动采集第二层,第二层采集完后自动采集第三层呢?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2015-9-12 15:44

沙发
gz51837844 管理员 发表于 2015-9-12 12:05:18 | 只看该作者
可以的,可以把3层的采集主题名都配置到crontab.xml里, 这样每一级采集主题在有新的线索生成后,都会自动开始抓取。
关于周期性抓取配置,请看这篇文章 http://www.gooseeker.com/cn/node/technology/files/pss
举报 使用道具
板凳
huang2891526 新手上路 发表于 2015-9-12 13:41:18 | 只看该作者
gz51837844 发表于 2015-9-12 12:05
可以的,可以把3层的采集主题名都配置到crontab.xml里, 这样每一级采集主题在有新的线索生成后,都会自动开 ...

这个有点儿难,我没有看懂!
举报 使用道具
地板
gooseeker_info 金牌会员 发表于 2015-9-12 15:44:25 | 只看该作者
huang2891526 发表于 2015-9-12 13:41
这个有点儿难,我没有看懂!!!!

生成crontab.xml的工具:http://www.gooseeker.com/res/tooldetail_4.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件
  • 遇到“无法识别的应用”告警怎么办?

热门用户

GMT+8, 2024-9-8 10:26