快捷导航
1 3889

怎么增量抓数据

努力成为A 于 2016-1-14 20:49 发表 [复制链接]
怎么增量抓数据?可不可以只抓新的数据
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-1-14 20:56

ym 版主 发表于 2016-1-14 20:56:02 | 显示全部楼层
本帖最后由 ym 于 2019-5-28 10:14 编辑

下面是旧版的调度功能界面,新版本的调度功能请看《调度设置操作介绍》

如果是层级规则,第一级主题采集列表网址,第二级主题采集详情页信息,这种情况可以通过爬虫群采集实现增量抓取,分别对两级主题进行调度设置,其中第一级主题名要额外设置如下参数,才能实现采集新增网址的目的。
1、登录集搜客官网的会员中心->规则管理->***主题名->调度
2、第一级主题在设置完其他参数后,需要额外设置的参数如下:
  • 激活下级线索选择“否”
  • 下级线索重复容忍度可填0-100的范围,如果新增网址是在列表的最后一页,就要填100重头到尾采集一遍列表页,如果新增网址是在前面几页,就可以填小于100
  • 激活线索设置选择“是”,然后设置定时采集的周期时间
完成以上设置后,通过爬虫群采集,第一级主题每次采集,就会只把新增的下级线索网址传递给第二级主题,从而实现增量抓取。
QQ截图20170406103341.png
QQ截图20170406102949.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 网络爬虫占满了c盘怎么清理
  • 为什么采集速卖通用户评论翻页不了
  • 多级规则执行连续动作而输入动作不在第一级
  • 特征工程入门介绍
  • NLP文本情感分析入门

热门用户

GMT+8, 2019-11-22 23:22