快捷导航
1 3593

怎么增量抓数据

努力成为A 于 2016-1-14 20:49 发表 [复制链接]
怎么增量抓数据?可不可以只抓新的数据
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-1-14 20:56

ym 版主 发表于 2016-1-14 20:56:02 | 显示全部楼层
本帖最后由 ym 于 2019-5-28 10:14 编辑

下面是旧版的调度功能界面,新版本的调度功能请看《调度设置操作介绍》

如果是层级规则,第一级主题采集列表网址,第二级主题采集详情页信息,这种情况可以通过爬虫群采集实现增量抓取,分别对两级主题进行调度设置,其中第一级主题名要额外设置如下参数,才能实现采集新增网址的目的。
1、登录集搜客官网的会员中心->规则管理->***主题名->调度
2、第一级主题在设置完其他参数后,需要额外设置的参数如下:
  • 激活下级线索选择“否”
  • 下级线索重复容忍度可填0-100的范围,如果新增网址是在列表的最后一页,就要填100重头到尾采集一遍列表页,如果新增网址是在前面几页,就可以填小于100
  • 激活线索设置选择“是”,然后设置定时采集的周期时间
完成以上设置后,通过爬虫群采集,第一级主题每次采集,就会只把新增的下级线索网址传递给第二级主题,从而实现增量抓取。
QQ截图20170406103341.png
QQ截图20170406102949.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 用爬虫采集机场出租车进场出场数据的公告
  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明
  • 集搜客网络爬虫软件实现自动网页截屏
  • 怎样使用搜狐新闻搜索列表快捷工具抓取关键

热门用户

GMT+8, 2019-9-16 14:28