快捷导航
目标是通过频繁爬某位博主微博主页,收集他新发出来的微博,以防止他删除看不到。目前实现了爬一次的功能,周期性还不知道怎么做,另外,如果频繁的爬比如1分钟一次,那岂不是一天内要生成n多垃圾文件,这个问题能不能解决。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-5-27 23:35

Fuller 管理员 发表于 2016-5-27 23:35:37 | 显示全部楼层
1,周期性爬有两种方式:
a,在会员中心,找到这个规则,为他设置调度参数,那么它就被放到爬虫罗盘中了,就能周期性调度,而且知道他的运行状态。DS端设置成爬虫群模式就能自动获得调度任务。
b,在DS端,用crontab.xml调度爬虫
前一种方法目前只开放了按天调度,如果需要分钟级,需要开通收费的vip服务

2,重复内容过滤的方法需要在数据库中做,先都导入数据库,然后根据条件把重复的过滤掉。目前免费的会员中心不提供重复过滤,需要开通vip服务

如果需要开通vip服务,请留言
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-9-25 20:42