GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

论坛 › 搜客社区 › 使用交流
1 11543

新增评论

2445406817 于 2016-8-31 13:07 发表 [复制链接] [只看楼主] [打印] [上一主题] [下一主题]
收藏 跳转到指定楼层
我制定好规则后，每天定期收集数据，可是像有些属性，例如：评论之类的呀，第一天与第二天抓取的肯定有重复的评论，我只想要第二天新增的评论应该怎么办？
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-8-31 15:12
沙发
Fuller 管理员 发表于 2016-8-31 15:12:53 | 只看该作者
存入数据库时，根据唯一性条件进行过滤，抓取的时候无法保证完全不重复
举报 使用道具
回复 支持 反对
返回列表
B Color Image Link Quote Code Smilies
高级模式
您需要登录后才可以回帖 登录 | 立即注册

推荐板块

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门话题

热门用户

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2024-4-24 23:17