0 11993

工具不断的去重复抓取能判断那些是更新的吗？

Fuller 于 2015-12-16 18:43 发表 [复制链接] [只看楼主] [打印] [上一主题] [下一主题]

问：工具不断的去重复抓取能判断那些是更新的吗？

答：如果你抓下一级线索，能判断更新的，因为抓到的下级网址会在服务器上做专门的处理，会判断是否以前已经抓取过，请参看crontab.xml参数说明，可以做成增量抓取。请注意，新版本GooSeeker推出了爬虫群功能，不用再手工写crontab.xml了，参看：http://www.gooseeker.com/doc/article-197-1.html

如果是抓内容，判断不了，需要导入数据库后用程序判断

转播

支持

反对

举报使用道具

| 回复

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43

返回列表

精彩推荐

利用AI阅读和分析文本：扣子COZE记录用户反
在网页片段内直观标注——以B站评论采集为
利用AI阅读和分析文本：使用COZE建设游记文
使用AI工具Kimi生成python代码为文本分析结
苹果mac电脑安装集搜客网络爬虫软件失败的

工具不断的去重复抓取能判断那些是更新的吗？

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43

推荐板块

精彩推荐

热门话题

热门用户

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页

工具不断的去重复抓取 能判断那些是更新的吗？

共 0 个关于本帖的回复 最后回复于 2015-12-16 18:43

推荐板块

精彩推荐

热门话题

热门用户

工具不断的去重复抓取能判断那些是更新的吗？

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43