在爬取京东评论的时候老是抓取的重复数据，这是为什么呢？

这几天在抓京东数据的时候，抓了大约300条以后老是抓取重复数据，抓取的速度并不快，一分钟大约才30条左右，大家有知道怎么回事的么？

是翻页抓取还是抓独立的网页？

如果是翻页，手工翻页看看是否有重复。

我们以前遇到过，是京东网站的问题，过段时间就出现这个问题

Fuller 发表于 2016-4-29 17:16
是翻页抓取还是抓独立的网页？

如果是翻页，手工翻页看看是否有重复。

是抓取翻页的，要是抓取的商品的评论小于1万条的就不出现这种情况，但是大于一万条就会出现大量重复

houwenlong1993 发表于 2016-4-29 22:22
是抓取翻页的，要是抓取的商品的评论小于1万条的就不出现这种情况，但是大于一万条就会出现大量重复 ...

可能京东网站只能让大家看1万条

Fuller 发表于 2016-4-29 22:34
可能京东网站只能让大家看1万条

不是的，只要爬评论多的产品就会出现大量重复，评论少的还可以，我想问一下，以前怎么处理的

houwenlong1993 发表于 2016-4-30 17:56
不是的，只要爬评论多的产品就会出现大量重复，评论少的还可以，我想问一下，以前怎么处理的 ...

这种情况是京东网站的原因，其实没有太好的办法，只能在抓取下来以后做过滤