京东数据采集攻略

gz51837844 发表于 2022-12-9 10:44
如果只需要采集当前商品的评论，可以使用这个新上架的快捷采集：京东商品评论_只看当前商品
这个快捷采集 ...

好的，感谢！！

就一直采集错误

zhz976353983 发表于 2022-12-10 16:18
就一直采集错误

你使用哪个快捷采集一直错误?  可以把添加的网址也发出来，技术测试下

请问采集京东商品评论的时候，日志显示“发现重复内容，本线索终止运行”，采集被迫中止是怎么回事？另外，在模板中京东商品评论采集和按时间排序采集、当前商品评论采集三项功能有什么区别呢？

刘小凡 发表于 2023-2-23 10:58
请问采集京东商品评论的时候，日志显示“发现重复内容，本线索终止运行”，采集被迫中止是怎么回事？另外， ...

1. 翻页到最后一页时，由于页面上的翻页键还可以点击，为了避免一直采集最后一页，爬虫看到连续3页的采集内容是一样的，就终止当前采集，日志显示：发现重复内容，本线索终止运行...
2. 默认排序，按时间排序采集、当前商品评论采集这3个分别对应页面上的不同选择项。由于评论显示的数量有限制，同一个商品网址同时使用这3个快捷采集，能尽量多的采集到更多评论

刘小凡 发表于 2023-2-23 10:58
请问采集京东商品评论的时候，日志显示“发现重复内容，本线索终止运行”，采集被迫中止是怎么回事？另外， ...

京东网站的评论有翻页限制，好像是最多100页（？），采集到100页的时候，就不能再往下翻页了。会出现如上的日志提示。按时间，当前商品，这些采集工具对应京东评论网页上的选择按钮。

gz51837844 发表于 2023-2-23 11:32
1. 翻页到最后一页时，由于页面上的翻页键还可以点击，为了避免一直采集最后一页，爬虫看到连续3页的采 ...

设置了100页，且商品评论数量应该远超100页，但是爬取过程中仍会出现“发现重复内容，线索中断”的提示，最终只能爬取几十条评论，请问怎么解决

刘小凡 发表于 2023-2-23 14:03
设置了100页，且商品评论数量应该远超100页，但是爬取过程中仍会出现“发现重复内容，线索中断”的提示， ...

采集之前要登陆京东。按这个教程的第3步登陆京东。把添加的链接发出来，我们测试一下

京东的目前没什么问题了，想问下天猫的为啥也会出现类似的问题，只能采集一小部分。链接如下：https://detail.tmall.com/item.htm?id=557844179931&rn=1faf6866d099b98b16d18f2a026f7660&spm=a1z10.3-b-s.w4011-18451970580.189.327565c3xs7lbb

评论者所在地区怎么爬取？