11#
wangyudan123 初级会员 发表于 2022-12-9 13:11:49 | 只看该作者
gz51837844 发表于 2022-12-9 10:44
如果只需要采集当前商品的评论,可以使用这个新上架的快捷采集:京东商品评论_只看当前商品
这个快捷采集 ...

好的,感谢!!
举报 使用道具
12#
zhz976353983 新手上路 发表于 2022-12-10 16:18:23 | 只看该作者
就一直采集错误
举报 使用道具
13#
gz51837844 管理员 发表于 2022-12-10 17:30:25 | 只看该作者

你使用哪个快捷采集一直错误?  可以把添加的网址也发出来,技术测试下

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
14#
刘小凡 新手上路 发表于 2023-2-23 10:58:15 | 只看该作者
请问采集京东商品评论的时候,日志显示“发现重复内容,本线索终止运行”,采集被迫中止是怎么回事?另外,在模板中京东商品评论采集和按时间排序采集、当前商品评论采集三项功能有什么区别呢?
举报 使用道具
15#
gz51837844 管理员 发表于 2023-2-23 11:32:02 | 只看该作者
刘小凡 发表于 2023-2-23 10:58
请问采集京东商品评论的时候,日志显示“发现重复内容,本线索终止运行”,采集被迫中止是怎么回事?另外, ...




1. 翻页到最后一页时,由于页面上的翻页键还可以点击,为了避免一直采集最后一页,爬虫看到连续3页的采集内容是一样的,就终止当前采集,日志显示:发现重复内容,本线索终止运行...
2. 默认排序,按时间排序采集、当前商品评论采集这3个分别对应页面上的不同选择项。由于评论显示的数量有限制,同一个商品网址同时使用这3个快捷采集,能尽量多的采集到更多评论


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
16#
maomao 论坛元老 发表于 2023-2-23 11:32:51 | 只看该作者
刘小凡 发表于 2023-2-23 10:58
请问采集京东商品评论的时候,日志显示“发现重复内容,本线索终止运行”,采集被迫中止是怎么回事?另外, ...

京东网站的评论有翻页限制,好像是最多100页(?),采集到100页的时候,就不能再往下翻页了。会出现如上的日志提示。按时间,当前商品,这些采集工具对应京东评论网页上的选择按钮。
举报 使用道具
17#
刘小凡 新手上路 发表于 2023-2-23 14:03:14 | 只看该作者
gz51837844 发表于 2023-2-23 11:32
1. 翻页到最后一页时,由于页面上的翻页键还可以点击,为了避免一直采集最后一页,爬虫看到连续3页的采 ...

设置了100页,且商品评论数量应该远超100页,但是爬取过程中仍会出现“发现重复内容,线索中断”的提示,最终只能爬取几十条评论,请问怎么解决
举报 使用道具
18#
maomao 论坛元老 发表于 2023-2-23 15:07:20 | 只看该作者
本帖最后由 maomao 于 2023-2-23 16:16 编辑
刘小凡 发表于 2023-2-23 14:03
设置了100页,且商品评论数量应该远超100页,但是爬取过程中仍会出现“发现重复内容,线索中断”的提示, ...

采集之前要登陆京东。按这个教程的第3步登陆京东。把添加的链接发出来,我们测试一下

举报 使用道具
19#
刘小凡 新手上路 发表于 2023-2-23 18:42:05 | 只看该作者
京东的目前没什么问题了,想问下天猫的为啥也会出现类似的问题,只能采集一小部分。链接如下:https://detail.tmall.com/item.htm?id=557844179931&rn=1faf6866d099b98b16d18f2a026f7660&spm=a1z10.3-b-s.w4011-18451970580.189.327565c3xs7lbb
举报 使用道具
20#
zyrklzs1314 初级会员 发表于 2023-12-11 16:06:15 | 只看该作者
评论者所在地区怎么爬取?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-22 16:15