快捷导航
任务名:携程旅行线路点评数据
遇到的问题:爬取携程产品评论时无法爬取到需要展开的评论以及追评的评论,但是并非每一条评论都需要展开或者有追评,请问这种情况应该怎么处理?急急急

举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2024-1-28 11:37

Fuller 管理员 发表于 2024-1-26 19:59:39 | 显示全部楼层
不应该把每个采集内容都勾上关键内容,只保留一个就可以了
只保留一个关键内容.png



举报 使用道具
ee11__ 新手上路 发表于 2024-1-27 13:18:06 | 显示全部楼层
Fuller 发表于 2024-1-26 19:59
不应该把每个采集内容都勾上关键内容,只保留一个就可以了

谢谢!但是我刚刚又尝试抓取了一次,结果是需要展开的评论内容抓取结果为空 image.jpg
请问该怎么解决呢?
举报 使用道具
Fuller 管理员 发表于 2024-1-27 23:15:03 | 显示全部楼层
ee11__ 发表于 2024-1-27 13:18
谢谢!但是我刚刚又尝试抓取了一次,结果是需要展开的评论内容抓取结果为空
请问该怎么解决呢?
...

对比一下两种点评内容的DOM结构有什么不同

这是不需要展开的:
不需要展开的30906.png

这是需要展开的:
需要展开的127231006.png

红框标出来了他们的class不一样。爬虫自动生成规则的时候会选择class属性值作为定位标志。为了避免自动选择的标志达不到目的,就要手工做定位映射。选用下图红框中的DOM节点而不是蓝框中的DOM节点,选中后用鼠标右键菜单:“定位映射”。具体用法参看教程:https://www.gooseeker.com/doc/article-527-1.html
定位映射7231116.png
举报 使用道具
ee11__ 新手上路 发表于 2024-1-28 11:37:47 | 显示全部楼层
已解决,谢谢!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系
  • 知乎话题文本分词后的共词矩阵怎样引入词语

热门用户

GMT+8, 2024-2-24 00:22