天猫商品评论中,
有的评论有图片,有的评论有追评,有的有评论有图片有追评,我希望都采集下来


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-12-9 10:26

沙发
wangyong 版主 发表于 2016-12-9 10:24:27 | 只看该作者
本帖最后由 wangyong 于 2016-12-9 10:27 编辑

要将所有的信息统一细分抓取来需要建立多个抓取内容
1,普通评论内容,2,普通评论图片,3,初次评论内容,4,初次评论图片,5,追评内容,6,追评图片
分析网页结构发现不同类型的评论对应的div@class不同
普通对应的@class='tm-rate-content',初次的@class='tm-rate-premiere',追评的@class='tm-rate-append'

这种情况下所有的抓取内容都需要做自定义xpath,将对应的xpath填写到对应的抓取内容中。
评论内容和图片内容的xpath相同,只是在高级设置里不同
评论勾选的是文本内容

图片勾选的是网页片段并勾选下载图片


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
wangyong 版主 发表于 2016-12-9 10:26:20 | 只看该作者
自定义xpath教程参看《自定义xpath》
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-26 06:37