我的采集任务是“石油月报详情页面数据抓取”,采集网站的详情页1:http://www.syxb-cps.com.cn/CN/10.7623/syxb202102009;详情页2:http://www.syxb-cps.com.cn/CN/10.7623/syxb201804010

这2个页面的“摘要”数据结构不一致,导致没法采集“摘要数据”,定位映射也不好使,请问如何解决?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-11-11 10:01

gz51837844 管理员 发表于 2021-11-6 18:07:20 | 显示全部楼层
这2个页面的摘要部分,都在@class='panel-body line-height text-justify' 的div下面, 可以据此做定位和内容映射。 不过抓下来的文字不是非常精确,需要在excel里再做一下处理。
也可以同一个任务名下,针对每种结构单独做一个规则, 参看这篇旧版本软件的文档,原理是一样的: 《怎么在同一个主题名下建立多个规则




举报 使用道具
z417566919 中级会员 发表于 2021-11-11 09:27:06 | 显示全部楼层
gz51837844 发表于 2021-11-6 18:07
这2个页面的摘要部分,都在@class='panel-body line-height text-justify' 的div下面, 可以据此做定位和内 ...

同一个任务名下2个规则也不好使,详情页里不仅采集“摘要”数据,还有文章标题、作者等结构一致的信息,运行结果就是按照1个规则采集的
举报 使用道具
wangyong 版主 发表于 2021-11-11 10:01:37 | 显示全部楼层
z417566919 发表于 2021-11-11 09:27
同一个任务名下2个规则也不好使,详情页里不仅采集“摘要”数据,还有文章标题、作者等结构一致的信息,运 ...
  1. concat(//*[@class='panel-body line-height text-justify']/p[1],//*[@class='panel-body line-height text-justify']/*[2])
复制代码
QQ截图20211111100055.png
只做一个规则就行,按照图中的方式设置自定义xpath
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 22:01