做了嵌套样例复制,但是结果只能采集到第一行的第一个内容,其他的都采集不到
规则名:
政府工作报告爬取第一级
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2021-5-13 20:26

沙发
内容分析应用 金牌会员 发表于 2021-5-12 15:29:44 | 只看该作者
技术人员会测试你的规则, 如果发现问题, 会进行进一步分析
举报 使用道具
板凳
maomao 论坛元老 发表于 2021-5-12 18:55:43 | 只看该作者
对最外层的样例复制,第一个TR是第一个样例,第二个TR是第二个样例



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
Fuller 管理员 发表于 2021-5-13 11:01:23 | 只看该作者
这个规则我看看怎么调整,这个网页有些麻烦,唯独第一个单元格跟别的结构不一样,STRONG节点位置不一样,所以,规则总是失效,要用自定xpath提高适应性

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
Fuller 管理员 发表于 2021-5-13 11:12:14 | 只看该作者
因为网页上A和STRONG的嵌套关系有变化,为了适应这个变化,就用上级的TD节点做内容映射,抓取内容“年份”和“链接”都用这个td节点做内容映射,因为给链接设置了下级线索,所以,爬虫会知道要去找@href节点,不用精准地用@href映射给“链接”。


那么,剩下的工作就好做了,用红框里面的TD做样例映射给“行”,篮筐里面的TR做样例映射给“历年政府工作报告”



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
6#
Fuller 管理员 发表于 2021-5-13 11:19:32 | 只看该作者


只要勾上网址设置的任何一个选项,爬虫软件就知道要去找@href,所以,不用精确映射,可以选层次比较高的td节点

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
7#
wuli色混94 新手上路 发表于 2021-5-13 20:26:49 | 只看该作者
Fuller 发表于 2021-5-13 11:19
只要勾上网址设置的任何一个选项,爬虫软件就知道要去找@href,所以,不用精确映射,可以选层次比较高的t ...

好哒,谢谢老师
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-21 19:50