关键内容空元素,爬虫整页漏采集,或是整页不采集,

能否设置,关键内容空元素,采集为0值 ,其他字段有元素的继续采集,

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2020-6-5 18:49

沙发
goodhanbin 中级会员 发表于 2020-6-5 11:17:15 | 只看该作者
关键内容空元素,无DIV节点,见下图,
问题:关键内容有些行有元素,有些行无无素值:空值 ,爬虫直接漏采集或是不采,

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
Fuller 管理员 发表于 2020-6-5 16:12:10 | 只看该作者
goodhanbin 发表于 2020-6-5 11:17
关键内容空元素,无DIV节点,见下图,
问题:关键内容有些行有元素,有些行无无素值:空值 ,爬虫直接漏采 ...

没有DIV,但是有TD,一样的方法,用这个TD做内容映射
举报 使用道具
地板
goodhanbin 中级会员 发表于 2020-6-5 17:10:42 | 只看该作者
定位使用TD定位的,内容映射,使用:div下一级的,attributes值 ,做内容映射,整页测试时,可以采到10行,正式采集时,只整到9行,另外,有些页只采1行数据 ,有些却可以采到10数据

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
Fuller 管理员 发表于 2020-6-5 17:16:28 | 只看该作者
有内容的,在TD下面还有一个DIV?没有内容的没有吗?

做内容映射的时候,不要使用TD下的div,用TD做内容映射就好了
举报 使用道具
6#
goodhanbin 中级会员 发表于 2020-6-5 17:22:00 | 只看该作者
Fuller 发表于 2020-6-5 17:16
有内容的,在TD下面还有一个DIV?没有内容的没有吗?

做内容映射的时候,不要使用TD下的div,用TD做内容映 ...

是的,[size=13.3333px]有内容的,在TD下面还有一个DIV,
[size=13.3333px]没内容的,[size=13.3333px]在TD下面没有DIV,
举报 使用道具
7#
goodhanbin 中级会员 发表于 2020-6-5 17:28:07 | 只看该作者
Fuller 发表于 2020-6-5 17:16
有内容的,在TD下面还有一个DIV?没有内容的没有吗?

做内容映射的时候,不要使用TD下的div,用TD做内容映 ...

另外,“[size=13.3333px]做内容映射的时候,不要使用TD下的div,用TD做内容映”
[size=13.3333px]

[size=13.3333px]

[size=13.3333px]这个行不通哈,TD没有对应的内容,只能选TD下的DIV值 ,详见以上动图

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
8#
Fuller 管理员 发表于 2020-6-5 17:54:37 | 只看该作者
采集TD就包含了下面的DIV,节点范围越大,采集到的内容越多
举报 使用道具
9#
goodhanbin 中级会员 发表于 2020-6-5 18:03:32 | 只看该作者
Fuller 发表于 2020-6-5 17:54
采集TD就包含了下面的DIV,节点范围越大,采集到的内容越多

采集TD的字段,如果字段内容稍多,就会变成....详见动态,

所以,不得已才选TD下面的DIV值,显示全部的字段

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
10#
goodhanbin 中级会员 发表于 2020-6-5 18:09:26 | 只看该作者
Fuller 发表于 2020-6-5 17:54
采集TD就包含了下面的DIV,节点范围越大,采集到的内容越多

选TD节点,字段采集数据只有部分,变成...  见动图1

选TD下面节点,字段采集全部,见动图

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-22 02:24