设定了一个规则抓取二级网页信息。抓取内容为新闻三要素:标题,发表时间,正文。
http://finance.sina.com.cn/roll/ ... ycaasy7926722.shtml
http://news.sina.com.cn/o/2014-11-21/023031178457.shtml
第一个网页内容抓取成功了,但是第二个网页内容抓取失败
这两个网页的网页结构我感觉是一样的,只不过第二个网页里面的新闻正文有图片。
错误分析显示规则只能抓取第二个网页的发布时间,其他信息都抓不到。但其实他们的标题的xpath的绝对路径都是一样的。
对大神帮忙解决,困扰了我好久。

举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2017-3-10 09:38

沙发
ym 版主 发表于 2017-3-9 15:34:15 | 只看该作者
规则名是什么
举报 使用道具
板凳
ym 版主 发表于 2017-3-9 15:37:05 | 只看该作者
本帖最后由 ym 于 2017-3-9 15:38 编辑

你说的绝对路径是最容易改变的,只要其中插入多一个广告或者是空行,那么绝对路径就改变了。
所以,我们通常要做定位标志映射,能够更加精确定位和增强网页结构的适应度,你给的这两篇新闻,标题、正文、发表时间的节点属性值都一样,做定位标志就会精确定位了,参考教程《定位标志精确采集》
举报 使用道具
地板
weier_2016 中级会员 发表于 2017-3-9 16:02:13 | 只看该作者
ym 发表于 2017-3-9 15:34
规则名是什么

company_news_detail
举报 使用道具
5#
weier_2016 中级会员 发表于 2017-3-9 16:19:39 | 只看该作者
ym 发表于 2017-3-9 15:37
你说的绝对路径是最容易改变的,只要其中插入多一个广告或者是空行,那么绝对路径就改变了。
所以,我们通 ...

我抓取的每个内容都做的定位标志映射的,但是还是抓不到


举报 使用道具
6#
ym 版主 发表于 2017-3-9 16:27:14 | 只看该作者
weier_2016 发表于 2017-3-9 16:19
我抓取的每个内容都做的定位标志映射的,但是还是抓不到

整理箱的顶层也要做定位标志映射,这样就能限定采集范围和提高适应度,要选择共同且唯一的属性值来做定位标志映射。


举报 使用道具
7#
weier_2016 中级会员 发表于 2017-3-9 20:20:42 | 只看该作者
好的,我明天试试,非常感谢!
举报 使用道具
8#
weier_2016 中级会员 发表于 2017-3-10 08:48:12 | 只看该作者
ym 发表于 2017-3-9 16:27
整理箱的顶层也要做定位标志映射,这样就能限定采集范围和提高适应度,要选择共同且唯一的属性值来做定位 ...

像这种,列表节点的定位标志id、class发生变化的应该怎么处理?需要重新定义抓取规则吗?

举报 使用道具
9#
weier_2016 中级会员 发表于 2017-3-10 08:51:06 | 只看该作者
ym 发表于 2017-3-9 16:27
整理箱的顶层也要做定位标志映射,这样就能限定采集范围和提高适应度,要选择共同且唯一的属性值来做定位 ...

网页的id号和class都会发生变化,这时要怎么处理?需要重新定义规则吗?

举报 使用道具
10#
ym 版主 发表于 2017-3-10 09:38:42 | 只看该作者
weier_2016 发表于 2017-3-10 08:51
网页的id号和class都会发生变化,这时要怎么处理?需要重新定义规则吗?

...

你说的这种是网页结构本身的改变,是要重新定义规则的。
如果是存在多种网页结构(dom结构不同),就要在同一个主题名下建立多个规则,以不同的规则编号来区分,每个规则就用来采集某一种网页结构,具体可以参看《采集同一网站的不同网页结构信息》

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 00:14