规则制作是正确的,在测试的时候如果没有选择做链接标签,测试的时候数据就全部都能抓取,如果添加了链接标签,并做了内容映射到链接,结果前面的几条链接都可以正常抓取,后面的链接都为空,这个是什么原因造成的????

采集网站:https://guangzhou.anjuke.com/sale/changban/
采集规则名:第一个房产

如图:



QQ截图20170830231338.jpg
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-9-1 09:48

guiguzhu 初级会员 发表于 2017-8-30 23:29:32 | 显示全部楼层
使用同样的操作步骤做了另外一个规则,所有的数据都可以顺利抓取,那么是什么原因导致我帖子上的抓取出现遗漏了??

同样的步骤测试成功的另外一个
主题名:鬼哥第二个测试
测试链接:http://www.jisouke.com/doc/forum ... mp;orderby=dateline

这个全部抓取都正确
举报 使用道具
shenzhenwan10 金牌会员 发表于 2017-8-30 23:37:44 | 显示全部楼层
给“链接”做上定位标志映射,如下图:
alj.png
举报 使用道具
bowieD 金牌会员 发表于 2017-8-31 09:27:11 | 显示全部楼层
第一个网址的结构要复杂些,需要给抓取内容做上定位标志映射,爬虫就能精准的抓取需要的信息,如果还不行就改成绝对定位。
举报 使用道具
guiguzhu 初级会员 发表于 2017-8-31 20:07:43 | 显示全部楼层
bowieD 发表于 2017-8-31 09:27
第一个网址的结构要复杂些,需要给抓取内容做上定位标志映射,爬虫就能精准的抓取需要的信息,如果还不行就 ...

已经解决了  谢谢你的帮助
举报 使用道具
guiguzhu 初级会员 发表于 2017-8-31 20:08:42 | 显示全部楼层
shenzhenwan10 发表于 2017-8-30 23:37
给“链接”做上定位标志映射,如下图:

已经解决了  谢谢你的帮助

但是请问一下是如何判断出来该网页需要做定位标志映射的了?
举报 使用道具
bowieD 金牌会员 发表于 2017-9-1 09:48:40 | 显示全部楼层
无论是什么网页,做每一个规则时,最好都做上定位映射,这样爬虫就能精准的抓取需要的信息,避免不必要的错误《定位映射》
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-17 00:02