我做了一个规则,套用去采几百个网址,采完之后,看到有些字段是空的,但是规则测试时都能抓到呀,为啥批量采就是空的呢
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2016-11-3 10:42

沙发
ym 版主 发表于 2016-11-3 10:23:03 | 只看该作者
出现这种情况,是爬虫生成的数据规则不太适用,一般有如下几种解决方法:
1、对于抓漏的字段,要分析一下它的网页结构dom,如果是有多种网页结构,可以自定义xpath来解决,也可以做多个规则来解决。
2、如果是定位不准确的话,规则里做上定位标志映射,可以精确采集范围,参考教程《定位标志精确采集范围》
举报 使用道具
板凳
正版额外 初级会员 发表于 2016-11-3 10:35:22 | 只看该作者
好的,我检查一下规则,谢谢了
举报 使用道具
地板
Fuller 管理员 发表于 2016-11-3 10:42:09 | 只看该作者
正版额外 发表于 2016-11-3 10:35
好的,我检查一下规则,谢谢了

如果委实解决不了,可以把主题名帖出来,有管理员权限的开发人员会帮你诊断一下问题
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 19:59