4 4881

翻页抓取

A2467800302 于 2017-1-9 20:39 发表 [复制链接]
使用翻页抓取时,抓到第三页就显示匹配错误

“MIUI社区1.9-1”是运用样例复制
“米柚1.9-1”是运用定位设置

但是结果都不行,求指教
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-1-9 22:58

shenzhenwan10 金牌会员 发表于 2017-1-9 21:04:10 | 显示全部楼层
我测试了你的规则: MIUI社区1.9-1 , 翻页没有问题
但是你每个抓取内容都勾了"关键内容", 估计失败是由于有的关键内容没抓到
你可以只保留第一个抓取内容勾选"关键内容", 其它的去掉
举报 使用道具
shenzhenwan10 金牌会员 发表于 2017-1-9 21:05:04 | 显示全部楼层
另外MIUI社区的每一页都是有独立网址的, 你也可以取消翻页设置, 直接把所有的网址都构造出来, 当作线索添加进去
举报 使用道具
Fuller 管理员 发表于 2017-1-9 21:10:14 | 显示全部楼层
遇到“匹配失败”肯定是整理箱做的映射不合适,那么就需要调到失败的那一页,用抓取规则分析一下页面,看看失败的原因。

fanyejiancha.png

1,首先不要勾选内容定位
2,那么就可以进行翻页了,翻到第三页
4,选择菜单 规则-〉刷新页面结构
5,选择菜单 规则-〉分析页面

会发现第5个抓取内容无法定位,经过观察,第三页的回复时间格式与前面的不一样,是完整日期,那么DOM节点的class值就可能不一样,那么就想办法调整成通用的

举报 使用道具
A2467800302 初级会员 发表于 2017-1-9 22:58:56 | 显示全部楼层
oo,明白啦,谢谢 !
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 00:26