翻页采集，只采集了第一页和最后一页

七月等

我本来要采集总共20页的数据，也设置过了翻页采集数据列表，但是导出来的数据只有第一页和第二十页的，中间还有十几页全部没有导出来，我按照流程梳理过一遍，没发现有什么不对的地方，请高手指点一下

quyixuan · 发表于 2016-12-5 10:46:56

记号值应该用“下一页”，做记号映射，而不是用“20”

Fuller · 发表于 2016-12-5 22:03:33

关于记号映射的教程是《翻页采集列表的方法》

什么是记号映射，什么是线索定位映射，帖子《定位映射和记号映射的区别是什么》说的比较清楚

hndshlwxxcj · 发表于 2017-2-20 16:14:04

我的记号值是下一页，但是结果采集的也只有第一页和第二页，剩下的就不采集了，问题在哪，有知道的吗？

quyixuan · 发表于 2017-2-20 16:25:37

本帖最后由 quyixuan 于 2017-2-20 16:30 编辑

hndshlwxxcj 发表于 2017-2-20 16:14
我的记号值是下一页，但是结果采集的也只有第一页和第二页，剩下的就不采集了，问题在哪，有知道的吗？ ...

你在浏览器翻到第二页看看“下一页”还有没有
可能是翻到第二页后结构变了

Fuller · 发表于 2017-2-20 17:42:16

hndshlwxxcj 发表于 2017-2-20 16:14
我的记号值是下一页，但是结果采集的也只有第一页和第二页，剩下的就不采集了，问题在哪，有知道的吗？ ...

可以把主题名贴出来，帮你诊断一下

ssguoshunli · 发表于 2017-4-26 11:56:15

主题名 dalian2 我这个主题采集到第二页就不翻页了是为什么呢？我的几号映射是下一页啊谢谢管理员

Fuller · 发表于 2017-4-26 12:17:10

ssguoshunli 发表于 2017-4-26 11:56
主题名 dalian2 我这个主题采集到第二页就不翻页了是为什么呢？我的几号映射是下一页啊谢谢管理员

...

因为翻页到第二页以后，就不存在“发帖者”这个抓取内容了，你还勾了关键内容，所以到第二页就失败了。

关键内容必须是网页上总是存在的内容。

ssguoshunli · 发表于 2017-4-26 14:14:11

本帖最后由 ssguoshunli 于 2017-4-26 14:18 编辑

哦哦谢谢!这个dalian2主题下第一页和第二页的网页结构能用同一个规则吗？我想采集发帖者、回帖者

HJLing · 发表于 2017-4-26 14:48:09

ssguoshunli 发表于 2017-4-26 14:14
哦哦谢谢!这个dalian2主题下第一页和第二页的网页结构能用同一个规则吗？我想采集发帖者、回帖者
...

可以用一个规则采第一页和后面的页码
但是规则要改一下
按照下面的结构
加上定位标志映射
注意：样例复制那个节点我用的是定位标志映射，起到样例复制作用，也可以直接用样例复制映射

共 12 个关于本帖的回复最后回复于 2017-4-26 15:41

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页