翻页中间某页开始重复，翻不过去

主题名：IT互联网行业薪酬
打数机翻页到某一页就翻不下去了，一直在那一页重复，设置重复停止的话就中断了，而且每次中断的位置页数都不一样，请问这是什么原因

采集的网站无法访问，可以在浏览器中手工翻页看看，看是否也会翻不了页。

规则的样本网址需要翻墙还是公司内部网站？这边打不开，观察翻到哪一页会一直重复，再分析那一页的网页结构与其他页是否不一样，再可以重新加载规则，跳转到重复翻页的那一页，再分析规则是否适应页面

浏览器内可以翻页，没发现中断页有什么不一样

数据集 发表于 2018-4-28 09:48
规则的样本网址需要翻墙还是公司内部网站？这边打不开，观察翻到哪一页会一直重复，再分析那一页的网页结构 ...

每次重复中断的位置不一样，上一次在第9页，下一次重新开始爬又在23页，再下次又在第4页

给抓取内容做上定位标志映射，精确采集范围

有些网页之间的结构存在细微的不同，直接看是发现不了的，要把发生重复采集的那一页加载到规则去 ，后续分析看规则是否报错

中断的页数不一样，是不是网速问题，如果网页加速速度慢，超时时长一到网页还没加载出来就会采集结束，如果是这样，在打数机的配置中把超时时长调大，同时把滚屏打开，在滚屏参数中设置滚屏次数不为0即可

之前抓取内容错乱，同一行的字段总是抓到第一个字段，没有独立的class或ID值，所以选用了绝对定位，超时时长页设置了5000秒，滚屏次数也是2次，但每次都是因为网页重复中断。

hulili 发表于 2018-4-28 10:37
之前抓取内容错乱，同一行的字段总是抓到第一个字段，没有独立的class或ID值，所以选用了绝对定位，超时时 ...

用相对线索翻页试试

umsung 发表于 2018-4-28 11:22
用相对线索翻页试试

试了，还是不行

最好不要用绝对定位，绝对定位会降低规则的适应性

每一页都有独立网址吗？如果每一页都有独立网址，知道总页数就可以批量构造出全部页码的网址，然后直接添加到规则里，同时要删掉规则里的翻页设置，就可以单页采集，不用担心采漏某一页或者是重复翻页。《构造网址》的方式