瀑布流翻页 为什么会把上面爬到的数据重新抓取下来

瀑布流翻页  为什么会把上面爬到的数据重新抓取下来
？？？？

因为这类瀑布流网页在不断地加载新数据的时候，老数据还是保留在html里的，所以，就会把html里的所有数据都采集下来，并不能区分新旧数据，针对这种情况，只要保留最后采到的那个xml文件，里面就包含了该瀑布流网页的所有数据了。

遇到了同样问题，但是每个xml内容都一样，请问如何解决

addmoresalt 发表于 2017-1-10 07:05
遇到了同样问题，但是每个xml内容都一样，请问如何解决

观察浏览器，往下滚屏的时候有没有显示新内容出来

Fuller 发表于 2017-1-10 07:09
观察浏览器，往下滚屏的时候有没有显示新内容出来

浏览器显示出来了，点击成功了一直在往下拉，但是数据显示每次拉完一次就重复抓一遍第一页数据，后面新产生的数据没有进入到循环中。会不会是案例复制管理的问题，有高级在设置的方法么？谢谢！

addmoresalt 发表于 2017-1-10 07:14
浏览器显示出来了，点击成功了一直在往下拉，但是数据显示每次拉完一次就重复抓一遍第一页数据，后面新产 ...

也可能是规则的问题，把规则加载上来，然后往下滚动，看到新内容，选择菜单 规则-》刷新页面结构，再选择 分析页面，然后点击“测试”按钮，看看能否抓到新内容。再观察DOM，新出现的内容，dom结构有没有变化