法规数据无法采集全文内容

规则名：国家法律法规数据_详情      li2
不管怎么制定采集详情规则，利用爬虫群采集时几乎都采集不了法规全文内容，只有个别线索能采集到内容


地址:
https://flk.npc.gov.cn/detail2.html?ZmY4MDgwODE3NzdkMDdjNTAxNzdiOGQ4NjcwMDM4ZDQ%3D
https://flk.npc.gov.cn/detail2.html?ZmY4MDgwODE3NmQ1ZDRkODAxNzZkNzEyYzAzNDAzZTI%3D
https://flk.npc.gov.cn/detail2.html?ZmY4MDgwODE3NmQ1ZDRkODAxNzZkNzEyYzAzNDAzZTI%3D
https://flk.npc.gov.cn/detail2.html?ZmY4MDgwODE2ZjNjYmIzYzAxNmY0MGUxMmMzYzA4ZGE%3D
https://flk.npc.gov.cn/detail2.html?ZmY4MDgwODE2ZjNlOThiZDAxNmY0MWUxMzk1YTAxNWY%3D
https://flk.npc.gov.cn/detail2.html?ZmY4MDgwODE2ZjNjYmIzYzAxNmY0MGY0OGM4ZTBkZTY%3D

这种页面，需要使用连续动作的”滚轮“滚屏功能以前旧版爬虫下做过类似测试，是可以采集的。新版爬虫，技术今天会测试下

不使用滚轮也能采集，滚轮功能是旗舰版的，那么使用免费版可以当成层级采集。
第一级采集iframe的网址，作为第二级的线索。因为要采集的内容是放在iframe中的。



第二级，就是采集一个普通网页，如果很长，用普通的自动滚屏就行了。

Fuller 发表于 2022-4-27 10:44
不使用滚轮也能采集，滚轮功能是旗舰版的，那么使用免费版可以当成层级采集。
第一级采集iframe的网址，作 ...

做了层级后还是只能采集一部分内容，网页不能自动滚屏

https://wb.flk.npc.gov.cn/xzfg/h ... f8eae6ac103f1d.html
https://wb.flk.npc.gov.cn/xzfg/h ... ba21c0580f4bf4.html
https://wb.flk.npc.gov.cn/xzfg/h ... 7266bab7cfb083.html
https://wb.flk.npc.gov.cn/xzfg/h ... f3a858feb44ee7.html
https://wb.flk.npc.gov.cn/xzfg/h ... b363ec7f223b48.html

gz51837844 发表于 2022-4-27 10:33
这种页面，需要使用连续动作的”滚轮“滚屏功能以前旧版爬虫下做过类似测试，是可以采集的。新版爬虫，技术 ...

滚轮好像不起作用

lubbio 发表于 2022-4-28 10:40
滚轮好像不起作用

我设置了页面自然滚屏，确实没起作用。
滚轮滚屏还没测试

马涌河畔 发表于 2022-4-28 15:49
我设置了页面自然滚屏，确实没起作用。
滚轮滚屏还没测试

用旧版爬虫的滚轮滚屏功能，可以实现逐页采集，不过每个法规的页数不一样，也不太好控制
附件是这个网址对应的3页：
https://wb.flk.npc.gov.cn/xzfg/h ... f3a858feb44ee7.html

新版网络爬虫的滚轮操作有点问题，要用老版爬虫：https://www.gooseeker.com/pro/product.html

第一步，创建整理箱
每一页都有一个div，有特定的class值，所以，用这个class值做定位映射，映射给容器节点，同时，用这个节点做内容映射，映射给抓取内容。实际上，这一个分页下有两页，奇数页和偶数页，如果要分别采集，可以做两个抓取内容



第二步，定义滚轮动作
这个网页就像pdf一样，只有滚动到了才显示内容，而且要用滚轮动作才行，滚屏不行。


采集结果如下，我把每两页抓取到一起了，没有分开，如果要分开，在整理箱中创建两个抓取内容