翻页抓取老是不翻页

抓一个网站，翻页标志是图片的，一直不能进行翻页。规则名称是 RD数据，麻烦各位大神帮忙看看

你的这个规则，可以做翻页也可以不做翻页。
1、不做翻页
如下图，总共48页，其实每一页都是独立的网址，也就是说从第一页到第48页都可以构造出网址来。

1. https://www.rndsystems.com/search?keywords=protein&category=Proteins%20and%20Enzymes&numResults=100

复制代码

上面的网址加上&page=1、2、3.....48就可以构造出48个页面的网址出来了

然后将网址以线索的形式批量添加给该采集规则就行了。《如何管理规则的线索》

2、做翻页
定位到翻页的节点，将@class映射给记号线索，不勾文本记号


更多翻页的问题请参看：《翻页问题锦集》

采集这个网站要连接vpn，才可以正常访问和采集
我加载不上你的规则，只是打开了样本网址分析一下，看到每一页是有独立网址的，而每一页又超级长的，所以，我建议你把规则里的翻页线索删掉，把每一页的网址构造出来，然后导入到规则里，这样就可以一页页打开采集。
页码网址：https://www.rndsystems.com/search?keywords=protein&category=Proteins and Enzymes&numResults=100&page=2
网址最后面的数字就是页码的数字，把网址贴到excel里，鼠标选中单元格右下角出现+符号再往下拖动，页码的数字会递增，这样就构造了每页的网址，这里的第一页最后面没有页码数，那就从第二页开始构造网址。注意：要检查一下网址是否有效。

ym 发表于 2016-11-4 14:48
采集这个网站要连接vpn，才可以正常访问和采集
我加载不上你的规则，只是打开了样本网址分析一下，看到每一 ...

只能通过构造网址这种形式吗？那如果没有独立网址该如何抓取？

一般都用连贯抓取，一口气翻页到底。

你的主题名是什么？可以贴出来我帮你诊断一下

Fuller 发表于 2016-11-5 08:39
一般都用连贯抓取，一口气翻页到底。

你的主题名是什么？可以贴出来我帮你诊断一下 ...

你好，我的主题名称是一级线索 "RD数据",二级线索是 "RD商品内容"

shiyanbin123 发表于 2016-11-6 11:05
你好，我的主题名称是一级线索 "RD数据",二级线索是 "RD商品内容"

我只做了稍稍一个修改，你选用了外层DIV的@class，我选用了内层DIV的@class作为记号，这个区别就大了。如果网页上对点击事件的处理是在A节点上，你点击的节点是A的父节点，所以，A根本就收不到点击事件。所以，基本原则是：点击位置尽量落到最内层的节点上

Fuller 发表于 2016-11-6 18:32
我只做了稍稍一个修改，你选用了外层DIV的@class，我选用了内层DIV的@class作为记号，这个区别就大了。 ...

我记得这俩都试过，不行啊。你刚刚测试没问题吗？

shiyanbin123 发表于 2016-11-6 20:10
我记得这俩都试过，不行啊。你刚刚测试没问题吗？

确认用@class=searchImage_forward,做记号节点可以翻页

shiyanbin123 发表于 2016-11-6 20:10
我记得这俩都试过，不行啊。你刚刚测试没问题吗？

是的，成功抓取的