对于进行点击后网页地址完全不变的情况,要怎么爬取数据
http://www.gooseeker.com/doc/thread-6843-1-1.html
(出处: 集搜客GooSeeker网络爬虫)
前几天遇到了“连续动作”方面的问题,很感谢大神帮我解决了。还是这个网站,这个页面,遇到了不知道用翻页还是连续动作的问题
在点击“查询符合条件的机型”后,在网页上会显示这个默认列表有1610页,在浏览器上是可以一页一页翻页成功的。
在写了翻页的规则之后,第一页可以顺利翻到第二页,并采集信息。可是之后会一直重复采集第二页。我在编写规则的页面,先取消了“内容定位”的情况下,也无法翻页到第三页,会一直卡在第二页。
看了一下代码,这个翻页动作不是用下一页的地址写的,而是用一个onclick动作触发了,这是在编写规则的窗口和爬数据时不能翻页到第三页的原因吗?我应该怎么解决呢
这样我是应该写两个动作吗?
如果是做一个“查询符合条件的机型”点击动作,一个“下一页”点击动作的话。在大神分享给我的这个例子里把信息与连续动作步骤对应起来—以58同城分类采集为例,是做完两个动作以后开始第二个规则来采集具体信息,然后再做两个点击动作。但是这个网站,在采集第一页的时候,我在点击了“查询符合条件的机型”后出现的第一页列表需要先采集完信息,才能执行下一页。
如果是按翻页做的话,要怎么做呢?
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
|
|
|
|
共 3 个关于本帖的回复 最后回复于 2017-3-13 16:17