想要爬取网站上所有的产品数据,但是没有默认的列表状态,需要进行至少一次点击操作才能出现列表。看了关于连续动作的内容,能找到的教程里介绍的例子,虽然页面不会跳转,但是链接地址会不一样。但是要爬的网站无论怎么勾选筛选要求,地址都完全一样。请问这样的情况要怎么写规则抓取。

这是网站打开的默认状态,需要至少点击“查询符合条件的机型”才能出现产品

点击之后,会出现产品,但是上面的地址不变,做其他勾选也是如此,请问这种情况要怎么爬取数据呢?
十分感谢



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
| 回复

共 5 个关于本帖的回复 最后回复于 2017-3-13 16:15

沙发
ym 版主 发表于 2017-3-9 14:20:52 | 只看该作者
本帖最后由 ym 于 2017-3-9 14:43 编辑

你说的教程只是用了具有独立网址的网页为例而已,但连续动作就是用于网址不变的网页,用来实现自动的点选等智能操作。
你的这种网页就是要设置点击动作,参考一下这篇教程《把信息与连续动作步骤对应起来》
举报
板凳
livia1014 初级会员 发表于 2017-3-13 14:21:06 | 只看该作者
ym 发表于 2017-3-9 14:20
你说的教程只是用了具有独立网址的网页为例而已,但连续动作就是用于网址不变的网页,用来实现自动的点选等 ...

看到您的回复特意去实践了,才来回复的。谢谢您!
举报
地板
livia1014 初级会员 发表于 2017-3-13 14:49:33 | 只看该作者
本帖最后由 livia1014 于 2017-3-13 14:59 编辑
livia1014 发表于 2017-3-13 14:21
看到您的回复特意去实践了,才来回复的。谢谢您!

因为是同一个页面想请教遇到的第二个问题。这个默认列表有1610页,在写了翻页的规则之后,第一页可以顺利翻到第二页,并采集信息。可是之后会一直重复采集第二页。我在编写规则的页面,先取消了“内容定位”的情况下,也无法翻页到第三页,会一直卡在第二页。我应该怎么解决呢

翻页对应的图片没有连接,是一个onclick触发的

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报
5#
Fuller 管理员 发表于 2017-3-13 15:49:38 | 只看该作者
livia1014 发表于 2017-3-13 14:49
因为是同一个页面想请教遇到的第二个问题。这个默认列表有1610页,在写了翻页的规则之后,第一页可以顺利 ...

在火狐上,总xxx页 这个信息显示不出来,这个网页在火狐上有问题,影响到了翻页。“上一页”和“下一页”无效,但是可以直接输入页码,跳转到指定页。用连续动作也能实现,用连续输入和点击按钮
举报
6#
livia1014 初级会员 发表于 2017-3-13 16:15:24 | 只看该作者
Fuller 发表于 2017-3-13 15:49
在火狐上,总xxx页 这个信息显示不出来,这个网页在火狐上有问题,影响到了翻页。“上一页”和“下一页” ...

好的!谢谢您!
举报
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-1-8 02:35