本帖最后由 思秋忆 于 2016-1-27 16:16 编辑

哪位能帮忙看看像这样的网页怎样get数据,上面是搜索页面,点击“search"后搜索结果显示在新网页中。
但如果直接用新的URL做作为"页面地址”无法得到列表结果,所以在谋数台不能用这些网址作为样本网址。


举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-1-27 16:19

沙发
思秋忆 中级会员 发表于 2016-1-27 16:17:43 | 只看该作者
不知道在设定“连续动作”来点击search按钮后怎样才能转到这个结果网页上来?另一个问题是,上面列出的这些搜索结果所对应的详细信息页面是我要扒的数据,可以用连续动作来实现遍历?
举报 使用道具
板凳
xandy 论坛元老 发表于 2016-1-27 16:19:30 | 只看该作者
思秋忆 发表于 2016-1-27 16:17
不知道在设定“连续动作”来点击search按钮后怎样才能转到这个结果网页上来?另一个问题是,上面列出的这些 ...

详情页的抓取比较麻烦,进入详情页抓取之后还要回退到列表页,才能继续抓下一条数据的详情,这时又从第一页开始了。如果先抓首页搜索出来的结果列表,可以这样实现:1)模拟点击search按钮;2)抓取搜索出来的列表;3)设置翻页。全程模拟点击,不要指向URL。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-19 14:08