本帖最后由 思秋忆 于 2016-1-27 16:16 编辑

哪位能帮忙看看像这样的网页怎样get数据,上面是搜索页面,点击“search"后搜索结果显示在新网页中。
但如果直接用新的URL做作为"页面地址”无法得到列表结果,所以在谋数台不能用这些网址作为样本网址。


举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-1-27 16:19

沙发
思秋忆 中级会员 发表于 2016-1-27 16:17:43 | 只看该作者
不知道在设定“连续动作”来点击search按钮后怎样才能转到这个结果网页上来?另一个问题是,上面列出的这些搜索结果所对应的详细信息页面是我要扒的数据,可以用连续动作来实现遍历?
举报 使用道具
板凳
xandy 论坛元老 发表于 2016-1-27 16:19:30 | 只看该作者
思秋忆 发表于 2016-1-27 16:17
不知道在设定“连续动作”来点击search按钮后怎样才能转到这个结果网页上来?另一个问题是,上面列出的这些 ...

详情页的抓取比较麻烦,进入详情页抓取之后还要回退到列表页,才能继续抓下一条数据的详情,这时又从第一页开始了。如果先抓首页搜索出来的结果列表,可以这样实现:1)模拟点击search按钮;2)抓取搜索出来的列表;3)设置翻页。全程模拟点击,不要指向URL。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 15:56