转换页面信息爬取

问题描述：
爬取的是图片一所示的榜单上的用户信息（排名、用户、收益、命中率）。



问题：现在想要另外一同爬取用户的等级信息。等级信息需要点击榜单上用户的头像跳转页面才能显示，如图二。求指点。
获取跳转页面的等级信息（在头像下方）。
榜单页面能一直往下拖动。

规则名是什么?可以用层级采集，设置两级规则
1、一级规则抓取图一所示的榜单上的用户信息（排名、用户、收益、命中率）。同时抓取每个用户的主页链接，生成下级线索给二级规则
2、二级规则再抓取用户的等级信息
参考这个《层级抓取》教程

数据集 发表于 2018-4-28 09:39
规则名是什么?可以用层级采集，设置两级规则
1、一级规则抓取图一所示的榜单上的用户信息（排名、用户、收 ...

我的主题名是伐木累4月收尾，
看了你给的帖子链接，我在抓取用户信息那里点击下级线索并没有弹出相应框。不知道是怎么回事呢，还望指点。

数据集 发表于 2018-4-28 09:39
规则名是什么?可以用层级采集，设置两级规则
1、一级规则抓取图一所示的榜单上的用户信息（排名、用户、收 ...

没有弹出说明帖子里面相应的二级网址主题框（如下图），不知道哪一步有问题。

maia_2017 发表于 2018-4-29 21:05
没有弹出说明帖子里面相应的二级网址主题框（如下图），不知道哪一步有问题。

你的爬虫软件版本号是多少？弹出这个框是从V8.6.3开始的，以前版本没有。

我加载了你的规则，不能用层级采集，用户名这个抓取内容只能抓取到用户的名字，而没有链接，所以做不了层级，只能用连续动作中的点击动作。

另外，在整理箱上，组好用上定位标志映射，可以提高数据采集精度。

Fuller 发表于 2018-4-30 09:27
你的爬虫软件版本号是多少？弹出这个框是从V8.6.3开始的，以前版本没有。

我加载了你的规则，不能用层级 ...

我下载了最新版本的软件，然后按照层级抓取的帖子做的。
主题名是：五一劳动节伐木累榜单
现在的问题是
爬取下来的所谓的二级信息根本不是我需要的用户等级信息。（我只需要跳转页面对应用户的lv等级信息）


请问该如何抓取获得，还望指点。

maia_2017 发表于 2018-5-2 21:30
我下载了最新版本的软件，然后按照层级抓取的帖子做的。
主题名是：五一劳动节伐木累榜单
现在的问题是

下级线索的目标主题名是第二级规则的主题名，不能随便填写，另外你有做二级规则吗？

maia_2017 发表于 2018-5-2 21:30
我下载了最新版本的软件，然后按照层级抓取的帖子做的。
主题名是：五一劳动节伐木累榜单
现在的问题是

层级是做两个规则，一个用来采集列表数据，一个用来采集详细页数据，我看你好像只是做了一个规则，用来采集列表的数据。如果需要采集详情页的话还需要单独做个规则。

你的二级规则呢？ 二级规则才能抓取到用户等级，层级采集是在一级规则上抓取用户详情页的链接给二级规则，然后用二级规则采集用户等级，仔细看下层级抓取教程，从你的规则上看，你把链接当做等级采集了