想抓取某个直播数据,上周榜单需要先点击“上周”才显示。

这是链接     http://x.pps.tv/room/135592

下面是我的操作过程:
1. 直播间信息:


2. 点击“上周”用了“LI”区块和文字做绝对定位都不行。




抓取出来的数据是“本场"的数据而不是"上周"的数据,麻烦大神解答,谢谢。

直播间信息.png (43.38 KB, 下载次数: 0)




举报 使用道具
| 回复

共 16 个关于本帖的回复 最后回复于 2017-5-27 23:43

沙发
Fuller 管理员 发表于 2017-5-23 16:32:13 | 只看该作者
举报 使用道具
板凳
kevinjin 中级会员 发表于 2017-5-23 16:59:36 | 只看该作者
Fuller 发表于 2017-5-23 16:32
我在这个帖子回答了:http://www.gooseeker.com/doc/thread-7463-1-1.html

我看其他浏览器都可以,应该是网站跟浏览器不适配吧?
举报 使用道具
地板
Fuller 管理员 发表于 2017-5-23 17:30:16 | 只看该作者
kevinjin 发表于 2017-5-23 16:59
我看其他浏览器都可以,应该是网站跟浏览器不适配吧?

这个好解决,这是网站不兼容造成的,在GS浏览器和火狐浏览器下,“下周”显示在下一行了。

这样就要注意:定义连续动作的时候,高级设置里面,不要勾选“模拟点击”,我测试了,可以采集。

模拟点击的意思是完全模拟人工的点击方式,如果是灰色不可点的,就点不了。但是,不勾模拟点击,DS打数机就会按照html的元素位置进行点击。
举报 使用道具
5#
kevinjin 中级会员 发表于 2017-5-24 13:51:55 | 只看该作者
Fuller 发表于 2017-5-23 17:30
这个好解决,这是网站不兼容造成的,在GS浏览器和火狐浏览器下,“下周”显示在下一行了。

这样就要注意 ...

我试了一下 去掉勾选 模拟点击了。 但是还是抓取不到,显示无法定位到节点,操作方法跟定位到”本周“一下。(”本周“数据确实可以抓取,”上周还是不行“)
举报 使用道具
6#
wangyong 版主 发表于 2017-5-24 15:00:19 | 只看该作者
kevinjin 发表于 2017-5-24 13:51
我试了一下 去掉勾选 模拟点击了。 但是还是抓取不到,显示无法定位到节点,操作方法跟定位到”本周“一 ...


上周的位置在哪里?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
7#
wangyong 版主 发表于 2017-5-24 15:03:47 | 只看该作者

HTML里虽然能找到上周的节点,但是网页上没有显示

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
8#
Fuller 管理员 发表于 2017-5-24 15:17:25 | 只看该作者
kevinjin 发表于 2017-5-24 13:51
我试了一下 去掉勾选 模拟点击了。 但是还是抓取不到,显示无法定位到节点,操作方法跟定位到”本周“一 ...

这个规则我都测试成功了的,点击“下周”没有问题,你写的xpath是什么?我估计是xpath写错了
举报 使用道具
9#
kevinjin 中级会员 发表于 2017-5-24 20:30:31 | 只看该作者
Fuller 发表于 2017-5-24 15:17
这个规则我都测试成功了的,点击“下周”没有问题,你写的xpath是什么?我估计是xpath写错了
...

/html/body/div[position()=3]/div[position()=1]/div[position()=1]/div[position()=2]/div/div[position()=1]/ul/li[position()=3]
Xpath 是这个。  貌似还是不行。   
举报 使用道具
10#
Fuller 管理员 发表于 2017-5-24 21:06:58 | 只看该作者
kevinjin 发表于 2017-5-24 20:30
/html/body/div/div/div/div/div/div/ul/li
Xpath 是这个。  貌似还是不行。

不要用绝对定位,那样很容易受网页结构变化的影响,用偏好class
  1. //*[@class='tab-tit-small']/li[position()=3]/text()
复制代码
这是我测试用的,其实定位到li就行了
  1. //*[@class='tab-tit-small']/li[position()=3]
复制代码


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 22:43