想抓取某个直播数据,上周榜单需要先点击“上周”才显示。

这是链接     http://x.pps.tv/room/135592

下面是我的操作过程:
1. 直播间信息:


2. 点击“上周”用了“LI”区块和文字做绝对定位都不行。




抓取出来的数据是“本场"的数据而不是"上周"的数据,麻烦大神解答,谢谢。

直播间信息.png (43.38 KB, 下载次数: 0)




举报 使用道具
| 回复

共 16 个关于本帖的回复 最后回复于 2017-5-27 23:43

沙发
Fuller 管理员 发表于 2017-5-23 16:32:13 | 只看该作者
举报 使用道具
板凳
kevinjin 中级会员 发表于 2017-5-23 16:59:36 | 只看该作者
Fuller 发表于 2017-5-23 16:32
我在这个帖子回答了:http://www.gooseeker.com/doc/thread-7463-1-1.html

我看其他浏览器都可以,应该是网站跟浏览器不适配吧?
举报 使用道具
地板
Fuller 管理员 发表于 2017-5-23 17:30:16 | 只看该作者
kevinjin 发表于 2017-5-23 16:59
我看其他浏览器都可以,应该是网站跟浏览器不适配吧?

这个好解决,这是网站不兼容造成的,在GS浏览器和火狐浏览器下,“下周”显示在下一行了。

这样就要注意:定义连续动作的时候,高级设置里面,不要勾选“模拟点击”,我测试了,可以采集。

模拟点击的意思是完全模拟人工的点击方式,如果是灰色不可点的,就点不了。但是,不勾模拟点击,DS打数机就会按照html的元素位置进行点击。
举报 使用道具
5#
kevinjin 中级会员 发表于 2017-5-24 13:51:55 | 只看该作者
Fuller 发表于 2017-5-23 17:30
这个好解决,这是网站不兼容造成的,在GS浏览器和火狐浏览器下,“下周”显示在下一行了。

这样就要注意 ...

我试了一下 去掉勾选 模拟点击了。 但是还是抓取不到,显示无法定位到节点,操作方法跟定位到”本周“一下。(”本周“数据确实可以抓取,”上周还是不行“)
举报 使用道具
6#
wangyong 版主 发表于 2017-5-24 15:00:19 | 只看该作者
kevinjin 发表于 2017-5-24 13:51
我试了一下 去掉勾选 模拟点击了。 但是还是抓取不到,显示无法定位到节点,操作方法跟定位到”本周“一 ...


上周的位置在哪里?

举报 使用道具
7#
wangyong 版主 发表于 2017-5-24 15:03:47 | 只看该作者

HTML里虽然能找到上周的节点,但是网页上没有显示

举报 使用道具
8#
Fuller 管理员 发表于 2017-5-24 15:17:25 | 只看该作者
kevinjin 发表于 2017-5-24 13:51
我试了一下 去掉勾选 模拟点击了。 但是还是抓取不到,显示无法定位到节点,操作方法跟定位到”本周“一 ...

这个规则我都测试成功了的,点击“下周”没有问题,你写的xpath是什么?我估计是xpath写错了
举报 使用道具
9#
kevinjin 中级会员 发表于 2017-5-24 20:30:31 | 只看该作者
Fuller 发表于 2017-5-24 15:17
这个规则我都测试成功了的,点击“下周”没有问题,你写的xpath是什么?我估计是xpath写错了
...

/html/body/div[position()=3]/div[position()=1]/div[position()=1]/div[position()=2]/div/div[position()=1]/ul/li[position()=3]
Xpath 是这个。  貌似还是不行。   
举报 使用道具
10#
Fuller 管理员 发表于 2017-5-24 21:06:58 | 只看该作者
kevinjin 发表于 2017-5-24 20:30
/html/body/div/div/div/div/div/div/ul/li
Xpath 是这个。  貌似还是不行。

不要用绝对定位,那样很容易受网页结构变化的影响,用偏好class
  1. //*[@class='tab-tit-small']/li[position()=3]/text()
复制代码
这是我测试用的,其实定位到li就行了
  1. //*[@class='tab-tit-small']/li[position()=3]
复制代码


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-24 15:31