我现在要抓取数据的页面,每条信息里有一部分数据是要点击展开以后,才会获取到的
我需要抓取每条的时候都点击一下,这个要用什么方法做?
麻烦版主或各位大神给个例子,谢谢

需抓取网站的链接:http://www.okooo.com/jingcai/
其中每场比赛比分、总进球、半全场的赔率数据,要点箭头展开才会从服务器获取
举报 使用道具
| 回复

共 23 个关于本帖的回复 最后回复于 2017-1-20 12:22

沙发
987654321 初级会员 发表于 2017-1-17 18:49:25 | 只看该作者
如果点击的次数不是很多可以使用连续动作
举报 使用道具
板凳
shenzhenwan10 金牌会员 发表于 2017-1-17 18:52:22 | 只看该作者
可以尝试定义连续动作:点击, 把所有的展开箭头都点一遍, 然后用一个规则抓取
举报 使用道具
地板
plovex 初级会员 发表于 2017-1-17 18:54:58 | 只看该作者
只能点击一个,抓当前的一条。同时只能存在一组数据
这块不确定点击展开的次数,没法设置次数
举报 使用道具
5#
shenzhenwan10 金牌会员 发表于 2017-1-17 19:02:57 | 只看该作者
很规整的表格, 为什么不能确定次数? 你可以按最大值做
举报 使用道具
6#
plovex 初级会员 发表于 2017-1-17 19:19:31 | 只看该作者
每天的比赛场数是不一样的
举报 使用道具
7#
Fuller 管理员 发表于 2017-1-17 21:12:00 | 只看该作者
plovex 发表于 2017-1-17 19:19
每天的比赛场数是不一样的

要点击哪个箭头?
举报 使用道具
8#
ym 版主 发表于 2017-1-18 09:44:15 | 只看该作者
连续动作要自定义xpath来锁定点击对象,你写一个通用的xpath,只要出现比赛就可以点击。操作参考教程《把信息与连续动作步骤对应起来—以58同城分类采集为例》
举报 使用道具
9#
plovex 初级会员 发表于 2017-1-18 10:55:52 | 只看该作者
Fuller 发表于 2017-1-17 21:12
要点击哪个箭头?

让球赔率后面更多一行的向下箭头,点击哪个会加载哪场比赛的相关信息
举报 使用道具
10#
plovex 初级会员 发表于 2017-1-18 10:56:07 | 只看该作者
ym 发表于 2017-1-18 09:44
连续动作要自定义xpath来锁定点击对象,你写一个通用的xpath,只要出现比赛就可以点击。操作参考教程《把信 ...

我看下,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 13:14