不同时间的数据是不一样的,是否可以让爬虫循环点一遍日历上的日期,同时能够采集点击后显示的结果呢?
举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2018-9-29 10:24

Fuller 管理员 发表于 2016-11-2 14:58:13 | 显示全部楼层
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点开月份-》选择月份-》点开日历-》选择某天,反正就是像普通人一样选择日期。

假设这个网页能把日期当成一个url参数,那就不要定义连续动作了,而是构造url网址,这就省劲了,可以大批量构造网址。
举报 使用道具
lhn137996 新手上路 发表于 2017-4-18 16:56:17 | 显示全部楼层
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。

举报 使用道具
lhn137996 新手上路 发表于 2017-4-18 16:56:33 | 显示全部楼层
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。
举报 使用道具
lhn137996 新手上路 发表于 2017-4-18 17:01:40 | 显示全部楼层
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

怎么循环起来才是重点呀,大哥
举报 使用道具
HJLing 版主 发表于 2017-4-18 17:04:06 | 显示全部楼层
lhn137996 发表于 2017-4-18 17:01
怎么循环起来才是重点呀,大哥

你点击日历的那个xpath节点 要写成能找到全部日期的节点 如1月要定位到31个节点 那程序就会按顺序去点击31个节点

举报 使用道具
18206352582 禁止发言 发表于 2018-9-28 22:38:55 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
举报 使用道具
Fuller 管理员 发表于 2018-9-29 08:58:32 | 显示全部楼层
18206352582 发表于 2018-9-28 22:38
如何让爬虫选取某个时间段呢,比如当前时间段前24小时,每次都是这样选,如何操作 ...

选时间段就更麻烦,要写xpath。

你采集的网址里面有没有含时间参数,如果含时间参数,构造网址最容易
举报 使用道具
18206352582 禁止发言 发表于 2018-9-29 09:39:23 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
举报 使用道具
Fuller 管理员 发表于 2018-9-29 10:14:39 | 显示全部楼层
18206352582 发表于 2018-9-29 09:39
网址没有时间参数的。
xpath可以构造当前日期的前一天吗

可以,preceding-sibling::div[1],就表示当前节点的上一个兄弟div类型的节点
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 14:28