不同时间的数据是不一样的,是否可以让爬虫循环点一遍日历上的日期,同时能够采集点击后显示的结果呢?
举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2018-9-29 10:24

沙发
Fuller 管理员 发表于 2016-11-2 14:58:13 | 只看该作者
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点开月份-》选择月份-》点开日历-》选择某天,反正就是像普通人一样选择日期。

假设这个网页能把日期当成一个url参数,那就不要定义连续动作了,而是构造url网址,这就省劲了,可以大批量构造网址。
举报 使用道具
板凳
lhn137996 新手上路 发表于 2017-4-18 16:56:17 | 只看该作者
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。

举报 使用道具
地板
lhn137996 新手上路 发表于 2017-4-18 16:56:33 | 只看该作者
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。
举报 使用道具
5#
lhn137996 新手上路 发表于 2017-4-18 17:01:40 | 只看该作者
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

怎么循环起来才是重点呀,大哥
举报 使用道具
6#
HJLing 版主 发表于 2017-4-18 17:04:06 | 只看该作者
lhn137996 发表于 2017-4-18 17:01
怎么循环起来才是重点呀,大哥

你点击日历的那个xpath节点 要写成能找到全部日期的节点 如1月要定位到31个节点 那程序就会按顺序去点击31个节点

举报 使用道具
7#
18206352582 禁止发言 发表于 2018-9-28 22:38:55 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
举报 使用道具
8#
Fuller 管理员 发表于 2018-9-29 08:58:32 | 只看该作者
18206352582 发表于 2018-9-28 22:38
如何让爬虫选取某个时间段呢,比如当前时间段前24小时,每次都是这样选,如何操作 ...

选时间段就更麻烦,要写xpath。

你采集的网址里面有没有含时间参数,如果含时间参数,构造网址最容易
举报 使用道具
9#
18206352582 禁止发言 发表于 2018-9-29 09:39:23 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
举报 使用道具
10#
Fuller 管理员 发表于 2018-9-29 10:14:39 | 只看该作者
18206352582 发表于 2018-9-29 09:39
网址没有时间参数的。
xpath可以构造当前日期的前一天吗

可以,preceding-sibling::div[1],就表示当前节点的上一个兄弟div类型的节点
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 04:47