快捷导航
不同时间的数据是不一样的,是否可以让爬虫循环点一遍日历上的日期,同时能够采集点击后显示的结果呢?
举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2018-9-29 10:24

Fuller 管理员 发表于 2016-11-2 14:58:13 | 显示全部楼层
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点开月份-》选择月份-》点开日历-》选择某天,反正就是像普通人一样选择日期。

假设这个网页能把日期当成一个url参数,那就不要定义连续动作了,而是构造url网址,这就省劲了,可以大批量构造网址。
举报 使用道具
lhn137996 新手上路 发表于 2017-4-18 16:56:17 | 显示全部楼层
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。

举报 使用道具
lhn137996 新手上路 发表于 2017-4-18 16:56:33 | 显示全部楼层
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。
举报 使用道具
lhn137996 新手上路 发表于 2017-4-18 17:01:40 | 显示全部楼层
Fuller 发表于 2016-11-2 14:58
连续动作就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点 ...

怎么循环起来才是重点呀,大哥
举报 使用道具
HJLing 版主 发表于 2017-4-18 17:04:06 | 显示全部楼层
lhn137996 发表于 2017-4-18 17:01
怎么循环起来才是重点呀,大哥

你点击日历的那个xpath节点 要写成能找到全部日期的节点 如1月要定位到31个节点 那程序就会按顺序去点击31个节点

举报 使用道具
18206352582 初级会员 发表于 2018-9-28 22:38:55 | 显示全部楼层
如何让爬虫选取某个时间段呢,比如当前时间段前24小时,每次都是这样选,如何操作
举报 使用道具
Fuller 管理员 发表于 2018-9-29 08:58:32 | 显示全部楼层
18206352582 发表于 2018-9-28 22:38
如何让爬虫选取某个时间段呢,比如当前时间段前24小时,每次都是这样选,如何操作 ...

选时间段就更麻烦,要写xpath。

你采集的网址里面有没有含时间参数,如果含时间参数,构造网址最容易
举报 使用道具
18206352582 初级会员 发表于 2018-9-29 09:39:23 | 显示全部楼层
网址没有时间参数的。
xpath可以构造当前日期的前一天吗
举报 使用道具
Fuller 管理员 发表于 2018-9-29 10:14:39 | 显示全部楼层
18206352582 发表于 2018-9-29 09:39
网址没有时间参数的。
xpath可以构造当前日期的前一天吗

可以,preceding-sibling::div[1],就表示当前节点的上一个兄弟div类型的节点
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • windows高清屏幕显示模糊的解决方法
  • 修改和找回密码——微信登录集搜客GooSeeke
  • 网络爬虫自动打验证码避免重复打码
  • 大型百货商场会员画像描绘
  • 自动导入导出数据

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-12-10 05:12