1 6140

设置时间段抓取

走z走 于 2016-11-16 11:19 发表 [复制链接]
如下图所示,我要抓的这个网页我想设置时间段后,抓取搜索出来的结果,如果直接做规则的话,我只能抓到没有经过时间筛选的要实现时间段搜索结果的抓取要怎么做?
16-11-16 设置时间段抓取.jpg
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-11-16 11:43

xandy 论坛元老 发表于 2016-11-16 11:43:28 | 显示全部楼层
按你的描述,选择时间段后搜索结果还是在当前页面,这里分两种情况。
1、搜索后当前页面的url发生了变化
那就你可以直接对搜索后的样本页面定义采集规则,入门教程参看:《从入门到精通
2、搜索后网址没有发生变化
这种情况,是要定义连续动作的,连续动作完全模拟人的操作,假设我们做两个规则,第一个规则定义动作(比如:先点击将时间框弹出来->再点击起始时间->再点击结束时间->最后点击搜索),第二级规则对搜索结果做采集规则
连续动作的相关教程参看:《连续动作让爬虫持续采集
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 22:46