连续动作应用场景（三）自动输入查询条件抓取微信公众号

1. 场景描述

从GooSeeker V5.4.0版本开始，提供自动输入搜索条件的功能。以前要抓取百度搜索结果，通常是构造url网址，比如，百度新闻搜索：http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=%E5%8D%8E%E4%B8%BA ，后面那串内容是代表关键字“华为”，那么想抓取什么搜索结果，就构造什么网址。但是，很多网站并不能构造网址，可能的场景是：

• 无论输入什么条件，网址总是不变
• 很多场景中，提交搜索条件是浏览器向服务器发送post消息，而不是get消息
• 输入搜索条件和看到的结果分别处于不同iframe中，这样目测看到的网址是不变的。

在很多场景中，可以采用一些其它技术手段研究http消息，然后再想应对策略。这样还是比较麻烦的。如果用自动输入查询条件的功能，操作就简化了，不用去管技术细节。这就是自动输入查询条件功能的应用价值。

2. 规划一下定义几个抓取规则

为什么还要用多个抓取规则？这个讨论似曾相识，因为在《连续滚屏抓取瀑布流网页》讨论过相同问题。

• 原则是：如果在网页上做的动作不一样，那么就定义两个抓取规则
• 样本页面：http://weixin.sogou.com/weixin?query=%E5%8D%8E%E4%B8%BA....
• 目标是把搜到的公众号微信摘要和详情网址都抓取下来，同时使用多个搜索关键词，抓取每个关键词的内容
• 第一个抓取规则负责录入多个搜索条件：“用关键词搜索微信公众号”，下载地址：http://www.gooseeker.com/res/detail_96793.html
• 第二个抓取规则负责翻页抓取搜索结果：“用关键词搜索微信公众号_搜索结果”，下载地址：http://www.gooseeker.com/res/detail_96797.html

我们还是分成了两个抓取规则，因为他们要做的动作不一样，第一个负责录入搜索条件，第二个负责翻页。而抓取内容是一样的，那么操作起来也不难，在第一个的基础上删除连续动作工作台上的规则，然后增加爬虫路线工作台上的翻页规则，然后把主题名修改掉，点击存规则按钮，就完成了第二个规则的定义。

3. 界面说明

如图，两个红色方框展示两个要点：

• 自动输入查询条件后一般需要点击“提交”按钮，所以需要两个动作，前一个是自动输入；后一个是自动提交
• 可以让爬虫连续输入多个查询关键词，每个关键词之间用两个分号隔开（;;）

红色圆框表示要告诉爬虫在哪里输入关键词，用xpath表示。关于连续输入功能的详细讲解参看《连续动作实战：自动输入查询条件微信公众号》