Gooseeker API例子——用Python驱动Firefox采集网页数据

1，引言

本文讲解怎样用Python驱动Firefox浏览器写一个简易的网页数据采集器。GooSeeker整个Python开源爬虫项目将与Scrapy（基于twisted的异步网络框架）集成，所以本例将使用Scrapy采集淘宝这种含有大量ajax代码的网页数据，但是要注意本例一个严重缺陷：用Selenium加载网页的过程发生在Spider中，破坏了Scrapy的架构原则。所以，本例只是为了测试Firefox驱动和ajax网页数据采集这两个技术点，用于正式运行环境中必须予以修改，后续的文章将专门讲解修正后的实现。
请注意，本例用到的xslt文件是通过MS谋数台保存提取器后，通过API接口获得，一方面让python代码变得简洁，另一方面，节省调试采集规则的时间。详细操作请查看GooSeeker API说明(1)--下载内容提取器

2，具体实现

2.1，环境准备

需要执行以下步骤，准备Python开发和运行环境：

• 安装Python--官网下载安装并部署好环境变量 （本文使用Python版本为3.5.1）
• 安装lxml-- 官网库下载对应版本的.whl文件，然后命令行界面执行 "pip install .whl文件路径"
• 安装Scrapy--命令行界面执行 "pip install Scrapy"，详细请参考Scrapy的第一次运行测试
• 安装selenium--命令行界面执行 "pip install selenium"
• 安装Firefox--官网下载安装
  

上述步骤展示了两种安装：1，安装下载到本地的wheel包；2，用Python安装管理器执行远程下载和安装。

2.2，开发和测试过程

以下代码默认都是在命令行界面执行

1)，创建scrapy爬虫项目simpleSpider

1. E:\python-3.5.1>scrapy startproject simpleSpider

复制代码

2)，修改settings.py配置

有些网站会在根目录下放置一个名字为robots.txt的文件，里面声明了此网站希望爬虫遵守的规范，Scrapy默认遵守这个文件制定的规范，即ROBOTSTXT_OBEY默认值为True。在这里需要修改ROBOTSTXT_OBEY的值，找到E:\python-3.5.1\simpleSpider\simpleSpider下文件settings.py，更改ROBOTSTXT_OBEY的值为False

3)，导入API模块

在项目目录E:\python-3.5.1\simpleSpider下创建文件gooseeker.py（也可以在GooSeeker开源Python网络爬虫GitHub源 的core文件夹中直接下载），代码如下：

1. #!/usr/bin/python
   
2. # -*- coding: utf-8 -*-
   
3. # 模块名: gooseeker
   
4. # 类名: GsExtractor
   
5. # Version: 2.0
   
6. # 说明: html内容提取器
   
7. # 功能: 使用xslt作为模板，快速提取HTML DOM中的内容。
   
8. # released by 集搜客(http://www.gooseeker.com) on May 18, 2016
   
9. # github: https://github.com/FullerHua/jisou/core/gooseeker.py
   
10. 
    
11. from urllib import request
    
12. from urllib.parse import quote
    
13. from lxml import etree
    
14. import time
    
15. 
    
16. class GsExtractor(object):
    
17.     def _init_(self):
    
18.         self.xslt = ""
    
19.     # 从文件读取xslt
    
20.     def setXsltFromFile(self , xsltFilePath):
    
21.         file = open(xsltFilePath , 'r' , encoding='UTF-8')
    
22.         try:
    
23.             self.xslt = file.read()
    
24.         finally:
    
25.             file.close()
    
26.     # 从字符串获得xslt
    
27.     def setXsltFromMem(self , xsltStr):
    
28.         self.xslt = xsltStr
    
29.     # 通过GooSeeker API接口获得xslt
    
30.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
    
31.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
    
32.         if (middle):
    
33.             apiurl = apiurl + "&middle="+quote(middle)
    
34.         if (bname):
    
35.             apiurl = apiurl + "&bname="+quote(bname)
    
36.         apiconn = request.urlopen(apiurl)
    
37.         self.xslt = apiconn.read()
    
38.     # 返回当前xslt
    
39.     def getXslt(self):
    
40.         return self.xslt
    
41.     # 提取方法，入参是一个HTML DOM对象，返回是提取结果
    
42.     def extract(self , html):
    
43.         xslt_root = etree.XML(self.xslt)
    
44.         transform = etree.XSLT(xslt_root)
    
45.         result_tree = transform(html)
    
46.         return result_tree
    

复制代码

4)，创建SimpleSpider爬虫类

在项目目录E:\python-3.5.1\simpleSpider\simpleSpider\spiders下创建文件simplespider.py，代码如下：

1. # -*- coding: utf-8 -*-
   
2. import time
   
3. import scrapy
   
4. from lxml import etree
   
5. from selenium import webdriver
   
6. from gooseeker import GsExtractor
   
7. 
   
8. class SimpleSpider(scrapy.Spider):
   
9.     name = "simplespider"
   
10.     allowed_domains = ["taobao.com"]
    
11.     start_urls = [
    
12.         "https://item.taobao.com/item.htm?spm=a230r.1.14.197.e2vSMY&id=44543058134&ns=1&abbucket=10"
    
13.     ]
    
14. 
    
15.     def __init__(self):
    
16.         # use any browser you wish
    
17.         self.browser = webdriver.Firefox()
    
18.    
    
19.     def getTime(self):
    
20.         # 获得当前时间戳
    
21.         current_time = str(time.time())
    
22.         m = current_time.find('.')
    
23.         current_time = current_time[0:m]
    
24.         return current_time
    
25.       
    
26.     def parse(self, response):
    
27.         print("start...")
    
28.         #start browser
    
29.         self.browser.get(response.url)
    
30.         #loading time interval
    
31.         time.sleep(3)
    
32.         #get xslt
    
33.         extra = GsExtractor()
    
34.         extra.setXsltFromAPI("API KEY" , "淘宝天猫_商品详情30474")
    
35.         # get doc
    
36.         html = self.browser.execute_script("return document.documentElement.outerHTML");
    
37.         doc = etree.HTML(html)
    
38.         result = extra.extract(doc)
    
39.         # out file
    
40.         file_name = 'F:/temp/淘宝天猫_商品详情30474_' + self.getTime() + '.xml'
    
41.         open(file_name,"wb").write(result)
    
42.         self.browser.close()
    
43.         print("end")      
    

复制代码

5)，启动爬虫

在E:\python-3.5.1\simpleSpider项目目录下执行命令

1. E:\python-3.5.1\simpleSpider>scrapy crawl simplespider

复制代码

6)，输出文件

采集到的网页数据结果文件是：淘宝天猫_商品详情30474_1466064544.xml

3，展望

调用Firefox，IE等全特性浏览器显得有点太重量级，很多场合可以考虑轻量级的浏览器内核，比如，casperjs和phantomjs等。同时运行在没有界面的浏览器（headless browser，无头浏览器）模式下，也许可以对网页数据采集性能有所提升。

然后，最重要的一点是要写一个 scrapy 的下载器，专门驱动这些浏览器采集网页数据，也就是把这个功能从Spider中迁移出来，这样才符合Scrapy的整体框架原则，实现事件驱动的工作模式。

4，相关文档

1， GooSeeker API说明(1)--下载内容提取器
2， GooSeeker API例子——用Java下载内容提取器
3， GooSeeker API例子——用JavaScript下载内容提取器

5，集搜客GooSeeker开源代码下载源

1， GooSeeker开源Python网络爬虫GitHub源

6，文档修改历史
1，2016-06-17：V1.0
2， 2016-06-19：V1.1，在第一段明显位置注明本案例的缺陷

挺好的

不过有个疑问：
方法 parse(self, response)
被调用的时候，页面已经被访问过一次了，已经有response了。
在parse里再次用webdriver访问，拿到dom。
是不是同一网址访问了2次？

shenzhenwan10 发表于 2016-6-17 12:14
不过有个疑问：
方法 parse(self, response)
被调用的时候，页面已经被访问过一次了，已经有response了。

因为Scrapy爬虫的下载器默认只能获取静态网页内容，而示例网站需要加载js后才能获取网页完整内容,所以需要再次调用webdriver访问并加载完js后取网页Dom。
后面会考虑写一个下载handler，结合没有界面的浏览器，让爬虫可以直接得到加载js后的动态页面Dom

在Scrapy的文档中看到有个参数：AJAXCRAWL_ENABLED
缺省是false
楼主可以试试把这个参数打开来爬取ajax页面

shenzhenwan10 发表于 2016-6-19 09:53
在Scrapy的文档中看到有个参数：AJAXCRAWL_ENABLED
缺省是false
楼主可以试试把这个参数打开来爬取ajax页面 ...

研究一下这个参数打开以后，Scrapy使用了什么js引擎？

ippfon 发表于 2016-6-17 14:16
因为Scrapy爬虫的下载器默认只能获取静态网页内容，而示例网站需要加载js后才能获取网页完整内容,所以需 ...

我在文档第一段注明了这个缺陷，让读者知道还要向哪个方向去优化

通篇看了python的所有文章，文章结构很乱，楼主应该要把这些步骤实现需要的工具、方法和细节一步步展示出来。

比如我要去安装lxml 库，找了半天，都不知道去哪里找，终于找到了下载链接，进去一看，几十个资源，又不知道下载哪个版本才正确。
可以参考liaoxuefeng这个python的作者的写教程的风格建议楼主学一学，简单可操作，每个帖子在最后都留下了一键下载链接，不用满世界去找。

原淘宝页面商品已经下架了，希望赶紧更新修改