Python网页信息采集-使用PhantomJS采集淘宝天猫商品内容

1，引言

最近一直在看Scrapy 爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。

本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载js的动态网页内容。看了很多介绍DOWNLOADER_MIDDLEWARES资料，总结来说就是使用简单，但会阻塞框架，所以性能方面不佳。一些资料中提到了自定义DOWNLOADER_HANDLER或使用scrapyjs可以解决阻塞框架的问题，有兴趣的小伙伴可以去研究一下，这里就不多说了。

2，具体实现

2.1，环境需求
需要执行以下步骤，准备Python开发和运行环境：

• Python--官网下载安装并部署好环境变量 （本文使用Python版本为3.5.1）
• lxml-- 官网库下载对应版本的.whl文件，然后命令行界面执行 "pip install .whl文件路径"
• Scrapy--命令行界面执行 "pip install Scrapy"，详细请参考《Scrapy的第一次运行测试》
• selenium--命令行界面执行 "pip install selenium"
• PhantomJS -- 官网下载
  

上述步骤展示了两种安装：1，安装下载到本地的wheel包；2，用Python安装管理器执行远程下载和安装。注：包的版本需要和python版本配套

2.2，开发和测试过程首先找到需要采集的网页，这里简单找了一个天猫商品，网址https://world.tmall.com/item/526449276263.htm，页面如下：

然后开始编写代码，以下代码默认都是在命令行界面执行

1)，创建scrapy爬虫项目tmSpider

1. E:\python-3.5.1>scrapy startproject tmSpider

复制代码

2)，修改settings.py配置

• 更改ROBOTSTXT_OBEY的值为False；
• 关闭scrapy默认的下载器中间件；
• 加入自定义DOWNLOADER_MIDDLEWARES。
  

配置如下：

1. DOWNLOADER_MIDDLEWARES = {
   
2.     'tmSpider.middlewares.middleware.CustomMiddlewares': 543,
   
3.     'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None
   
4. }

复制代码

3)，在项目目录下创建middlewares文件夹,然后在文件夹下创建middleware.py文件，代码如下：

1. # -*- coding: utf-8 -*-
   
2. 
   
3. from scrapy.exceptions import IgnoreRequest
   
4. from scrapy.http import HtmlResponse, Response
   
5. 
   
6. import tmSpider.middlewares.downloader as downloader
   
7. 
   
8. class CustomMiddlewares(object):
   
9.     def process_request(self, request, spider):
   
10.         url = str(request.url)
    
11.         dl = downloader.CustomDownloader()
    
12.         content = dl.VisitPersonPage(url)
    
13.         return HtmlResponse(url, status = 200, body = content)
    
14.    
    
15.     def process_response(self, request, response, spider):
    
16.         if len(response.body) == 100:
    
17.             return IgnoreRequest("body length == 100")
    
18.         else:
    
19.             return response

复制代码

4)，使用selenium和PhantomJS写一个网页内容下载器，同样在上一步创建好的middlewares文件夹中创建downloader.py文件，代码如下：

1. # -*- coding: utf-8 -*-
   
2. import time
   
3. from scrapy.exceptions import IgnoreRequest
   
4. from scrapy.http import HtmlResponse, Response
   
5. from selenium import webdriver
   
6. import selenium.webdriver.support.ui as ui
   
7. 
   
8. class CustomDownloader(object):
   
9.     def __init__(self):
   
10.         # use any browser you wish
    
11.         cap = webdriver.DesiredCapabilities.PHANTOMJS
    
12.         cap["phantomjs.page.settings.resourceTimeout"] = 1000
    
13.         cap["phantomjs.page.settings.loadImages"] = True
    
14.         cap["phantomjs.page.settings.disk-cache"] = True
    
15.         cap["phantomjs.page.customHeaders.Cookie"] = 'SINAGLOBAL=3955422793326.2764.1451802953297; '
    
16.         self.driver = webdriver.PhantomJS(executable_path='F:/phantomjs/bin/phantomjs.exe', desired_capabilities=cap)
    
17.         wait = ui.WebDriverWait(self.driver,10)
    
18.    
    
19.     def VisitPersonPage(self, url):
    
20.         print('正在加载网站.....')
    
21.         self.driver.get(url)
    
22.         time.sleep(1)
    
23.         # 翻到底，详情加载
    
24.         js="var q=document.documentElement.scrollTop=10000"
    
25.         self.driver.execute_script(js)
    
26.         time.sleep(5)
    
27.         content = self.driver.page_source.encode('gbk', 'ignore')
    
28.         print('网页加载完毕.....')
    
29.         return content
    
30. 
    
31.     def __del__(self):
    
32.         self.driver.quit()

复制代码

5) 创建爬虫模块

在项目目录E:\python-3.5.1\tmSpider，执行如下代码：

1. E:\python-3.5.1\tmSpider>scrapy genspider tmall 'tmall.com'

复制代码

执行后，项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders下会自动生成tmall.py程序文件。该程序中parse函数处理scrapy下载器返回的网页内容，采集网页信息的方法可以是：

• 使用xpath或正则方式从response.body中采集所需字段，
• 通过gooseeker api获取的内容提取器实现一站转换所有字段，而且不用手工编写转换用的xpath（如何获取内容提取器请参考python使用xslt提取网页数据）,代码如下：
  

1. # -*- coding: utf-8 -*-
   
2. import time
   
3. import scrapy
   
4. 
   
5. import tmSpider.gooseeker.gsextractor as gsextractor
   
6. 
   
7. class TmallSpider(scrapy.Spider):
   
8.     name = "tmall"
   
9.     allowed_domains = ["tmall.com"]
   
10.     start_urls = (
    
11.         'https://world.tmall.com/item/526449276263.htm',
    
12.     )
    
13.    
    
14.     # 获得当前时间戳
    
15.     def getTime(self):
    
16.         current_time = str(time.time())
    
17.         m = current_time.find('.')
    
18.         current_time = current_time[0:m]
    
19.         return current_time
    
20. 
    
21.     def parse(self, response):
    
22.         html = response.body
    
23.         print("----------------------------------------------------------------------------")
    
24.         extra=gsextractor.GsExtractor()
    
25.         extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘宝天猫_商品详情30474","tmall","list")
    
26. 
    
27.         result = extra.extract(html)
    
28.         print(str(result).encode('gbk', 'ignore').decode('gbk'))
    
29.         #file_name = 'F:/temp/淘宝天猫_商品详情30474_' + self.getTime() + '.xml'
    
30.         #open(file_name,"wb").write(result)

复制代码

6)，启动爬虫

在E:\python-3.5.1\tmSpider项目目录下执行命令

1. E:\python-3.5.1\simpleSpider>scrapy crawl tmall

复制代码

输出结果:

提一下，上述命令只能一次启动一个爬虫，如果想同时启动多个呢？那就需要自定义一个爬虫启动模块了，在spiders下创建模块文件runcrawl.py，代码如下

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import scrapy
   
4. from twisted.internet import reactor
   
5. from scrapy.crawler import CrawlerRunner
   
6. 
   
7. from tmall import TmallSpider
   
8. ...
   
9. spider = TmallSpider(domain='tmall.com')
   
10. runner = CrawlerRunner()
    
11. runner.crawl(spider)
    
12. ...
    
13. d = runner.join()
    
14. d.addBoth(lambda _: reactor.stop())
    
15. reactor.run()
    
16. 
    

复制代码

执行runcrawl.py文件，输出结果：

3，展望

以自定义DOWNLOADER_MIDDLEWARES调用PhantomJs的方式实现爬虫后，在阻塞框架的问题上纠结了很长的时间，一直在想解决的方式。后续会研究一下scrapyjs，splash等其他调用浏览器的方式看是否能有效的解决这个问题。

4，相关文档

1， GooSeeker API说明(1)--下载内容提取器

5，集搜客GooSeeker开源代码下载源

1， GooSeeker开源Python网络爬虫GitHub源

6，文档修改历史
1，2016-06-28：V1.0

好东西，运行一下试试

middleware的process_request（）都需要在最后return HtmlResponse（），如果用这种编程模式，都需要阻塞吧？不阻塞的似乎应该在middleware中用回掉，是不是？因为我觉得middleware是跟框架接口的，middleware用这种编程模式，即便downloader是非阻塞的，middleware也会阻塞框架。不知道我分析的对不对？