Scrapy：python3下的第一次运行测试

1，引言

《Scrapy的架构初探》一文讲解了Scrapy的架构，本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子，完整的代码可以在github上下载。

2，运行环境配置

• 本次测试的环境是：Windows10， Python3.4.3 32bit
• 安装Scrapy ：   $ pip install Scrapy                 #实际安装时，由于服务器状态的不稳定，出现好几次中途退出的情况
  

3，编写运行第一个Scrapy爬虫

3.1. 生成一个新项目：tutorial

1. $ scrapy startproject tutorial

复制代码

项目目录结构如下：



3.2.  定义要抓取的item

1. # -*- coding: utf-8 -*-
   
2. 
   
3. # Define here the models for your scraped items
   
4. #
   
5. # See documentation in:
   
6. # http://doc.scrapy.org/en/latest/topics/items.html
   
7. 
   
8. import scrapy
   
9. 
   
10. class DmozItem(scrapy.Item):
    
11.     title = scrapy.Field()
    
12.     link = scrapy.Field()
    
13.     desc = scrapy.Field()

复制代码

3.3. 定义Spider

1. import scrapy
   
2. from tutorial.items import DmozItem
   
3. 
   
4. class DmozSpider(scrapy.Spider):
   
5.     name = "dmoz"
   
6.     allowed_domains = ["dmoz.org"]
   
7.     start_urls = [
   
8.         "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
   
9.         "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
   
10.     ]
    
11. 
    
12.     def parse(self, response):
    
13.         for sel in response.xpath('//ul/li'):
    
14.             item = DmozItem()
    
15.             item['title'] = sel.xpath('a/text()').extract()
    
16.             item['link'] = sel.xpath('a/@href').extract()
    
17.             item['desc'] = sel.xpath('text()').extract()
    
18.             yield item

复制代码

3.4. 运行

1. $ scrapy crawl dmoz -o item.json

复制代码

1) 结果报错：
   A) ImportError: cannot import name '_win32stdio'
   B) ImportError: No module named 'win32api'

2) 查错过程：查看官方的FAQ和stackoverflow上的信息，原来是scrapy在python3上测试还不充分，还有小问题。

3) 解决过程：
   A) 需要手工去下载twisted/internet下的 _win32stdio 和 _pollingfile，存放到python目录的lib\sitepackages\twisted\internet下
   B) 下载并安装pywin32

再次运行，成功！在控制台上可以看到scrapy的输出信息，待运行完成退出后，到项目目录打开结果文件items.json， 可以看到里面以json格式存储的爬取结果

1. [
   
2. {"title": ["        About       "], "desc": [" ", " "], "link": ["/docs/en/about.html"]},
   
3. {"title": ["   Become an Editor "], "desc": [" ", " "], "link": ["/docs/en/help/become.html"]},
   
4. {"title": ["            Suggest a Site          "], "desc": [" ", " "], "link": ["/docs/en/add.html"]},
   
5. {"title": [" Help             "], "desc": [" ", " "], "link": ["/docs/en/help/helpmain.html"]},
   
6. {"title": [" Login                       "], "desc": [" ", " "], "link": ["/editors/"]},
   
7. {"title": [], "desc": [" ", " Share via Facebook "], "link": []},
   
8. {"title": [], "desc": [" ", "  Share via Twitter  "], "link": []},
   
9. {"title": [], "desc": [" ", " Share via LinkedIn "], "link": []},
   
10. {"title": [], "desc": [" ", " Share via e-Mail   "], "link": []},
    
11. {"title": [], "desc": [" ", " "], "link": []},
    
12. {"title": [], "desc": [" ", "  "], "link": []},
    
13. {"title": ["        About       "], "desc": [" ", " "], "link": ["/docs/en/about.html"]},
    
14. {"title": ["   Become an Editor "], "desc": [" ", " "], "link": ["/docs/en/help/become.html"]},
    
15. {"title": ["            Suggest a Site          "], "desc": [" ", " "], "link": ["/docs/en/add.html"]},
    
16. {"title": [" Help             "], "desc": [" ", " "], "link": ["/docs/en/help/helpmain.html"]},
    
17. {"title": [" Login                       "], "desc": [" ", " "], "link": ["/editors/"]},
    
18. {"title": [], "desc": [" ", " Share via Facebook "], "link": []},
    
19. {"title": [], "desc": [" ", "  Share via Twitter  "], "link": []},
    
20. {"title": [], "desc": [" ", " Share via LinkedIn "], "link": []},
    
21. {"title": [], "desc": [" ", " Share via e-Mail   "], "link": []},
    
22. {"title": [], "desc": [" ", " "], "link": []},
    
23. {"title": [], "desc": [" ", "  "], "link": []}
    
24. ]

复制代码

第一次运行scrapy的测试成功

4，接下来的工作

接下来，我们将使用GooSeeker API来实现网络爬虫，省掉对每个item人工去生成和测试xpath的工作量。目前有2个计划：

• 在gsExtractor中封装一个方法：从xslt内容中自动提取每个item的xpath
• 从gsExtractor的提取结果中自动提取每个item的结果
  
  

具体选择哪个方案，将在接下来的实验中确定，并发布到gsExtractor新版本中

5，文档修改历史

2016-06-05：V1.0，首次发布

关于结果存储方面，我建议不用方案1，并且简化方案2。

其实Scrapy并没有明确规定一定要用什么类型，我都设想是否可以做个尝试，直接在Spider中自己存结果文件。当然这种做法是不好的，磁盘I/O和网络I/O一样，都应该统一纳入到Scrapy整体框架中。

Item类是用key：value存数据的，一对key：value放在一个Field对象中，其实是一种json结构。目前GooSeeker提取器的输出结构是XML，要转成Json是特别容易的。目前在服务器侧的MongoDB引擎接口处已经有转换程序，直接搬过来就行了。

参考这个知乎问答：https://www.zhihu.com/question/36832667 ，挺有参考价值

我认为我们对Scrapy的Spider的样例程序进行扩展的重点是：
1，入口网址不存在Spider中，而是从GooSeeker的爬虫罗盘中拿
2，甚至都可以把Spider写成一个通用的，爬的主题也不预先定好，也是从GooSeeker的爬虫罗盘中拿

这样，就不用为各种爬取目的分别写Spider了。

同时，GooSeeker爬虫罗盘的可视化和集中化管理，可以大大提高Spider的管理效率。使用场景将变成
1，用MS谋数台定义好抓取规则
2，在爬虫罗盘中配置好调度参数
3，继续用MS谋数台定义下一个抓取规则
4，再次在爬虫罗盘中配置好调度参数
5，......

不用频繁地去启动和管理Scrapy Spider，让它自己去跑吧，让他被动地接受爬虫罗盘的指令。Scrapy是一个执行机构，而爬虫罗盘是大脑

根据楼主的步骤操作尝试，遇到了一些问题，我用的是 python 3.5.1版本，在下载安装pypiwin32时，我使用 pip install pypiwin32 总是出下载超时，最后只能直接去网上下载whl （https://pypi.python.org/pypi/pypiwin32），然后直接在本地安装。安装成功之后，终于执行测试成功了。