为编写网络爬虫程序安装Python3.5

1. 下载Python3.5.1安装包

1.1 进入python官网，点击menu->downloads,网址：https://www.python.org/downloads/
1.2 根据系统选择32位还是64位，这里下载的可执行exe为64位安装包

2. 安装Python3.5
2.1 双击打开安装包，选择自定义路径(注意安装路径中尽量不要含有有中文或者空格)，然后选中Add Python 3.5 to PATH(将Python安装路径添加到系统变量Path中，这样做以后在任意目录下都可以执行pyhton命令了)

2.2 默认全选，Next

2.3 修改安装路径，勾选加上Install for all user为所有用户安装和Precompile standard library 预编译标准库，然后点击Install

2.4 等待安装完成

2.5 验证，使用快捷键win + R 或 右键开始选择运行，输入cmd回车，打开命令提示符窗口，然后输入python->回车，若出现python版本信息则软件安装完成

3. 简单实践，敲一个简单小爬虫程序
3.1 安装lxml库，由于直接使用pip lxml 对于3.0x以上的版本来说经常会出现版本不适应而失败，所以这里介绍直接使用whl文件安装
3.1.1 下载对应python3.5版本的lxml库，下载网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

3.1.2 同检查python是否安装成功一样，使用快捷键win + R 或 右键开始选择运行，输入cmd回车，打开命令提示符窗口，然后

1. pip install E:\demo\lxml-3.6.4-cp35-cp35m-win_amd64.whl（下载的lxml库whl文件存放路径）

复制代码

可能碰到问题，pip的版本低了，需要更新一下pip的版本。更新pip版本命令:

1. python -m pip install -U pip

复制代码

更新完成后，再次使用pip命令:

1. pip install E:\demo\lxml-3.6.4-cp35-cp35m-win_amd64.whl

复制代码

3.2 Lxml库安装成功后，环境就准备好了, 可以开始敲代码了
3.2.1 引入Gooseeker规则提取器模块gooseeker.py（引入该模块的原因和价值），在自定义目录下创建gooseeker.py文件，如：这里为E:\Demo\gooseeker.py，再以记事本打开，复制下面的代码粘贴

1. #!/usr/bin/python
   
2. # -*- coding: utf-8 -*-
   
3. # 模块名: gooseeker
   
4. # 类名: GsExtractor
   
5. # Version: 2.0
   
6. # 说明: html内容提取器
   
7. # 功能: 使用xslt作为模板，快速提取HTML DOM中的内容。
   
8. # released by 集搜客(http://www.gooseeker.com) on May 18, 2016
   
9. # github: https://github.com/FullerHua/jisou/core/gooseeker.py
   
10. 
    
11. from urllib import request
    
12. from urllib.parse import quote
    
13. from lxml import etree
    
14. import time
    
15. import requests
    
16. 
    
17. class GsExtractor(object):
    
18.     def _init_(self):
    
19.         self.xslt = ""
    
20.     # 从文件读取xslt
    
21.     def setXsltFromFile(self , xsltFilePath):
    
22.         file = open(xsltFilePath , 'r' , encoding='UTF-8')
    
23.         try:
    
24.             self.xslt = file.read()
    
25.         finally:
    
26.             file.close()
    
27.     # 从字符串获得xslt
    
28.     def setXsltFromMem(self , xsltStr):
    
29.         self.xslt = xsltStr
    
30.     # 通过GooSeeker API接口获得xslt
    
31.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
    
32.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
    
33.         if (middle):
    
34.             apiurl = apiurl + "&middle="+quote(middle)
    
35.         if (bname):
    
36.             apiurl = apiurl + "&bname="+quote(bname)
    
37.         #apiconn = request.urlopen(apiurl)
    
38.         #self.xslt = apiconn.read()
    
39.         resp = requests.get(apiurl)
    
40.         self.xslt = resp.content        
    
41.     # 返回当前xslt
    
42.     def getXslt(self):
    
43.         return self.xslt
    
44.     # 提取方法，入参是一个HTML DOM对象，返回是提取结果
    
45.     def extract(self , html):
    
46.         xslt_root = etree.XML(self.xslt)
    
47.         transform = etree.XSLT(xslt_root)
    
48.         result_tree = transform(html)
    
49.         return result_tree
    
50.     # 提取方法，入参是html源码，返回是提取结果
    
51.     def extractHTML(self , html):
    
52.         doc = etree.HTML(html)
    
53.         return self.extract(doc)
    
54. 
    

复制代码

3.2.2 在提取器模块gooseeker.py同级目录下创建一个.py后缀文件，如这里为E:\Demo\first.py，再以记事本打开，敲入代码:

1. # -*- coding: utf-8 -*-
   
2. # 使用gsExtractor类的示例程序
   
3. # 访问集搜客论坛，以xslt为模板提取论坛内容
   
4. # xslt保存在xslt_bbs.xml中
   
5. # 采集结果保存在result.xml中
   
6. 
   
7. import os
   
8. from urllib import request
   
9. from lxml import etree
   
10. from gooseeker import GsExtractor
    
11. 
    
12. # 访问并读取网页内容
    
13. url = "http://www.gooseeker.com/cn/forum/7"
    
14. conn = request.urlopen(url)
    
15. doc = etree.HTML(conn.read())
    
16. 
    
17. bbsExtra = GsExtractor()   
    
18. bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "gooseeker_bbs_xslt")   # 设置xslt抓取规则
    
19. result = bbsExtra.extract(doc)   # 调用extract方法提取所需内容
    
20. 
    
21. # 当前目录
    
22. current_path = os.getcwd()
    
23. file_path = current_path + "/result.xml"
    
24. 
    
25. # 保存结果
    
26. open(file_path,"wb").write(result)
    
27. 
    
28. # 打印出结果
    
29. print(str(result).encode('gbk','ignore').decode('gbk'))

复制代码

3.2.3 执行first.py，使用快捷键win + R 或 右键开始选择运行，输入cmd回车，打开命令提示窗口，进入first.py文件所在目录，输入命令 :python first.py 回车

3.2.4 查看保存结果文件,进入first.py文件所在目录，查看名称为result的xml文件（即采集结果）

4. 总结

安装步骤还是很简单，主要需要注意的是：
1.  对应系统版本安装；
2.  将安装路径加入系统环境变量Path。

后面将会讲到如何结合Scrapy快速开发Python爬虫。

5. 集搜客GooSeeker开源代码下载源

GooSeeker开源Python网络爬虫GitHub源

6. 文章修改历史

2016-09-27：V1.02016-10-25：3.2.1代码补充

为什么会报错

zuoyuan 发表于 2021-5-14 15:35
为什么会报错

你贴图中的first.py, 代码部分实现了什么功能？ 有没有定义内容提取器部分？ 如果有的话， 把提取器也就是规则的名字提供下， 我安排工程师测试下

工程师也会对这个帖子的从安装python3.5到查看结果文件的每一步做一下测试
如果发现有失效部分， 会做更新

可能是爬虫规则失效了，我们检查一下规则，这个规则很久没有使用了

工程师测试过了， 发现确实有2个地方需要更新， 现在已经更新并测试OK。
你可以再试试。注意：上面的gooseeker.py中的代码有更新， 请重新复制到本地覆盖原代码。first.py本次没有更新
下图是我测试得到的结果：