Python爬虫实战（4）：豆瓣小组话题数据采集---动态网页

1， 引言

注释：上一篇《Python爬虫实战（3）：安居客房产经纪人信息采集》，访问的网页是静态网页，有朋友模仿那个实战来采集动态加载豆瓣小组的网页，结果不成功。本篇是针对动态网页的数据采集编程实战。

Python开源网络爬虫项目启动之初，我们就把网络爬虫分成两类：即时爬虫和收割式网络爬虫。为了适应各种应用场景，GooSeeker的整个网络爬虫产品线包含了四类产品，如下图所示：

本实战是上图中的“独立python爬虫”的一个实例，以采集豆瓣小组讨论话题(https://www.douban.com/group/haixiuzu/discussion?start=0 )信息为例，记录整个采集流程，包括python和依赖库的安装，即便是python初学者，也可以跟着文章内容成功地完成运行。

2，Python和相关依赖库的安装

• 运行环境：Windows10
  

2.1，安装Python3.5.2

• 官网下载链接:  https://www.python.org/ftp/python/3.5.2/python-3.5.2.exe
• 下载完成后，双击安装。
• 这个版本会自动安装pip和setuptools，方便安装其它的库
  

2.2，Lxml 3.6.0

• Lxml官网地址: http://lxml.de/
• Windows版安装包下载: http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
• 对应windows下python3.5的安装文件为 lxml-3.6.0-cp35-cp35m-win32.whl
• 下载完成后，在windows下打开一个命令窗口,，切换到刚下载的whl文件的存放目录，运行pip install lxml-3.6.0-cp35-cp35m-win32.whl
  

2.3，下载网页内容提取器程序

网页内容提取器程序是GooSeeker为Python开源项目发布的一个类，使用这个类，可以大大减少数据采集规则的调试时间，具体参看《Python即时网络爬虫项目: 内容提取器的定义》

• 下载地址: https://github.com/FullerHua/gooseeker/core/gooseeker.py
• 把gooseeker.py保存在项目目录下
  

2.4，安装selenium

• pip install selenium
  

2.5，PhantomJS下载

• 下载地址 http://phantomjs.org/download.html
• 把下载得到的phantomjs-2.1.1-windows.zip解压到本机的某个文件夹下
• 把解压后的文件夹中的phantomjs.exe的完整路径加文件名记录下来，用来替换下面代码的 browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe') 这一行中的两个单引号之间的内容。
  

3，网络爬虫的源代码

1. # _*_coding:utf8_*_
   
2. # douban.py
   
3. # 爬取豆瓣小组讨论话题
   
4. # 2016-07-11 v1.0
   
5. # 2017-08-03 v1.1
   
6. 
   
7. from urllib import request
   
8. from lxml import etree
   
9. from gooseeker import GsExtractor
   
10. from selenium import webdriver
    
11. import time
    
12. 
    
13. class PhantomSpider:
    
14.     def getContent(self, url):
    
15.         browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
    
16.         browser.get(url)
    
17.         time.sleep(3)
    
18.         html = browser.execute_script("return document.documentElement.outerHTML")
    
19.         output = etree.HTML(html)
    
20.         return output
    
21. 
    
22.     def saveContent(self, filepath, content):
    
23.         file_obj = open(filepath, 'w', encoding='UTF-8')
    
24.         file_obj.write(content)
    
25.         file_obj.close()
    
26. 
    
27. doubanExtra = GsExtractor()   
    
28. # 下面这句调用gooseeker的api来设置xslt抓取规则
    
29. # 第一个参数是app key，请到GooSeeker会员中心申请
    
30. # 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的
    
31. doubanExtra.setXsltFromAPI("ffd5273e213036d812ea298922e2627b" , "豆瓣小组讨论话题")  
    
32. 
    
33. url = "https://www.douban.com/group/haixiuzu/discussion?start="
    
34. totalpages = 5
    
35. doubanSpider = PhantomSpider()
    
36. print("爬取开始")
    
37. 
    
38. for pagenumber in range(1 , totalpages):
    
39.     currenturl = url + str((pagenumber-1)*25)
    
40.     print("正在爬取", currenturl)
    
41.     content = doubanSpider.getContent(currenturl)
    
42.     outputxml = doubanExtra.extract(content)
    
43.     outputfile = "result" + str(pagenumber) +".xml"
    
44.     doubanSpider.saveContent(outputfile , str(outputxml))
    
45. 
    
46. print("爬取结束")
    

复制代码

运行过程如下:

• 将上面的代码保存到douban.py中，和前面2.3步下载的提取器类gooseeker.py放在同一个文件夹中
• 打开Windows CMD窗口，切换当前目录到存放douban.py的路径(cd \xxxx\xxx)
• 运行 python douban.py
  

请注意：为了让源代码更整洁，也为了让爬虫程序更有通用性，抓取规则是通过api注入到内容提取器bbsExtra中的，这样还有另外一个好处：如果目标网页结构变化了，只需通过MS谋数台重新编辑抓取规则，而本例的网络爬虫代码不用修改。为内容提取器下载采集规则的方法参看《GooSeeker API说明(1)--下载内容提取器》。

4，爬虫结果

在项目目录下可以看到多个result**.xml文件，文件内容如下图所示：



5，总结

因为信息采集规则是通过api下载下来的，所以，本案例的源代码显得十分简洁。同时，整个程序框架变得很通用，因为最影响通用性的采集规则是从外部注入的。

6，集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

7，文档修改历史
2016--07-11：V1.0

这个教程我上个星期运行的时候是可以的，现在运行的话就提示错误了。
是这个模板资源不存在了吗？

这两天服务器在扩容升级，暂时把api接口关闭了。
上午刚刚扩容升级完成，api接口现在重新开放了，你可以再试试

这个api接口的思路，真的不错

哦。可以了。谢谢。
不过有个疑问，如果你们的api接口暂停了，我是不是就不能用了？
有没有离线运行的方式啊？

songgong 发表于 2016-11-9 15:36
哦。可以了。谢谢。
不过有个疑问，如果你们的api接口暂停了，我是不是就不能用了？
有没有离线运行的方式 ...

离线方式就是把抓取规则拷贝下来写到程序中。api不会停的，昨天是因为系统升级，暂时停下了。

  我照教程做了，没抓到数据啊，提示如图，出现提示:SyntaxError: encoding problem: utf8_

你是在什么环境下运行的? 怎么报encoding problem: utf8_
可以把你实际运行的文件douban.py作为附件粘贴上来, 技术可以测试

gz51837844 发表于 2017-7-27 23:00
你是在什么环境下运行的? 怎么报encoding problem: utf8_
可以把你实际运行的文件douban.py作为附件粘贴上 ...

encoding problem: utf8_对于编码错误已经解决了，现在又出现NameError: name 'time' is not defined这个错误，哎，耽误我这么时间，我把开源Python的教程从头到尾能试的几乎试遍了，能用只有第一篇first.py那个正常运行抓取数据外，其它都失败了，白白浪费我好多宝贵的时间！！不知道fuller大神是否还继续效力于贵公司？此开源项目被终止了么？也不见更新和继续完善，尤其各种问题和教程，运行时各种问题频出啊，我心疼我浪费了如此的精力和时间，现在我不得不说，宣布失败。如果项目还继续，看看新的问题截图吧,问题截图