快捷导航
1, 引言

注释:上一篇《Python爬虫实战(3):安居客房产经纪人信息采集》,访问的网页是静态网页,有朋友模仿那个实战来采集动态加载豆瓣小组的网页,结果不成功。本篇是针对动态网页的数据采集编程实战。

Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫。为了适应各种应用场景,GooSeeker的整个网络爬虫产品线包含了四类产品,如下图所示:


爬虫定位1.png


本实战是上图中的“独立python爬虫”的一个实例,以采集豆瓣小组讨论话题(https://www.douban.com/group/haixiuzu/discussion?start=0 )信息为例,记录整个采集流程,包括python和依赖库的安装,即便是python初学者,也可以跟着文章内容成功地完成运行。

2,Python和相关依赖库的安装

  • 运行环境:Windows10

2.1,安装Python3.5.2


2.2,Lxml 3.6.0
  • Lxml官网地址: http://lxml.de/
  • Windows版安装包下载: http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
  • 对应windows下python3.5的安装文件为 lxml-3.6.0-cp35-cp35m-win32.whl
  • 下载完成后,在windows下打开一个命令窗口,,切换到刚下载的whl文件的存放目录,运行pip install lxml-3.6.0-cp35-cp35m-win32.whl

2.3,下载网页内容提取器程序


网页内容提取器程序是GooSeeker为Python开源项目发布的一个类,使用这个类,可以大大减少数据采集规则的调试时间,具体参看《Python即时网络爬虫项目: 内容提取器的定义

2.4,安装selenium
  • pip install selenium

2.5,PhantomJS下载
  • 下载地址 http://phantomjs.org/download.html
  • 把下载得到的phantomjs-2.1.1-windows.zip解压到本机的某个文件夹下
  • 把解压后的文件夹中的phantomjs.exe的完整路径加文件名记录下来,用来替换下面代码的 browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe') 这一行中的两个单引号之间的内容。

3,网络爬虫的源代码
  1. # _*_coding:utf8_*_
  2. # douban.py
  3. # 爬取豆瓣小组讨论话题
  4. # 2016-07-11 v1.0
  5. # 2017-08-03 v1.1

  6. from urllib import request
  7. from lxml import etree
  8. from gooseeker import GsExtractor
  9. from selenium import webdriver
  10. import time

  11. class PhantomSpider:
  12.     def getContent(self, url):
  13.         browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
  14.         browser.get(url)
  15.         time.sleep(3)
  16.         html = browser.execute_script("return document.documentElement.outerHTML")
  17.         output = etree.HTML(html)
  18.         return output

  19.     def saveContent(self, filepath, content):
  20.         file_obj = open(filepath, 'w', encoding='UTF-8')
  21.         file_obj.write(content)
  22.         file_obj.close()

  23. doubanExtra = GsExtractor()   
  24. # 下面这句调用gooseeker的api来设置xslt抓取规则
  25. # 第一个参数是app key,请到GooSeeker会员中心申请
  26. # 第二个参数是规则名,是通过GooSeeker的图形化工具: 谋数台MS 来生成的
  27. doubanExtra.setXsltFromAPI("ffd5273e213036d812ea298922e2627b" , "豆瓣小组讨论话题")  

  28. url = "https://www.douban.com/group/haixiuzu/discussion?start="
  29. totalpages = 5
  30. doubanSpider = PhantomSpider()
  31. print("爬取开始")

  32. for pagenumber in range(1 , totalpages):
  33.     currenturl = url + str((pagenumber-1)*25)
  34.     print("正在爬取", currenturl)
  35.     content = doubanSpider.getContent(currenturl)
  36.     outputxml = doubanExtra.extract(content)
  37.     outputfile = "result" + str(pagenumber) +".xml"
  38.     doubanSpider.saveContent(outputfile , str(outputxml))

  39. print("爬取结束")
复制代码
运行过程如下:
  • 将上面的代码保存到douban.py中,和前面2.3步下载的提取器类gooseeker.py放在同一个文件夹中
  • 打开Windows CMD窗口,切换当前目录到存放douban.py的路径(cd \xxxx\xxx)
  • 运行 python douban.py
请注意:为了让源代码更整洁,也为了让爬虫程序更有通用性,抓取规则是通过api注入到内容提取器bbsExtra中的,这样还有另外一个好处:如果目标网页结构变化了,只需通过MS谋数台重新编辑抓取规则,而本例的网络爬虫代码不用修改。为内容提取器下载采集规则的方法参看《GooSeeker API说明(1)--下载内容提取器》。

4,爬虫结果

在项目目录下可以看到多个result**.xml文件,文件内容如下图所示:

豆瓣结果.png

5,总结

因为信息采集规则是通过api下载下来的,所以,本案例的源代码显得十分简洁。同时,整个程序框架变得很通用,因为最影响通用性的采集规则是从外部注入的。

6,集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

7,文档修改历史
2016--07-11:V1.0







举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2017-7-28 19:31

songgong 新手上路 发表于 2016-11-9 10:30:15 | 显示全部楼层
这个教程我上个星期运行的时候是可以的,现在运行的话就提示错误了。
是这个模板资源不存在了吗?
举报 使用道具
scraper 金牌会员 发表于 2016-11-9 10:52:45 | 显示全部楼层
这两天服务器在扩容升级,暂时把api接口关闭了。
上午刚刚扩容升级完成,api接口现在重新开放了,你可以再试试
举报 使用道具
DK_MySoul 初级会员 发表于 2016-11-9 11:46:49 | 显示全部楼层
这个api接口的思路,真的不错
举报 使用道具
songgong 新手上路 发表于 2016-11-9 15:36:20 | 显示全部楼层
哦。可以了。谢谢。
不过有个疑问,如果你们的api接口暂停了,我是不是就不能用了?
有没有离线运行的方式啊?
举报 使用道具
Fuller 管理员 发表于 2016-11-9 16:00:25 | 显示全部楼层
songgong 发表于 2016-11-9 15:36
哦。可以了。谢谢。
不过有个疑问,如果你们的api接口暂停了,我是不是就不能用了?
有没有离线运行的方式 ...

离线方式就是把抓取规则拷贝下来写到程序中。api不会停的,昨天是因为系统升级,暂时停下了。
举报 使用道具
mingdongtianxia 中级会员 发表于 2017-7-27 20:22:48 | 显示全部楼层
L~@2J5H2[5V5YN(}NLN2}R5.png   我照教程做了,没抓到数据啊,提示如图,出现提示:SyntaxError: encoding problem: utf8_
举报 使用道具
gz51837844 管理员 发表于 2017-7-27 23:00:06 | 显示全部楼层
你是在什么环境下运行的? 怎么报encoding problem: utf8_
可以把你实际运行的文件douban.py作为附件粘贴上来, 技术可以测试
举报 使用道具
mingdongtianxia 中级会员 发表于 2017-7-28 19:31:56 | 显示全部楼层
gz51837844 发表于 2017-7-27 23:00
你是在什么环境下运行的? 怎么报encoding problem: utf8_
可以把你实际运行的文件douban.py作为附件粘贴上 ...

encoding problem: utf8_对于编码错误已经解决了,现在又出现NameError: name 'time' is not defined这个错误,哎,耽误我这么时间,我把开源Python的教程从头到尾能试的几乎试遍了,能用只有第一篇first.py那个正常运行抓取数据外,其它都失败了,白白浪费我好多宝贵的时间!!不知道fuller大神是否还继续效力于贵公司?此开源项目被终止了么?也不见更新和继续完善,尤其各种问题和教程,运行时各种问题频出啊,我心疼我浪费了如此的精力和时间,现在我不得不说,宣布失败。如果项目还继续,看看新的问题截图吧,问题截图 360桌面截图20170728192956.jpg
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-11-22 22:37