Python爬虫实战（4）：豆瓣小组话题数据采集---动态网页，采集失败啊，是哪里的问题呢？

http://www.gooseeker.com/doc/thread-2072-1-1.html按教程案例完整做下来后，报错了，截图如下：

lxml，selenium，phantomJS都已经安装，不知道是哪里的问题啊？对于gooseeker.py和douban.py的代码如下以供查看：

1. #!/usr/bin/python
   
2. # -*- coding: utf-8 -*-
   
3. # 模块名: gooseeker
   
4. # 类名: GsExtractor
   
5. # Version: 2.1
   
6. # 说明: html内容提取器
   
7. # 功能: 使用xslt作为模板，快速提取HTML DOM中的内容。
   
8. # released by 集搜客(http://www.gooseeker.com) on May 18, 2016
   
9. # github: https://github.com/FullerHua/jisou/core/gooseeker.py
   
10. 
    
11. import time
    
12. from urllib import request
    
13. from urllib.parse import quote
    
14. from lxml import etree
    
15. 
    
16. class GsExtractor(object):
    
17.     def _init_(self):
    
18.         self.xslt = ""
    
19.     # 从文件读取xslt
    
20.     def setXsltFromFile(self , xsltFilePath):
    
21.         file = open(xsltFilePath , 'r' , encoding='UTF-8')
    
22.         try:
    
23.             self.xslt = file.read()
    
24.         finally:
    
25.             file.close()
    
26.     # 从字符串获得xslt
    
27.     def setXsltFromMem(self , xsltStr):
    
28.         self.xslt = xsltStr
    
29.     # 通过GooSeeker API接口获得xslt
    
30.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
    
31.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
    
32.         if (middle):
    
33.             apiurl = apiurl + "&middle="+quote(middle)
    
34.         if (bname):
    
35.             apiurl = apiurl + "&bname="+quote(bname)
    
36.         apiconn = request.urlopen(apiurl)
    
37.         self.xslt = apiconn.read()
    
38.     # 返回当前xslt
    
39.     def getXslt(self):
    
40.         return self.xslt
    
41.     # 提取方法，入参是一个HTML DOM对象，返回是提取结果
    
42.     def extract(self , html):
    
43.         xslt_root = etree.XML(self.xslt)
    
44.         transform = etree.XSLT(xslt_root)
    
45.         result_tree = transform(html)
    
46.         return result_tree
    
47.     # 提取方法，入参是html源码，返回是提取结果
    
48.     def extractHTML(self , html):
    
49.         doc = etree.HTML(html)
    
50.         return self.extract(doc)
    

复制代码

1. # _*_coding:utf-8_*_
   
2. # douban.py
   
3. # 爬取豆瓣小组讨论话题
   
4. 
   
5. from urllib import request
   
6. from lxml import etree
   
7. from gooseeker import GsExtractor
   
8. from selenium import webdriver
   
9. 
   
10. class PhantomSpider:
    
11.     def getContent(self, url):
    
12.         browser = webdriver.PhantomJS(executable_path='H:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
    
13.         browser.get(url)
    
14.         time.sleep(3)
    
15.         html = browser.execute_script("return document.documentElement.outerHTML")
    
16.         output = etree.HTML(html)
    
17.         return output
    
18. 
    
19.     def saveContent(self, filepath, content):
    
20.         file_obj = open(filepath, 'w', encoding='UTF-8')
    
21.         file_obj.write(content)
    
22.         file_obj.close()
    
23. 
    
24. doubanExtra = GsExtractor()   
    
25. # 下面这句调用gooseeker的api来设置xslt抓取规则
    
26. # 第一个参数是app key，请到GooSeeker会员中心申请
    
27. # 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的
    
28. doubanExtra.setXsltFromAPI("ffd5273e213036d812ea298922e2627b" , "豆瓣小组讨论话题")  
    
29. 
    
30. url = "https://www.douban.com/group/haixiuzu/discussion?start="
    
31. totalpages = 5
    
32. doubanSpider = PhantomSpider()
    
33. print("爬取开始")
    
34. 
    
35. for pagenumber in range(1 , totalpages):
    
36.     currenturl = url + str((pagenumber-1)*25)
    
37.     print("正在爬取", currenturl)
    
38.     content = doubanSpider.getContent(currenturl)
    
39.     outputxml = doubanExtra.extract(content)
    
40.     outputfile = "result" + str(pagenumber) +".xml"
    
41.     doubanSpider.saveContent(outputfile , str(outputxml))
    
42. 
    
43. print("爬取结束")
    

复制代码

提示的错误信息里有: NameError: name 'time' is not defined
你在douban.py第4行的位置加一句:

1. import time

复制代码

gz51837844 发表于 2017-8-3 11:24
提示的错误信息里有: NameError: name 'time' is not defined
你在douban.py第4行的位置加一句:
...

非常感谢，成功了。不过我还有问题，就是我看这个案例能进行翻页爬取数据是因为它有独立网址，从而用循环进行了构造网址来达到翻页爬取的目的，那么问题来了：
1.如果翻页没有独立网址，或者说网址不变，此刻要进行翻页该怎么办呢？
2.既然能通过api等方式导入爬取数据的数据规则xslt，那么同样能否导入进行翻页的线索规则呢？这样进行翻页也很方便了呀。

翻页功能没有实现.
目前其它的开发测试任务很重, python版没有排入时间表