我照这个教程做下来，没抓到数据出现问题了，该怎么办呀？

http://www.gooseeker.com/doc/thread-2072-1-1.html

你是在什么环境下运行的? 怎么报encoding problem: utf8_

愁死了，怎么弄啊？

gz51837844 发表于 2017-7-27 22:58
你是在什么环境下运行的? 怎么报encoding problem: utf8_

系统是Windows 7 旗舰版64位系统，我是按http://www.gooseeker.com/doc/thread-2072-1-1.html这个教程一步一步完整做下来然后就报错了，lxml，selenium和PhantomJS都安装了并且安装成功，只是按教程lxml应该安装对应windows下python3.5的安装文件为 lxml-3.6.0-cp35-cp35m-win32.whl，可是官网没有找到，我只好安装的lxml-3.8.0-cp35-cp35m-win32.whl这个版本的，不影响吧应该？

mingdongtianxia 发表于 2017-7-28 11:17
系统是Windows 7 旗舰版64位系统，我是按http://www.gooseeker.com/doc/thread-2072-1-1.html这个教程一 ...

尝试下面的步骤看看
1. 检查一下py文件的编码格式
2. 第一行 # _*_coding:utf8_*_ 这句注释代码是否加上了
3. 贴一下代码，检查一下代码之间是否有空格问题

ippfon 发表于 2017-7-28 11:39
尝试下面的步骤看看
1. 检查一下py文件的编码格式
2. 第一行 # _*_coding:utf8_*_ 这句注释代码是否加上 ...

https://github.com/FullerHua/gooseeker我从这个网站找的fuller大神的GitHub的下载包，然后按http://www.gooseeker.com/doc/thread-2072-1-1.html这个网址的教程对他的文件做了必要的修改，然后就报错了，一共两个.py文件，它们的具体的代码如下：

1. 1.gooseeker.py
   
2. #!/usr/bin/python
   
3. # -*- coding: utf-8 -*-
   
4. # 模块名: gooseeker
   
5. # 类名: GsExtractor
   
6. # Version: 2.1
   
7. # 说明: html内容提取器
   
8. # 功能: 使用xslt作为模板，快速提取HTML DOM中的内容。
   
9. # released by 集搜客(http://www.gooseeker.com) on May 18, 2016
   
10. # github: https://github.com/FullerHua/jisou/core/gooseeker.py
    
11. 
    
12. import time
    
13. from urllib import request
    
14. from urllib.parse import quote
    
15. from lxml import etree
    
16. 
    
17. class GsExtractor(object):
    
18.     def _init_(self):
    
19.         self.xslt = ""
    
20.     # 从文件读取xslt
    
21.     def setXsltFromFile(self , xsltFilePath):
    
22.         file = open(xsltFilePath , 'r' , encoding='UTF-8')
    
23.         try:
    
24.             self.xslt = file.read()
    
25.         finally:
    
26.             file.close()
    
27.     # 从字符串获得xslt
    
28.     def setXsltFromMem(self , xsltStr):
    
29.         self.xslt = xsltStr
    
30.     # 通过GooSeeker API接口获得xslt
    
31.     def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):
    
32.         apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)
    
33.         if (middle):
    
34.             apiurl = apiurl + "&middle="+quote(middle)
    
35.         if (bname):
    
36.             apiurl = apiurl + "&bname="+quote(bname)
    
37.         apiconn = request.urlopen(apiurl)
    
38.         self.xslt = apiconn.read()
    
39.     # 返回当前xslt
    
40.     def getXslt(self):
    
41.         return self.xslt
    
42.     # 提取方法，入参是一个HTML DOM对象，返回是提取结果
    
43.     def extract(self , html):
    
44.         xslt_root = etree.XML(self.xslt)
    
45.         transform = etree.XSLT(xslt_root)
    
46.         result_tree = transform(html)
    
47.         return result_tree
    
48.     # 提取方法，入参是html源码，返回是提取结果
    
49.     def extractHTML(self , html):
    
50.         doc = etree.HTML(html)
    
51.         return self.extract(doc)
    
52. 
    

复制代码

ippfon 发表于 2017-7-28 11:39
尝试下面的步骤看看
1. 检查一下py文件的编码格式
2. 第一行 # _*_coding:utf8_*_ 这句注释代码是否加上 ...

1. 2.douban.py
   
2. # _*_coding:utf8_*_
   
3. # douban.py
   
4. # 爬取豆瓣小组讨论话题
   
5. 
   
6. from urllib import request
   
7. from lxml import etree
   
8. from gooseeker import GsExtractor
   
9. from selenium import webdriver
   
10. 
    
11. class PhantomSpider:
    
12.     def getContent(self, url):
    
13.         browser = webdriver.PhantomJS(executable_path='H:\phantomjs-2.1.1-windows\bin\phantomjs.exe')
    
14.         browser.get(url)
    
15.         time.sleep(3)
    
16.         html = browser.execute_script("return document.documentElement.outerHTML")
    
17.         output = etree.HTML(html)
    
18.         return output
    
19. 
    
20.     def saveContent(self, filepath, content):
    
21.         file_obj = open(filepath, 'w', encoding='UTF-8')
    
22.         file_obj.write(content)
    
23.         file_obj.close()
    
24. 
    
25. doubanExtra = GsExtractor()   
    
26. # 下面这句调用gooseeker的api来设置xslt抓取规则
    
27. # 第一个参数是app key，请到GooSeeker会员中心申请
    
28. # 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的
    
29. doubanExtra.setXsltFromAPI("ffd5273e213036d812ea298922e2627b" , "豆瓣小组讨论话题")  
    
30. 
    
31. url = "https://www.douban.com/group/haixiuzu/discussion?start="
    
32. totalpages = 5
    
33. doubanSpider = PhantomSpider()
    
34. print("爬取开始")
    
35. 
    
36. for pagenumber in range(1 , totalpages):
    
37.     currenturl = url + str((pagenumber-1)*25)
    
38.     print("正在爬取", currenturl)
    
39.     content = doubanSpider.getContent(currenturl)
    
40.     outputxml = doubanExtra.extract(content)
    
41.     outputfile = "result" + str(pagenumber) +".xml"
    
42.     doubanSpider.saveContent(outputfile , str(outputxml))
    
43. 
    
44. print("爬取结束")
    

复制代码

gz51837844 发表于 2017-7-27 22:58
你是在什么环境下运行的? 怎么报encoding problem: utf8_

@gz51837844

ippfon 发表于 2017-7-28 11:39
尝试下面的步骤看看
1. 检查一下py文件的编码格式
2. 第一行 # _*_coding:utf8_*_ 这句注释代码是否加上 ...

1. 检查一下py文件的编码格式
2. 第一行 # _*_coding:utf8_*_ 这句注释代码是否加上了
3. 贴一下代码，检查一下代码之间是否有空格问题


上面的你给我说错了，经过大量的可以说血的教训，对于你说的“2. 第一行 # _*_coding:utf8_*_ 这句注释代码是否加上了”是不是应该改为
2. 第一行 # _*_coding:utf-8_*_ 这句注释代码是否加上了”，utf与8之间少了一个“-”，哎，哭死，救命啊，我的天，我想对于我浪费的宝贵的精力和时间来说，
以后这种尝试探索还是交给大神吧，Python开源项目只有第一篇first.py按教程下来能正常运行跑数据外其它全告失败，对于我等编程小白来说，简直就是一种亵渎生命的折磨，哎，，忙活了好几天，全都白瞎了，宣告破产，，，