python读取PDF内容

1，引言

晚上翻看《Python网络数据采集》这本书，看到读取PDF内容的代码，想起来前几天集搜客刚刚发布了一个抓取网页pdf内容的抓取规则，这个规则能够把pdf内容当成html来做网页抓取。神奇之处要归功于Firefox解析PDF的能力，能够把pdf格式转换成html标签，比如，div之类的标签，从而用GooSeeker网页抓取软件像抓普通网页一样抓取结构化内容。

从而产生了一个问题：用Python爬虫的话，能做到什么程度。下面将讲述一个实验过程和源代码。

2，把pdf转换成文本的Python源代码

下面的python源代码，读取pdf文件内容(互联网上的或是本地的)，转换成文本，打印出来。这段代码主要用了一个第三方库PDFMiner3K把PDF读成字符串，然后用StringIO转换成文件对象。（源代码下载地址参看文章末尾的GitHub源）

1. from urllib.request import urlopen
   
2. from pdfminer.pdfinterp import PDFResourceManager, process_pdf
   
3. from pdfminer.converter import TextConverter
   
4. from pdfminer.layout import LAParams
   
5. from io import StringIO
   
6. from io import open
   
7. 
   
8. def readPDF(pdfFile):
   
9.     rsrcmgr = PDFResourceManager()
   
10.     retstr = StringIO()
    
11.     laparams = LAParams()
    
12.     device = TextConverter(rsrcmgr, retstr, laparams=laparams)
    
13. 
    
14.     process_pdf(rsrcmgr, device, pdfFile)
    
15.     device.close()
    
16. 
    
17.     content = retstr.getvalue()
    
18.     retstr.close()
    
19.     return content
    
20. 
    
21. pdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")
    
22. outputString = readPDF(pdfFile)
    
23. print(outputString)
    
24. pdfFile.close()

复制代码

如果PDF文件在你的电脑里，那就把urlopen返回的对象pdfFile替换成普通的open()文件对象。

3，展望

这个实验只是把pdf转换成了文本，但是没有像开头所说的转换成html标签，那么在Python编程环境下是否有这个能力，留待今后探索。


4，集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

5，文档修改历史

2016-05-26：V2.0，增补文字说明
2016-05-29：V2.1，增加第六章：源代码下载源，并更换github源的网址

需要安装第三方库PDFMiner3K

下载页里木有看到啊 能明示么

goodqdy 发表于 2016-7-19 09:44
下载页里木有看到啊 能明示么

文章中的github源的地址已经更新了，你可以再点击试一下

不好意思，请问这个可以用来读取中文吗？ 我尝试了下，出现了ValueError: chr() arg not in range(256)的报错。可以麻烦您指教下么？