Python: xml转json

1，引言

GooSeeker早在9年前就开始了Semantic Web领域的产品化，MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是 XML -> RDF -> Ontology Engineering。所以这两款产品的输出信息是XML格式的，实现第一步：结构化转换。单纯作为一个网页采集器来说，输出XML格式也有好处，这是一种标准格式，后续的数据处理可以很容易地接入，任意发挥。

在web集成和网站前端领域，json越来越普遍，在Scrapy架构中，Scrapy dict数据结构本质上就是json，所以，由XML格式转换成JSON格式很有必要。

无论哪种编程语言，XML转Json都有很多现成的程序包，但是，就像前面说的，GooSeeker定义的XML格式主要用来做实体建模，有自己规定的一套语义结构描述标准。所以，不能直接使用现成的转换程序，或者需要在现成的转换程序上做些修改。

本文是一个实验过程，并没有考虑GooSeeker要求的语义结构，只是验证一下XML到Json的转换。

2，实验用的XML文件

我们使用《python爬虫实战（2）：爬取京东商品列表》一文的结果文件，python爬虫爬取的结果保存在 京东手机列表_1.xml 文件中。内容如下图所示

下面针对这个结果文件先做个xml转json的测试，为提取器gsExtractor添加输出Json文件的功能做技术准备。

3，测试过程

• 测试使用的模块：xml.parsers.expat，  json
• 测试输入： 以python爬虫实战（2）：爬取京东商品列表一文的xml结果文件 京东手机列表_1.xml 作为输入
  

代码如下：

1. #! /usr/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. # xml 转 json
   
4. # xml2json.py
   
5. # Version 1.0
   
6. 
   
7. from xml.parsers.expat import ParserCreate
   
8. import json
   
9. 
   
10. class Xml2Json:
    
11.     LIST_TAGS = ['COMMANDS']
    
12.    
    
13.     def __init__(self, data = None):
    
14.         self._parser = ParserCreate()
    
15.         self._parser.StartElementHandler = self.start
    
16.         self._parser.EndElementHandler = self.end
    
17.         self._parser.CharacterDataHandler = self.data
    
18.         self.result = None
    
19.         if data:
    
20.             self.feed(data)
    
21.             self.close()
    
22.         
    
23.     def feed(self, data):
    
24.         self._stack = []
    
25.         self._data = ''
    
26.         self._parser.Parse(data, 0)
    
27. 
    
28.     def close(self):
    
29.         self._parser.Parse("", 1)
    
30.         del self._parser
    
31. 
    
32.     def start(self, tag, attrs):
    
33.         assert attrs == {}
    
34.         assert self._data.strip() == ''
    
35.         self._stack.append([tag])
    
36.         self._data = ''
    
37. 
    
38.     def end(self, tag):
    
39.         last_tag = self._stack.pop()
    
40.         assert last_tag[0] == tag
    
41.         if len(last_tag) == 1: #leaf
    
42.             data = self._data
    
43.         else:
    
44.             if tag not in Xml2Json.LIST_TAGS:
    
45.                 # build a dict, repeating pairs get pushed into lists
    
46.                 data = {}
    
47.                 for k, v in last_tag[1:]:
    
48.                     if k not in data:
    
49.                         data[k] = v
    
50.                     else:
    
51.                         el = data[k]
    
52.                         if type(el) is not list:
    
53.                             data[k] = [el, v]
    
54.                         else:
    
55.                             el.append(v)
    
56.             else: #force into a list
    
57.                 data = [{k:v} for k, v in last_tag[1:]]
    
58.         if self._stack:
    
59.             self._stack[-1].append((tag, data))
    
60.         else:
    
61.             self.result = {tag:data}
    
62.         self._data = ''
    
63. 
    
64.     def data(self, data):
    
65.         self._data = data
    
66. 
    
67. if __name__ == '__main__':
    
68.     xml = open("京东手机列表_1.xml", 'r', encoding='UTF-8').read()
    
69.     result = Xml2Json(xml).result;
    
70.     outputfile = open("京东手机列表_1.json", 'w', encoding='UTF-8')
    
71.     outputfile.write(str(result))
    
72.     outputfile.close()        

复制代码

• 在控制台运行:  $ python xml2json.py
• 测试输出：京东手机列表_1.json。运行后在当前文件夹下可以看到新生成的json文件
  

4，接下来的工作

• 升级gsExtractor提取器类，加入新的方法，支持把提取结果从xml转换为json格式
• 转换成的json结构必须符合GooSeeker要求的语义描述结构，为直接存入MongoDB做准备
  

5，相关文档
1， Python即时网络爬虫项目: 内容提取器的定义
2，Python爬虫实战（2）：爬取京东商品列表

6，集搜客GooSeeker开源代码下载源
1， GooSeeker开源Python网络爬虫GitHub源

7，文档修改历史

2016-06-06：V1.0，首次发布

GooSeeker的DS打数机生成的抓取结果文件有一套语义结构标准，转json时也有一套标准，最后存入MongoDB也保持了这套标准。

这套标准都是为了描述语义结构的，以及未来向实体关系描述和知识图谱表达方向发展。

上面的转换程序要核对验证一下，以确保遵照前述的语义结构标准

请问一下，可以实现将gooseeker抓取的数据放入数据库了吗？感觉很有需要啊！

lizhizilt 发表于 2017-5-31 23:02
请问一下，可以实现将gooseeker抓取的数据放入数据库了吗？感觉很有需要啊！ ...

集搜客会员中心的导入功能就是入库功能，程序有些复杂，没有作为python开放代码发布出来

Fuller 发表于 2017-5-31 23:09
集搜客会员中心的导入功能就是入库功能，程序有些复杂，没有作为python开放代码发布出来
...

看了这个python即时网络爬虫项目，感觉超棒的！！！其实我问的是，就是第4点，接下来的工作，进展的怎样
我想知道提取结果的xml如何转成json，又如何存入mongodb数据库中

lizhizilt 发表于 2017-6-1 00:49
看了这个python即时网络爬虫项目，感觉超棒的！！！其实我问的是，就是第4点，接下来的工作，进展的怎样
...

xml转json很容易，把标签变成key就行了。变成json就能直接入mongodb

Fuller 发表于 2017-6-1 08:47
xml转json很容易，把标签变成key就行了。变成json就能直接入mongodb

哦哦，好的，我研究下，谢谢