tutorial - ¿Cómo convertir una cadena xml a un diccionario en Python?

xml etree elementtree example

Question

Tengo un programa que lee un documento xml de un socket. Tengo el documento xml almacenado en una cadena que me gustaría convertir directamente a un diccionario de Python, de la misma manera que lo simplejson biblioteca simplejson de Django.

Tomemos como ejemplo:

str ="<?xml version="1.0" ?><person><name>john</name><age>20</age></person"
dic_xml = convert_to_dic(str)

Entonces dic_xml se vería como {''person'' : { ''name'' : ''john'', ''age'' : 20 } }

Answer 1

@dibrovsd: la solución no funcionará si el xml tiene más de una etiqueta con el mismo nombre

En su línea de pensamiento, modifiqué un poco el código y lo escribí para nodo general en lugar de raíz:

from collections import defaultdict
def xml2dict(node):
d, count = defaultdict(list), 1
for i in node:
d[i.tag + "_" + str(count)][''text''] = i.findtext(''.'')[0]
d[i.tag + "_" + str(count)][''attrib''] = i.attrib # attrib gives the list
d[i.tag + "_" + str(count)][''children''] = xml2dict(i) # it gives dict
return d

Answer 2

Aquí hay un enlace a una solución de ActiveState , y el código en caso de que desaparezca nuevamente.

==================================================
xmlreader.py:
==================================================
from xml.dom.minidom import parse
class NotTextNodeError:
pass
def getTextFromNode(node):
"""
scans through all children of node and gathers the
text. if node has non-text child-nodes, then
NotTextNodeError is raised.
"""
t = ""
for n in node.childNodes:
if n.nodeType == n.TEXT_NODE:
t += n.nodeValue
else:
raise NotTextNodeError
return t
def nodeToDic(node):
"""
nodeToDic() scans through the children of node and makes a
dictionary from the content.
three cases are differentiated:
- if the node contains no other nodes, it is a text-node
and {nodeName:text} is merged into the dictionary.
- if the node has the attribute "method" set to "true",
then it''s children will be appended to a list and this
list is merged to the dictionary in the form: {nodeName:list}.
- else, nodeToDic() will call itself recursively on
the nodes children (merging {nodeName:nodeToDic()} to
the dictionary).
"""
dic = {}
for n in node.childNodes:
if n.nodeType != n.ELEMENT_NODE:
continue
if n.getAttribute("multiple") == "true":
# node with multiple children:
# put them in a list
l = []
for c in n.childNodes:
if c.nodeType != n.ELEMENT_NODE:
continue
l.append(nodeToDic(c))
dic.update({n.nodeName:l})
continue
try:
text = getTextFromNode(n)
except NotTextNodeError:
# ''normal'' node
dic.update({n.nodeName:nodeToDic(n)})
continue
# text node
dic.update({n.nodeName:text})
continue
return dic
def readConfig(filename):
dom = parse(filename)
return nodeToDic(dom)
def test():
dic = readConfig("sample.xml")
print dic["Config"]["Name"]
print
for item in dic["Config"]["Items"]:
print "Item''s Name:", item["Name"]
print "Item''s Value:", item["Value"]
test()
==================================================
sample.xml:
==================================================
<?xml version="1.0" encoding="UTF-8"?>
<Config>
<Name>My Config File</Name>
<Items multiple="true">
<Item>
<Name>First Item</Name>
<Value>Value 1</Value>
</Item>
<Item>
<Name>Second Item</Name>
<Value>Value 2</Value>
</Item>
</Items>
</Config>
==================================================
output:
==================================================
My Config File
Item''s Name: First Item
Item''s Value: Value 1
Item''s Name: Second Item
Item''s Value: Value 2

Answer 3

Descargo de responsabilidad: Este analizador XML modificado fue inspirado por Adam Clark. El analizador XML original funciona para la mayoría de los casos simples. Sin embargo, no funcionó para algunos archivos XML complicados. Depuré el código línea por línea y finalmente solucioné algunos problemas. Si encuentra algunos errores, hágamelo saber. Estoy contento de arreglarlo.

class XmlDictConfig(dict):
''''''
Note: need to add a root into if no exising
Example usage:
>>> tree = ElementTree.parse(''your_file.xml'')
>>> root = tree.getroot()
>>> xmldict = XmlDictConfig(root)
Or, if you want to use an XML string:
>>> root = ElementTree.XML(xml_string)
>>> xmldict = XmlDictConfig(root)
And then use xmldict for what it is... a dict.
''''''
def __init__(self, parent_element):
if parent_element.items():
self.updateShim( dict(parent_element.items()) )
for element in parent_element:
if len(element):
aDict = XmlDictConfig(element)
# if element.items():
# aDict.updateShim(dict(element.items()))
self.updateShim({element.tag: aDict})
elif element.items(): # items() is specialy for attribtes
elementattrib= element.items()
if element.text:
elementattrib.append((element.tag,element.text )) # add tag:text if there exist
self.updateShim({element.tag: dict(elementattrib)})
else:
self.updateShim({element.tag: element.text})
def updateShim (self, aDict ):
for key in aDict.keys(): # keys() includes tag and attributes
if key in self:
value = self.pop(key)
if type(value) is not list:
listOfDicts = []
listOfDicts.append(value)
listOfDicts.append(aDict[key])
self.update({key: listOfDicts})
else:
value.append(aDict[key])
self.update({key: value})
else:
self.update({key:aDict[key]}) # it was self.update(aDict)

Answer 4

Desde @ K3 --- rnc response (lo mejor para mí) He agregado pequeñas modificaciones para obtener un OrderedDict de un texto XML (algunas veces el orden importa):

def etree_to_ordereddict(t):
d = OrderedDict()
d[t.tag] = OrderedDict() if t.attrib else None
children = list(t)
if children:
dd = OrderedDict()
for dc in map(etree_to_ordereddict, children):
for k, v in dc.iteritems():
if k not in dd:
dd[k] = list()
dd[k].append(v)
d = OrderedDict()
d[t.tag] = OrderedDict()
for k, v in dd.iteritems():
if len(v) == 1:
d[t.tag][k] = v[0]
else:
d[t.tag][k] = v
if t.attrib:
d[t.tag].update((''@'' + k, v) for k, v in t.attrib.iteritems())
if t.text:
text = t.text.strip()
if children or t.attrib:
if text:
d[t.tag][''#text''] = text
else:
d[t.tag] = text
return d

Siguiendo el ejemplo de @ K3 --- rnc, puedes usarlo:

from xml.etree import cElementTree as ET
e = ET.XML(''''''
<root>
<e />
<e>text</e>
<e name="value" />
<e name="value">text</e>
<e> <a>text</a> <b>text</b> </e>
<e> <a>text</a> <a>text</a> </e>
<e> text <a>text</a> </e>
</root>
'''''')
from pprint import pprint
pprint(etree_to_ordereddict(e))

Espero eso ayude ;)

Answer 5

El analizador XML más fácil de usar para Python es ElementTree (a partir de 2.5x, está en la biblioteca estándar xml.etree.ElementTree). No creo que haya nada que haga exactamente lo que quieres de la caja. Sería bastante trivial escribir algo para hacer lo que quiera usando ElementTree, pero ¿por qué convertirlo a un diccionario y por qué no simplemente usar ElementTree directamente?

Answer 6

El código de http://code.activestate.com/recipes/410469-xml-as-dictionary/ funciona bien, pero si hay varios elementos que son iguales en un lugar determinado de la jerarquía, simplemente los anula.

Agregué un calce entre eso para ver si el elemento ya existe antes de self.update (). Si es así, aparece la entrada existente y crea una lista de la existente y la nueva. Cualquier duplicado subsiguiente se agrega a la lista.

No estoy seguro si esto se puede manejar con más gracia, pero funciona:

import xml.etree.ElementTree as ElementTree
class XmlDictConfig(dict):
def __init__(self, parent_element):
if parent_element.items():
self.updateShim(dict(parent_element.items()))
for element in parent_element:
if len(element):
aDict = XmlDictConfig(element)
if element.items():
aDict.updateShim(dict(element.items()))
self.updateShim({element.tag: aDict})
elif element.items():
self.updateShim({element.tag: dict(element.items())})
else:
self.updateShim({element.tag: element.text.strip()})
def updateShim (self, aDict ):
for key in aDict.keys():
if key in self:
value = self.pop(key)
if type(value) is not list:
listOfDicts = []
listOfDicts.append(value)
listOfDicts.append(aDict[key])
self.update({key: listOfDicts})
else:
value.append(aDict[key])
self.update({key: value})
else:
self.update(aDict)

Answer 7

El siguiente fragmento XML-to-Python-dict analiza entidades así como atributos que siguen a esta "especificación" XML-to-JSON . Es la solución más general que maneja todos los casos de XML.

from collections import defaultdict
def etree_to_dict(t):
d = {t.tag: {} if t.attrib else None}
children = list(t)
if children:
dd = defaultdict(list)
for dc in map(etree_to_dict, children):
for k, v in dc.items():
dd[k].append(v)
d = {t.tag: {k:v[0] if len(v) == 1 else v for k, v in dd.items()}}
if t.attrib:
d[t.tag].update((''@'' + k, v) for k, v in t.attrib.items())
if t.text:
text = t.text.strip()
if children or t.attrib:
if text:
d[t.tag][''#text''] = text
else:
d[t.tag] = text
return d

Esta usado:

from xml.etree import cElementTree as ET
e = ET.XML(''''''
<root>
<e />
<e>text</e>
<e name="value" />
<e name="value">text</e>
<e> <a>text</a> <b>text</b> </e>
<e> <a>text</a> <a>text</a> </e>
<e> text <a>text</a> </e>
</root>
'''''')
from pprint import pprint
pprint(etree_to_dict(e))

El resultado de este ejemplo (según la "especificación" anteriormente vinculada) debería ser:

{''root'': {''e'': [None,
''text'',
{''@name'': ''value''},
{''#text'': ''text'', ''@name'': ''value''},
{''a'': ''text'', ''b'': ''text''},
{''a'': [''text'', ''text'']},
{''#text'': ''text'', ''a'': ''text''}]}}

No necesariamente es bonito, pero no es ambiguo, y las entradas XML más simples dan como resultado un JSON más simple. :)

Actualizar

Si quiere hacer lo contrario , emita una cadena XML desde un JSON / dict , puede usar:

try:
basestring
except NameError: # python3
basestring = str
def dict_to_etree(d):
def _to_etree(d, root):
if not d:
pass
elif isinstance(d, basestring):
root.text = d
elif isinstance(d, dict):
for k,v in d.items():
assert isinstance(k, basestring)
if k.startswith(''#''):
assert k == ''#text'' and isinstance(v, basestring)
root.text = v
elif k.startswith(''@''):
assert isinstance(v, basestring)
root.set(k[1:], v)
elif isinstance(v, list):
for e in v:
_to_etree(e, ET.SubElement(root, k))
else:
_to_etree(v, ET.SubElement(root, k))
else:
raise TypeError(''invalid type: '' + str(type(d)))
assert isinstance(d, dict) and len(d) == 1
tag, body = next(iter(d.items()))
node = ET.Element(tag)
_to_etree(body, node)
return ET.tostring(node)
pprint(dict_to_etree(d))

Answer 8

En un momento dado tuve que analizar y escribir XML que solo consistía en elementos sin atributos, por lo que era posible realizar un mapeo 1: 1 de XML a dict fácilmente. Esto es lo que se me ocurrió en caso de que alguien más tampoco necesite atributos:

def xmltodict(element):
if not isinstance(element, ElementTree.Element):
raise ValueError("must pass xml.etree.ElementTree.Element object")
def xmltodict_handler(parent_element):
result = dict()
for element in parent_element:
if len(element):
obj = xmltodict_handler(element)
else:
obj = element.text
if result.get(element.tag):
if hasattr(result[element.tag], "append"):
result[element.tag].append(obj)
else:
result[element.tag] = [result[element.tag], obj]
else:
result[element.tag] = obj
return result
return {element.tag: xmltodict_handler(element)}
def dicttoxml(element):
if not isinstance(element, dict):
raise ValueError("must pass dict type")
if len(element) != 1:
raise ValueError("dict must have exactly one root key")
def dicttoxml_handler(result, key, value):
if isinstance(value, list):
for e in value:
dicttoxml_handler(result, key, e)
elif isinstance(value, basestring):
elem = ElementTree.Element(key)
elem.text = value
result.append(elem)
elif isinstance(value, int) or isinstance(value, float):
elem = ElementTree.Element(key)
elem.text = str(value)
result.append(elem)
elif value is None:
result.append(ElementTree.Element(key))
else:
res = ElementTree.Element(key)
for k, v in value.items():
dicttoxml_handler(res, k, v)
result.append(res)
result = ElementTree.Element(element.keys()[0])
for key, value in element[element.keys()[0]].items():
dicttoxml_handler(result, key, value)
return result
def xmlfiletodict(filename):
return xmltodict(ElementTree.parse(filename).getroot())
def dicttoxmlfile(element, filename):
ElementTree.ElementTree(dicttoxml(element)).write(filename)
def xmlstringtodict(xmlstring):
return xmltodict(ElementTree.fromstring(xmlstring).getroot())
def dicttoxmlstring(element):
return ElementTree.tostring(dicttoxml(element))

Answer 9

Esta versión ligera, aunque no configurable, es bastante fácil de adaptar según sea necesario y funciona en pitones viejas. También es rígido, lo que significa que los resultados son los mismos independientemente de la existencia de atributos.

import xml.etree.ElementTree as ET
from copy import copy
def dictify(r,root=True):
if root:
return {r.tag : dictify(r, False)}
d=copy(r.attrib)
if r.text:
d["_text"]=r.text
for x in r.findall("./*"):
if x.tag not in d:
d[x.tag]=[]
d[x.tag].append(dictify(x,False))
return d

Asi que:

root = ET.fromstring("<erik><a x=''1''>v</a><a y=''2''>w</a></erik>")
dictify(root)

Resultados en:

{''erik'': {''a'': [{''x'': ''1'', ''_text'': ''v''}, {''y'': ''2'', ''_text'': ''w''}]}}

Answer 10

Este es un gran módulo que alguien creó. Lo he usado varias veces http://code.activestate.com/recipes/410469-xml-as-dictionary/

Aquí está el código del sitio web en caso de que el enlace se estropee.

import cElementTree as ElementTree
class XmlListConfig(list):
def __init__(self, aList):
for element in aList:
if element:
# treat like dict
if len(element) == 1 or element[0].tag != element[1].tag:
self.append(XmlDictConfig(element))
# treat like list
elif element[0].tag == element[1].tag:
self.append(XmlListConfig(element))
elif element.text:
text = element.text.strip()
if text:
self.append(text)
class XmlDictConfig(dict):
''''''
Example usage:
>>> tree = ElementTree.parse(''your_file.xml'')
>>> root = tree.getroot()
>>> xmldict = XmlDictConfig(root)
Or, if you want to use an XML string:
>>> root = ElementTree.XML(xml_string)
>>> xmldict = XmlDictConfig(root)
And then use xmldict for what it is... a dict.
''''''
def __init__(self, parent_element):
if parent_element.items():
self.update(dict(parent_element.items()))
for element in parent_element:
if element:
# treat like dict - we assume that if the first two tags
# in a series are different, then they are all different.
if len(element) == 1 or element[0].tag != element[1].tag:
aDict = XmlDictConfig(element)
# treat like list - we assume that if the first two tags
# in a series are the same, then the rest are the same.
else:
# here, we put the list in dictionary; the key is the
# tag name the list elements all share in common, and
# the value is the list itself
aDict = {element[0].tag: XmlListConfig(element)}
# if the tag has attributes, add those to the dict
if element.items():
aDict.update(dict(element.items()))
self.update({element.tag: aDict})
# this assumes that if you''ve got an attribute in a tag,
# you won''t be having any text. This may or may not be a
# good idea -- time will tell. It works for the way we are
# currently doing XML configuration files...
elif element.items():
self.update({element.tag: dict(element.items())})
# finally, if there are no child tags and no attributes, extract
# the text
else:
self.update({element.tag: element.text})

Ejemplo de uso:

tree = ElementTree.parse(''your_file.xml'')
root = tree.getroot()
xmldict = XmlDictConfig(root)

// O, si quieres usar una cadena XML:

root = ElementTree.XML(xml_string)
xmldict = XmlDictConfig(root)

Answer 11

Las versiones más recientes de las bibliotecas de PicklingTools (1.3.0 y 1.3.1) admiten herramientas para convertir de XML a un dict de Python.

La descarga está disponible aquí: PicklingTools 1.3.1

Aquí hay bastante documentación para los convertidores: la documentación describe en detalle todas las decisiones y problemas que surgirán al convertir entre diccionarios XML y Python (existen varios casos extremos: atributos, listas, listas anónimas, anónimos dicts, eval, etc. que la mayoría de los convertidores no manejan). En general, sin embargo, los convertidores son fáciles de usar. Si un ''example.xml'' contiene:

<top>
<a>1</a>
<b>2.2</b>
<c>three</c>
</top>

Luego para convertirlo a un diccionario:

>>> from xmlloader import *
>>> example = file(''example.xml'', ''r'') # A document containing XML
>>> xl = StreamXMLLoader(example, 0) # 0 = all defaults on operation
>>> result = xl.expect XML()
>>> print result
{''top'': {''a'': ''1'', ''c'': ''three'', ''b'': ''2.2''}}

Hay herramientas para convertir tanto en C ++ como en Python: el C ++ y el Python realizan una conversión idéntica, pero el C ++ es aproximadamente 60 veces más rápido

Answer 12

Puede hacerlo fácilmente con lxml. Primero instálalo:

[sudo] pip install lxml

Aquí hay una función recursiva que escribí que hace el trabajo pesado por usted:

from lxml import objectify as xml_objectify
def xml_to_dict(xml_str):
""" Convert xml to dict, using lxml v3.4.2 xml processing library """
def xml_to_dict_recursion(xml_object):
dict_object = xml_object.__dict__
if not dict_object:
return xml_object
for key, value in dict_object.items():
dict_object[key] = xml_to_dict_recursion(value)
return dict_object
return xml_to_dict_recursion(xml_objectify.fromstring(xml_str))
xml_string = """<?xml version="1.0" encoding="UTF-8"?><Response><NewOrderResp>
<IndustryType>Test</IndustryType><SomeData><SomeNestedData1>1234</SomeNestedData1>
<SomeNestedData2>3455</SomeNestedData2></SomeData></NewOrderResp></Response>"""
print xml_to_dict(xml_string)

La variante siguiente conserva la clave / elemento principal:

def xml_to_dict(xml_str):
""" Convert xml to dict, using lxml v3.4.2 xml processing library, see http://lxml.de/ """
def xml_to_dict_recursion(xml_object):
dict_object = xml_object.__dict__
if not dict_object: # if empty dict returned
return xml_object
for key, value in dict_object.items():
dict_object[key] = xml_to_dict_recursion(value)
return dict_object
xml_obj = objectify.fromstring(xml_str)
return {xml_obj.tag: xml_to_dict_recursion(xml_obj)}

Si solo desea devolver un subárbol y convertirlo a dict, puede usar Element.find () para obtener el subárbol y luego convertirlo:

xml_obj.find(''.//'') # lxml.objectify.ObjectifiedElement instance

Vea los documentos lxml here . ¡Espero que esto ayude!

Answer 13

Tengo un método recursivo para obtener un diccionario de un elemento lxml

 def recursive_dict(element):
return (element.tag.split(''}'')[1],
dict(map(recursive_dict, element.getchildren()),
**element.attrib))

Answer 14

xmltodict (divulgación completa: lo escribí) hace exactamente eso:

xmltodict.parse("""
<?xml version="1.0" ?>
<person>
<name>john</name>
<age>20</age>
</person>""")
# {u''person'': {u''age'': u''20'', u''name'': u''john''}}

Answer 15

def xml_to_dict(node):
u''''''
@param node:lxml_node
@return: dict
''''''
return {''tag'': node.tag, ''text'': node.text, ''attrib'': node.attrib, ''children'': {child.tag: xml_to_dict(child) for child in node}}