python - Cómo ignorar errores clave duplicados de forma segura mediante insert_many

mongodb pymongo

Question

Necesito ignorar las inserciones duplicadas cuando uso insert_many con pymongo, donde los duplicados se basan en el índice. He visto esta pregunta en stackoverflow, pero no he visto una respuesta útil.

Aquí está mi fragmento de código:

try:
results = mongo_connection[db][collection].insert_many(documents, ordered=False, bypass_document_validation=True)
except pymongo.errors.BulkWriteError as e:
logger.error(e)

Me gustaría que insert_many ignore los duplicados y no arroje una excepción (que llena mis registros de errores). Alternativamente, ¿podría usar un controlador de excepciones por separado para poder ignorar los errores? Echo de menos "w = 0" ...

Gracias

Answer 1

Puede lidiar con esto inspeccionando los errores producidos con BulkWriteError . Esto es realmente un "objeto" que tiene varias propiedades. Las partes interesantes están en details :

import pymongo
from bson.json_util import dumps
from pymongo import MongoClient
client = MongoClient()
db = client.test
collection = db.duptest
docs = [{ ''_id'': 1 }, { ''_id'': 1 },{ ''_id'': 2 }]
try:
result = collection.insert_many(docs,ordered=False)
except pymongo.errors.BulkWriteError as e:
print e.details[''writeErrors'']

En una primera ejecución, esto dará la lista de errores en e.details[''writeErrors''] :

[
{
''index'': 1,
''code'': 11000,
''errmsg'': u''E11000 duplicate key error collection: test.duptest index: _id_ dup key: { : 1 }'',
''op'': {''_id'': 1}
}
]

En una segunda ejecución, verá tres errores porque todos los elementos existían:

[
{
"index": 0,
"code": 11000,
"errmsg": "E11000 duplicate key error collection: test.duptest index: _id_ dup key: { : 1 }",
"op": {"_id": 1}
},
{
"index": 1,
"code": 11000,
"errmsg": "E11000 duplicate key error collection: test.duptest index: _id_ dup key: { : 1 }",
"op": {"_id": 1}
},
{
"index": 2,
"code": 11000,
"errmsg": "E11000 duplicate key error collection: test.duptest index: _id_ dup key: { : 2 }",
"op": {"_id": 2}
}
]

Entonces, todo lo que necesita hacer es filtrar la matriz para las entradas con "code": 11000 y luego solo "pánico" cuando hay algo más allí

panic = filter(lambda x: x[''code''] != 11000, e.details[''writeErrors''])
if len(panic) > 0:
print "really panic"

Eso le brinda un mecanismo para ignorar los errores clave duplicados pero, por supuesto, prestar atención a algo que en realidad es un problema.