python - Error de tamaño de CSV de Bulkloader

google-app-engine

Question

Bulkloader genera el siguiente error al importar un archivo CSV con celdas grandes:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

Este es un problema común para el módulo csv, que se puede arreglar con:

csv.field_size_limit(sys.maxint)

¿Cómo puedo hacer que el bulkloader ejecute esto?

Answer 1

Prueba esto:

En bulkloader.yaml agrega:

python_preamble:
- import: csv_fix
... # the rest of your imports

En csv_fix.py agrega:

import csv, sys
csv.field_size_limit(sys.maxint)