python - tablas - read_csv pandas

Cómo leer un archivo csv de 6 GB con pandas

Question

Intento leer un gran archivo csv (aproximadamente 6 GB) en pandas y obtengo el siguiente error de memoria:

MemoryError                               Traceback (most recent call last)
<ipython-input-58-67a72687871b> in <module>()
----> 1 data=pd.read_csv(''aphro.csv'',sep='';'')

C:/Python27/lib/site-packages/pandas/io/parsers.pyc in parser_f(filepath_or_buffer, sep, dialect, compression, doublequote, escapechar, quotechar, quoting, skipinitialspace, lineterminator, header, index_col, names, prefix, skiprows, skipfooter, skip_footer, na_values, na_fvalues, true_values, false_values, delimiter, converters, dtype, usecols, engine, delim_whitespace, as_recarray, na_filter, compact_ints, use_unsigned, low_memory, buffer_lines, warn_bad_lines, error_bad_lines, keep_default_na, thousands, comment, decimal, parse_dates, keep_date_col, dayfirst, date_parser, memory_map, nrows, iterator, chunksize, verbose, encoding, squeeze, mangle_dupe_cols, tupleize_cols, infer_datetime_format)
    450                     infer_datetime_format=infer_datetime_format)
    451 
--> 452         return _read(filepath_or_buffer, kwds)
    453 
    454     parser_f.__name__ = name

C:/Python27/lib/site-packages/pandas/io/parsers.pyc in _read(filepath_or_buffer, kwds)
    242         return parser
    243 
--> 244     return parser.read()
    245 
    246 _parser_defaults = {

C:/Python27/lib/site-packages/pandas/io/parsers.pyc in read(self, nrows)
    693                 raise ValueError(''skip_footer not supported for iteration'')
    694 
--> 695         ret = self._engine.read(nrows)
    696 
    697         if self.options.get(''as_recarray''):

C:/Python27/lib/site-packages/pandas/io/parsers.pyc in read(self, nrows)
   1137 
   1138         try:
-> 1139             data = self._reader.read(nrows)
   1140         except StopIteration:
   1141             if nrows is None:

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser.TextReader.read (pandas/parser.c:7145)()

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser.TextReader._read_low_memory (pandas/parser.c:7369)()

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser.TextReader._read_rows (pandas/parser.c:8194)()

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser.TextReader._convert_column_data (pandas/parser.c:9402)()

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser.TextReader._convert_tokens (pandas/parser.c:10057)()

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser.TextReader._convert_with_dtype (pandas/parser.c:10361)()

C:/Python27/lib/site-packages/pandas/parser.pyd in pandas.parser._try_int64 (pandas/parser.c:17806)()

MemoryError: 

¿Alguna ayuda en esto?

Answer 1

Chunking no siempre debe ser el primer puerto de escala para este problema.

1. ¿El archivo es grande debido a datos no numéricos repetidos o columnas no deseadas?

Si es así, a veces puede ver un ahorro masivo de memoria leyendo columnas como categorías y seleccionando columnas requeridas a través del parámetro pd.read_csv usecols .

2. ¿Su flujo de trabajo requiere rebanar, manipular, exportar?

Si es así, puede usar dask.dataframe para cortar, realizar sus cálculos y exportar iterativamente. Chunking se realiza en silencio por dask, que también es compatible con un subconjunto de pandas API.

3. Si todo lo demás falla, lea línea por línea en trozos.

Trozo a través de pandas o mediante la biblioteca csv como último recurso.

Answer 2

El error muestra que la máquina no tiene suficiente memoria para leer todo el CSV en un DataFrame a la vez. Suponiendo que no necesita todo el conjunto de datos en la memoria, todo a la vez, una forma de evitar el problema sería procesar el CSV en fragmentos (especificando el parámetro de chunksize ):

chunksize = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

Answer 3

La función read_csv y read_table es casi la misma. Pero debe asignar el delimitador "," cuando usa la función read_table en su programa.

def get_from_action_data(fname, chunk_size=100000):
    reader = pd.read_csv(fname, header=0, iterator=True)
    chunks = []
    loop = True
    while loop:
        try:
            chunk = reader.get_chunk(chunk_size)[["user_id", "type"]]
            chunks.append(chunk)
        except StopIteration:
            loop = False
            print("Iteration is stopped")

    df_ac = pd.concat(chunks, ignore_index=True)

Answer 4

La respuesta anterior ya está satisfaciendo el tema. De todos modos, si necesita todos los datos en la memoria, eche un vistazo a bcolz . Está comprimiendo los datos en la memoria. He tenido una muy buena experiencia con eso. Pero falta una gran cantidad de características de pandas

Editar: Obtuve tasas de compresión de alrededor de 1/10 o tamaño original, por supuesto, dependiendo del tipo de datos. Las características importantes que faltaban eran agregados.

Answer 5

Para grandes datos, recomiendo usar la biblioteca "dask"
p.ej:

# Dataframes implement the Pandas API
import dask.dataframe as dd
df = dd.read_csv(''s3://.../2018-*-*.csv'')

Answer 6

Procedí así:

chunks=pd.read_table(''aphro.csv'',chunksize=1000000,sep='';'',/
       names=[''lat'',''long'',''rf'',''date'',''slno''],index_col=''slno'',/
       header=None,parse_dates=[''date''])

df=pd.DataFrame()
%time df=pd.concat(chunk.groupby([''lat'',''long'',chunk[''date''].map(lambda x: x.year)])[''rf''].agg([''sum'']) for chunk in chunks)

Answer 7

Puedes probar sframe, que tiene la misma sintaxis que pandas pero te permite manipular archivos que son más grandes que tu RAM.

Answer 8

Si usas pandas, lee un archivo grande en un trozo y luego cede fila por fila, esto es lo que hice

import pandas as pd

def chunck_generator(filename, header=False,chunk_size = 10 ** 5):
   for chunk in pd.read_csv(filename,delimiter='','', iterator=True, chunksize=chunk_size, parse_dates=[1] ): 
        yield (chunk)

def _generator( filename, header=False,chunk_size = 10 ** 5):
    chunk = chunck_generator(filename, header=False,chunk_size = 10 ** 5)
    for row in chunk:
        yield row

if __name__ == "__main__":
filename = r''file.csv''
        generator = generator(filename=filename)
        while True:
           print(next(generator))