para - guardar data frame in csv python

¿Cómo agregar datos de pandas a un archivo csv existente?

Question

Quiero saber si es posible usar la función pandas to_csv() para agregar un marco de datos a un archivo csv existente. El archivo csv tiene la misma estructura que los datos cargados.

Answer 1

Inicialmente comencé con un dataframes pyspark - Obtuve errores de conversión de tipos (al convertir a pandas df''s y luego anexar a csv) dados los tipos de esquema / columna en mis dataframes de pyspark

Resolvió el problema forzando a todas las columnas en cada df a ser de tipo cadena y luego anexando esto a csv de la siguiente manera:

with open(''testAppend.csv'', ''a'') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

Answer 2

Puede agregar a un csv abriendo el archivo en modo de adición:

with open(''my_csv.csv'', ''a'') as f:
    df.to_csv(f, header=False)

Si esta era su csv, foo.csv :

,A,B,C
0,1,2,3
1,4,5,6

Si lees eso y luego anexas, por ejemplo, df + 6 :

In [1]: df = pd.read_csv(''foo.csv'', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open(''foo.csv'', ''a'') as f:
             (df + 6).to_csv(f, header=False)

foo.csv convierte en:

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

Answer 3

Puede especificar un modo de escritura python en la función pandas to_csv . Para agregar, es ''a''.

En tu caso:

df.to_csv(''my_csv.csv'', mode=''a'', header=False)

El modo predeterminado es ''w''.

Answer 4

Un poco tarde para la fiesta pero también puedes usar un administrador de contexto, si estás abriendo y cerrando tu archivo varias veces, o registrando datos, estadísticas, etc.

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file(''yourcsv.csv'',''r'') as infile:
      saved_df.to_csv(''yourcsv.csv'',mode=''a'',header=False)`

Answer 5

Una pequeña función auxiliar que uso con algunas protecciones de comprobación de encabezado para manejarlo todo:

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode=''a'', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode=''a'', index=False, sep=sep, header=False)