data - python append pandas

Agregue la hoja de Excel existente con un nuevo marco de datos usando pandas de Python

Question

Actualmente tengo este código. Funciona perfectamente

Recorre los archivos de Excel en una carpeta, elimina las primeras 2 filas, luego los guarda como archivos de Excel individuales, y también guarda los archivos en el ciclo como un archivo adjunto.

Actualmente, el archivo adjunto sobrescribe el archivo existente cada vez que ejecuto el código.

Necesito agregar los nuevos datos al final de la hoja de Excel ya existente (''master_data.xlsx)

dfList = []
path = ''C://Test//TestRawFile'' 
newpath = ''C://Path//To//New//Folder''

for fn in os.listdir(path): 
  # Absolute file path
  file = os.path.join(path, fn)
  if os.path.isfile(file): 
    # Import the excel file and call it xlsx_file 
    xlsx_file = pd.ExcelFile(file) 
    # View the excel files sheet names 
    xlsx_file.sheet_names 
    # Load the xlsx files Data sheet as a dataframe 
    df = xlsx_file.parse(''Sheet1'',header= None) 
    df_NoHeader = df[2:] 
    data = df_NoHeader 
    # Save individual dataframe
    data.to_excel(os.path.join(newpath, fn))

    dfList.append(data) 

appended_data = pd.concat(dfList)
appended_data.to_excel(os.path.join(newpath, ''master_data.xlsx''))

Pensé que sería una tarea simple, pero supongo que no. Creo que necesito traer el archivo master_data.xlsx como un marco de datos, luego hacer coincidir el índice con los nuevos datos agregados y guardarlo de nuevo. O tal vez hay una manera más fácil. Cualquier ayuda es apreciada.

Answer 1

Una función auxiliar para agregar DataFrame al archivo Excel existente :

def append_df_to_excel(filename, df, sheet_name=''Sheet1'', startrow=None,
                       truncate_sheet=False, 
                       **to_excel_kwargs):
    """
    Append a DataFrame [df] to existing Excel file [filename]
    into [sheet_name] Sheet.
    If [filename] doesn''t exist, then this function will create it.

    Parameters:
      filename : File path or existing ExcelWriter
                 (Example: ''/path/to/file.xlsx'')
      df : dataframe to save to workbook
      sheet_name : Name of sheet which will contain DataFrame.
                   (default: ''Sheet1'')
      startrow : upper left cell row to dump data frame.
                 Per default (startrow=None) calculate the last row
                 in the existing DF and write to the next row...
      truncate_sheet : truncate (remove and recreate) [sheet_name]
                       before writing DataFrame to Excel file
      to_excel_kwargs : arguments which will be passed to `DataFrame.to_excel()`
                        [can be dictionary]

    Returns: None
    """
    from openpyxl import load_workbook

    import pandas as pd

    # ignore [engine] parameter if it was passed
    if ''engine'' in to_excel_kwargs:
        to_excel_kwargs.pop(''engine'')

    writer = pd.ExcelWriter(filename, engine=''openpyxl'')

    # Python 2.x: define [FileNotFoundError] exception if it doesn''t exist 
    try:
        FileNotFoundError
    except NameError:
        FileNotFoundError = IOError


    try:
        # try to open an existing workbook
        writer.book = load_workbook(filename)

        # get the last row in the existing Excel sheet
        # if it was not specified explicitly
        if startrow is None and sheet_name in writer.book.sheetnames:
            startrow = writer.book[sheet_name].max_row

        # truncate sheet
        if truncate_sheet and sheet_name in writer.book.sheetnames:
            # index of [sheet_name] sheet
            idx = writer.book.sheetnames.index(sheet_name)
            # remove [sheet_name]
            writer.book.remove(writer.book.worksheets[idx])
            # create an empty sheet [sheet_name] using old index
            writer.book.create_sheet(sheet_name, idx)

        # copy existing sheets
        writer.sheets = {ws.title:ws for ws in writer.book.worksheets}
    except FileNotFoundError:
        # file does not exist yet, we will create it
        pass

    if startrow is None:
        startrow = 0

    # write out the new sheet
    df.to_excel(writer, sheet_name, startrow=startrow, **to_excel_kwargs)

    # save the workbook
    writer.save()

Ejemplos de uso ...

Respuesta anterior: le permite escribir varios DataFrames en un nuevo archivo de Excel.

Puede usar el motor openpyxl junto con el parámetro startrow :

In [48]: writer = pd.ExcelWriter(''c:/temp/test.xlsx'', engine=''openpyxl'')

In [49]: df.to_excel(writer, index=False)

In [50]: df.to_excel(writer, startrow=len(df)+2, index=False)

In [51]: writer.save()

c: /temp/test.xlsx:

PD: también puede especificar el header=None si no desea duplicar los nombres de columna ...

ACTUALIZACIÓN: es posible que también desee comprobar esta solución