python - Pandas-Cortar un gran marco de datos en trozos

dataframe slice

Question

Tengo un gran marco de datos (> 3MM filas) que estoy tratando de pasar a través de una función (la siguiente está en gran medida simplificada), y sigo recibiendo un mensaje de Memory Error .

Creo que estoy pasando un marco de datos demasiado grande a la función, así que estoy tratando de:

1) Corte el marco de datos en trozos más pequeños (preferiblemente AcctName por AcctName )

2) Pase el marco de datos a la función

3) Concatenar los marcos de datos nuevamente en un gran marco de datos

def trans_times_2(df):
    df[''Double_Transaction''] = df[''Transaction''] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

Sé que mi función funciona correctamente, ya que funcionará en un marco de datos más pequeño (por ejemplo, 40,000 filas). Intenté lo siguiente, pero no tuve éxito al concatenar los pequeños marcos de datos en un gran marco de datos.

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

Cómo imagino que los marcos de datos se dividen:

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

Answer 1

Puede usar la comprensión de la lista para dividir su marco de datos en marcos de datos más pequeños contenidos en una lista.

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

Puede acceder a los fragmentos con:

list_df[0]
list_df[1]
etc...

Luego, puede volver a ensamblarlo en un marco de datos único utilizando pd.concat.

Por AcctName

list_df = []

for n,g in df.groupby(''AcctName''):
    list_df.append(g)