python - Dividir la célula en varias filas en el marco de datos de pandas

dataframe

Question

Tengo un marco de datos que contiene datos de pedidos, cada pedido tiene varios paquetes almacenados como columnas de cadena separadas por comas [ package y package_code package ]

Quiero dividir los datos de los paquetes y crear una fila para cada paquete, incluidos los detalles de su pedido

Aquí hay un ejemplo de marco de datos de entrada:

import pandas as pd
df = pd.DataFrame({"order_id":[1,3,7],"order_date":["20/5/2018","22/5/2018","23/5/2018"], "package":["p1,p2,p3","p4","p5,p6"],"package_code":["#111,#222,#333","#444","#555,#666"]})

Y esto es lo que estoy tratando de lograr como resultado:

¿Cómo puedo hacer eso con los pandas?

Answer 1

Aquí hay una forma de usar numpy.repeat e itertools.chain . Conceptualmente, esto es exactamente lo que quiere hacer: repetir algunos valores, encadenar otros. Recomendado para pequeñas cantidades de columnas, de lo contrario stack métodos basados ​​en stack pueden ser mejores.

import numpy as np
from itertools import chain
# return list from series of comma-separated strings
def chainer(s):
return list(chain.from_iterable(s.str.split('','')))
# calculate lengths of splits
lens = df[''package''].str.split('','').map(len)
# create new dataframe, repeating or chaining as appropriate
res = pd.DataFrame({''order_id'': np.repeat(df[''order_id''], lens),
''order_date'': np.repeat(df[''order_date''], lens),
''package'': chainer(df[''package'']),
''package_code'': chainer(df[''package_code''])})
print(res)
order_id order_date package package_code
0 1 20/5/2018 p1 #111
0 1 20/5/2018 p2 #222
0 1 20/5/2018 p3 #333
1 3 22/5/2018 p4 #444
2 7 23/5/2018 p5 #555
2 7 23/5/2018 p6 #666

Answer 2

Cerca del método del frío :-)

df.set_index([''order_date'',''order_id'']).apply(lambda x : x.str.split('','')).stack().apply(pd.Series).stack().unstack(level=2).reset_index(level=[0,1])
Out[538]:
order_date order_id package package_code
0 20/5/2018 1 p1 #111
1 20/5/2018 1 p2 #222
2 20/5/2018 1 p3 #333
0 22/5/2018 3 p4 #444
0 23/5/2018 7 p5 #555
1 23/5/2018 7 p6 #666

Answer 3

Eche un vistazo a la versión 0.25 de los pandas de hoy: https://pandas.pydata.org/pandas-docs/stable/whatsnew/v0.25.0.html#series-explode-to-split-list-like-values-to-rows

df = pd.DataFrame([{''var1'': ''a,b,c'', ''var2'': 1}, {''var1'': ''d,e,f'', ''var2'': 2}])
df.assign(var1=df.var1.str.split('','')).explode(''var1'').reset_index(drop=True)

Answer 4

Esto debería funcionar para cualquier número de columnas como esta. La esencia es un poco de magia de apilar pila con str.split .

(df.set_index([''order_date'', ''order_id''])
.stack()
.str.split('','', expand=True)
.stack()
.unstack(-2)
.reset_index(-1, drop=True)
.reset_index()
)
order_date order_id package package_code
0 20/5/2018 1 p1 #111
1 20/5/2018 1 p2 #222
2 20/5/2018 1 p3 #333
3 22/5/2018 3 p4 #444
4 23/5/2018 7 p5 #555
5 23/5/2018 7 p6 #666

Hay otra alternativa de rendimiento que involucra la chain , pero necesitaría encadenar y repetir explícitamente cada columna (un pequeño problema con muchas columnas). Elija lo que mejor se adapte a la descripción de su problema, ya que no hay una respuesta única.

Detalles

Primero, establezca las columnas que no se tocarán como el índice.

df.set_index([''order_date'', ''order_id''])
package package_code
order_date order_id
20/5/2018 1 p1,p2,p3 #111,#222,#333
22/5/2018 3 p4 #444
23/5/2018 7 p5,p6 #555,#666

A continuación, stack las filas.

_.stack()
order_date order_id
20/5/2018 1 package p1,p2,p3
package_code #111,#222,#333
22/5/2018 3 package p4
package_code #444
23/5/2018 7 package p5,p6
package_code #555,#666
dtype: object

Tenemos una serie ahora. Así que llame a str.split en coma.

_.str.split('','', expand=True)
0 1 2
order_date order_id
20/5/2018 1 package p1 p2 p3
package_code #111 #222 #333
22/5/2018 3 package p4 None None
package_code #444 None None
23/5/2018 7 package p5 p6 None
package_code #555 #666 None

Necesitamos deshacernos de los valores NULL, así que vuelve a llamar a la stack .

_.stack()
order_date order_id
20/5/2018 1 package 0 p1
1 p2
2 p3
package_code 0 #111
1 #222
2 #333
22/5/2018 3 package 0 p4
package_code 0 #444
23/5/2018 7 package 0 p5
1 p6
package_code 0 #555
1 #666
dtype: object

Casi estámos allí. Ahora queremos que el segundo último nivel del índice se convierta en nuestras columnas, así que desapíllelo usando unstack(-2) ( unstack en el segundo último nivel)

_.unstack(-2)
package package_code
order_date order_id
20/5/2018 1 0 p1 #111
1 p2 #222
2 p3 #333
22/5/2018 3 0 p4 #444
23/5/2018 7 0 p5 #555
1 p6 #666

Deshazte del último nivel superfluo usando reset_index :

_.reset_index(-1, drop=True)
package package_code
order_date order_id
20/5/2018 1 p1 #111
1 p2 #222
1 p3 #333
22/5/2018 3 p4 #444
23/5/2018 7 p5 #555
7 p6 #666

Y finalmente,

_.reset_index()
order_date order_id package package_code
0 20/5/2018 1 p1 #111
1 20/5/2018 1 p2 #222
2 20/5/2018 1 p3 #333
3 22/5/2018 3 p4 #444
4 23/5/2018 7 p5 #555
5 23/5/2018 7 p6 #666