tablas - ¿Cuál es una forma muy general de leer.csv en Python y pandas?

leer archivo csv con pandas

Question

Tengo un archivo .csv con filas con múltiples longitudes de columnas.

import pandas as pd
df = pd.read_csv(infile, header=None)

devuelve el

ParserError: Error tokenizing data. C error: Expected 6 fields in line 8, saw 8

error. Sé que puedo usar el

names=my_cols 

opción en la llamada read_csv, pero seguramente tiene que haber algo más "pitónico" que eso? Además, esta no es una pregunta duplicada, ya que

error_bad_lines=False 

hace que las líneas se salten (lo cual no es deseado). El .csv tiene el siguiente aspecto ::

Anne,Beth,Caroline,Ernie,Frank,Hannah
Beth,Caroline,David,Ernie
Caroline,Hannah
David,,Anne,Beth,Caroline,Ernie
Ernie,Anne,Beth,Frank,George
Frank,Anne,Caroline,Hannah
George,
Hannah,Anne,Beth,Caroline,David,Ernie,Frank,George

Answer 1

OK, algo inspirado por esta pregunta relacionada: Pandas números variables de columnas a la matriz binaria

Por lo tanto, lea en el csv pero anule el separador en una pestaña para que no intente dividir los nombres:

In[7]:
import pandas as pd
import io
t="""Anne,Beth,Caroline,Ernie,Frank,Hannah
Beth,Caroline,David,Ernie
Caroline,Hannah
David,,Anne,Beth,Caroline,Ernie
Ernie,Anne,Beth,Frank,George
Frank,Anne,Caroline,Hannah
George,
Hannah,Anne,Beth,Caroline,David,Ernie,Frank,George"""
df = pd.read_csv(io.StringIO(t), sep=''/t'', header=None)
df

Out[7]: 
                                                   0
0              Anne,Beth,Caroline,Ernie,Frank,Hannah
1                          Beth,Caroline,David,Ernie
2                                    Caroline,Hannah
3                    David,,Anne,Beth,Caroline,Ernie
4                       Ernie,Anne,Beth,Frank,George
5                         Frank,Anne,Caroline,Hannah
6                                            George,
7  Hannah,Anne,Beth,Caroline,David,Ernie,Frank,Ge...

Ahora podemos usar str.split con expand=True para expandir los nombres en sus propias columnas:

In[8]:
df[0].str.split('','', expand=True)

Out[8]: 
          0         1         2         3         4       5      6       7
0      Anne      Beth  Caroline     Ernie     Frank  Hannah   None    None
1      Beth  Caroline     David     Ernie      None    None   None    None
2  Caroline    Hannah      None      None      None    None   None    None
3     David                Anne      Beth  Caroline   Ernie   None    None
4     Ernie      Anne      Beth     Frank    George    None   None    None
5     Frank      Anne  Caroline    Hannah      None    None   None    None
6    George                None      None      None    None   None    None
7    Hannah      Anne      Beth  Caroline     David   Ernie  Frank  George

Entonces, para que quede claro, modifique su línea read_csv a esto:

df = pd.read_csv(infile, header=None, sep=''/t'')

y luego hacer el str.split como arriba

Answer 2

Uno puede hacer algo de manipulación con la csv antes de usar pandas.

# load data into list
with open(''new_data.txt'', ''r'') as fil:
    data = fil.readlines()

# remove line breaks from string entries
data = [ x.replace(''/r/n'', '''') for x in data]
data = [ x.replace(''/n'', '''') for x in data]

# calculate the number of columns
total_cols = max([x.count('','') for x in data])

# add '','' to end of list depending on how many are needed
new_data = [x + '',''*(total_cols-x.count('','')) for x in data]

# save data
with open(''save_data.txt'', ''w'') as outp:
    outp.write(''/n''.join(new_data))

# read it in as you did.
pd.read_csv(''save_data.txt'', header=None)

Este es un pitón en bruto, pero debería funcionar. Lo limpiaré cuando tenga tiempo.

O usa la otra respuesta, está ordenado como es.