python - tablas - Obtener el CSV de hoja de cálculo de Google en un marco de datos de Pandas

seleccionar columnas en pandas

Question

Cargué un archivo en las hojas de cálculo de Google (para hacer un ejemplo accesible al público, el cuaderno de IPython, con datos). Estaba usando el archivo en su forma nativa y podría leerse en un marco de datos de Pandas. Así que ahora uso el siguiente código para leer la hoja de cálculo, funciona bien, pero solo aparece como una cadena, y no estoy teniendo suerte intentando recuperarlo en un marco de datos (puede obtener los datos)

import requests
r = requests.get(''https://docs.google.com/spreadsheet/ccc?key=0Ak1ecr7i0wotdGJmTURJRnZLYlV3M2daNTRubTdwTXc&output=csv'')
data = r.content

Los datos terminan pareciéndose a: (encabezados de la 1ra fila)

'',City,region,Res_Comm,mkt_type,Quradate,National_exp,Alabama_exp,Sales_exp,Inventory_exp,Price_exp,Credit_exp/n0,Dothan,South_Central-Montgomery-Auburn-Wiregrass-Dothan,Residential,Rural,1/15/2010,2,2,3,2,3,3/n10,Foley,South_Mobile-Baldwin,Residential,Suburban_Urban,1/15/2010,4,4,4,4,4,3/n12,Birmingham,North_Central-Birmingham-Tuscaloosa-Anniston,Commercial,Suburban_Urban,1/15/2010,2,2,3,2,2,3/n

El código de los pandas nativos que trae el archivo residente del disco se ve así:

df = pd.io.parsers.read_csv(''/home/tom/Dropbox/Projects/annonallanswerswithmaster1012013.csv'',index_col=0,parse_dates=[''Quradate''])

Una solución "limpia" sería útil para muchos para proporcionar una manera fácil de compartir conjuntos de datos para el uso de pandas. Intenté un montón de alternativas sin éxito y estoy bastante seguro de que me estoy perdiendo algo obvio de nuevo.

Solo una nota de actualización La nueva hoja de cálculo de Google tiene un patrón de URL diferente Simplemente use esto en lugar de la URL en el ejemplo anterior y la respuesta a continuación y usted estará bien aquí, hay un ejemplo:

https://docs.google.com/spreadsheets/d/177_dFZ0i-duGxLiyg6tnwNDKruAYE-_Dd8vAQziipJQ/export?format=csv&id

vea la solución debajo de @Max Ghenis que acaba de usar pd.read_csv, sin necesidad de StringIO o solicitudes ...

Answer 1

Abra la hoja específica que desea en su navegador. Asegúrate de que al menos sea visible por cualquiera con el enlace. Copie y pegue la URL. Obtendrá algo como https://docs.google.com/spreadsheets/d/BLAHBLAHBLAH/edit#gid=NUMBER .

sheet_url = ''https://docs.google.com/spreadsheets/d/BLAHBLAHBLAH/edit#gid=NUMBER''

Primero lo convertimos en una URL de exportación CSV, como https://docs.google.com/spreadsheets/d/BLAHBLAHBLAH/export?format=csv&gid=NUMBER :

csv_export_url = sheet_url.replace(''/edit#gid='', ''/export?format=csv&gid='')

Luego lo pasamos a pd.read_csv , que puede tomar una URL.

df = pd.read_csv(csv_export_url)

Esto se romperá si Google cambia su API (parece no documentada), y puede dar errores inútiles si ocurre una falla en la red.

Answer 2

He estado usando las siguientes utilidades y funcionó hasta ahora:

def load_from_gspreadsheet(sheet_name, key):
url = ''https://docs.google.com/spreadsheets/d/{key}/gviz/tq?tqx=out:csv&sheet={sheet_name}&headers=1''.format(
key=key, sheet_name=sheet_name.replace('' '', ''%20''))
log.info(''Loading google spreadsheet from {}''.format(url))
df = pd.read_csv(url)
return df.drop([col for col in df.columns if col.startswith(''Unnamed'')], axis=1)

Debe especificar el nombre de la hoja y la clave. La clave es la cadena que obtiene de la url en la siguiente ruta: https://docs.google.com/spreadsheets/d/{key}/edit/ .

Puede cambiar el valor de los encabezados si tiene más de una fila para los nombres de las columnas, pero no estoy seguro de si todavía funciona con múltiples encabezados.

Se puede frenar si Google cambiará sus API.

También tenga en cuenta que su hoja de cálculo debe ser pública, todos los que tengan el enlace pueden leerla.

Answer 3

Mi enfoque es un poco diferente. Acabo de usar pandas.Dataframe () pero evidentemente necesitaba instalar e importar gspread. ¡Y funcionó bien!

gsheet = gs.open("Name")
Sheet_name ="today"
wsheet = gsheet.worksheet(Sheet_name)
dataframe = pd.DataFrame(wsheet.get_all_records())

Answer 4

Parece que funciona para mí sin el StringIO :

test = pd.read_csv(''https://docs.google.com/spreadsheets/d/'' +
''0Ak1ecr7i0wotdGJmTURJRnZLYlV3M2daNTRubTdwTXc'' +
''/export?gid=0&format=csv'',
# Set first column as rownames in data frame
index_col=0,
# Parse column values to datetime
parse_dates=[''Quradate'']
)
test.head(5) # Same result as @TomAugspurger

Por cierto, incluyendo el ?gid= permite importar diferentes hojas, encuentra el gid en la URL.

Answer 5

Puede usar read_csv() en un objeto StringIO :

from StringIO import StringIO # got moved to io in python3.
import requests
r = requests.get(''https://docs.google.com/spreadsheet/ccc?key=0Ak1ecr7i0wotdGJmTURJRnZLYlV3M2daNTRubTdwTXc&output=csv'')
data = r.content
In [10]: df = pd.read_csv(StringIO(data), index_col=0,parse_dates=[''Quradate''])
In [11]: df.head()
Out[11]:
City region Res_Comm /
0 Dothan South_Central-Montgomery-Auburn-Wiregrass-Dothan Residential
10 Foley South_Mobile-Baldwin Residential
12 Birmingham North_Central-Birmingham-Tuscaloosa-Anniston Commercial
38 Brent North_Central-Birmingham-Tuscaloosa-Anniston Residential
44 Athens North_Huntsville-Decatur-Florence Residential
mkt_type Quradate National_exp Alabama_exp Sales_exp /
0 Rural 2010-01-15 00:00:00 2 2 3
10 Suburban_Urban 2010-01-15 00:00:00 4 4 4
12 Suburban_Urban 2010-01-15 00:00:00 2 2 3
38 Rural 2010-01-15 00:00:00 3 3 3
44 Suburban_Urban 2010-01-15 00:00:00 4 5 4
Inventory_exp Price_exp Credit_exp
0 2 3 3
10 4 4 3
12 2 2 3
38 3 3 2
44 4 4 4

Answer 6

Si el archivo csv se compartió a través de la unidad y no a través de la hoja de cálculo, entonces el siguiente cambio a la URL funcionaría

#Derive the id from the google drive shareable link.
#For the file at hand the link is as below
#<https://drive.google.com/open?id=1-tjNjMP6w0RUV4GhJWw08ql3wYwsNU69>
file_id=''1-tjNjMP6w0RUV4GhJWw08ql3wYwsNU69''
link=''https://drive.google.com/uc?export=download&id={FILE_ID}''
csv_url=link.format(FILE_ID=file_id)
#The final url would be as below:-
#csv_url=''https://drive.google.com/uc?export=download&id=1-tjNjMP6w0RUV4GhJWw08ql3wYwsNU69''
df = pd.read_csv(csv_url)

Y el marco de datos sería (si acaba de ejecutar el código anterior)

 a b c d
0 0 1 2 3
1 4 5 6 7
2 8 9 10 11
3 12 13 14 15

Vea el código de trabajo here .