python - seleccionar - ¿Cómo insertar pandas dataframe a través de mysqldb en la base de datos?

pandas to_sql

Question

Puedo conectarme a mi base de datos mysql local desde Python, y puedo crear, seleccionar e insertar filas individuales.

Mi pregunta es: ¿puedo instruir directamente a mysqldb para que tome un marco de datos completo y lo inserte en una tabla existente, o tengo que recorrer las filas?

En cualquier caso, ¿qué aspecto tendría el script de Python para una tabla muy simple con ID y dos columnas de datos, y un marco de datos coincidente?

Answer 1

Python 2 + 3

Prerrequisitos

• Pandas
• Servidor MySQL
• sqlalchemy
• pymysql : cliente mysql de python puro

Código

from pandas.io import sql
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://{user}:{pw}@localhost/{db}"
.format(user="root",
pw="your_password",
db="pandas"))
df.to_sql(con=engine, name=''table_name'', if_exists=''replace'')

Answer 2

Actualizar:

Ahora hay un método to_sql , que es la forma preferida de hacer esto, en lugar de write_frame :

df.to_sql(con=con, name=''table_name_for_df'', if_exists=''replace'', flavor=''mysql'')

También tenga en cuenta: la sintaxis puede cambiar en pandas 0.14 ...

Puedes configurar la conexión con MySQLdb :

from pandas.io import sql
import MySQLdb
con = MySQLdb.connect() # may need to add some other options to connect

Establecer el flavor de write_frame en ''mysql'' significa que puede escribir en mysql:

sql.write_frame(df, con=con, name=''table_name_for_df'',
if_exists=''replace'', flavor=''mysql'')

El argumento if_exists le dice a pandas cómo tratar si la tabla ya existe:

if_exists: {''fail'', ''replace'', ''append''} , por defecto ''fail''
fail : si la tabla existe, no haga nada.
replace : si la tabla existe, suéltela, vuelva a crearla e inserte datos.
append : si la tabla existe, inserte los datos. Crear si no existe.

Aunque los documentos de write_frame actualmente sugieren que solo funciona en sqlite, mysql parece ser compatible y, de hecho, hay un poco de pruebas de mysql en el código base .

Answer 3

Andy Hayden mencionó la función correcta ( to_sql ). En esta respuesta, daré un ejemplo completo, que probé con Python 3.5, pero también debería funcionar para Python 2.7 (y Python 3.x):

Primero, vamos a crear el marco de datos:

# Create dataframe
import pandas as pd
import numpy as np
np.random.seed(0)
number_of_samples = 10
frame = pd.DataFrame({
''feature1'': np.random.random(number_of_samples),
''feature2'': np.random.random(number_of_samples),
''class'': np.random.binomial(2, 0.1, size=number_of_samples),
},columns=[''feature1'',''feature2'',''class''])
print(frame)

Lo que da:

 feature1 feature2 class
0 0.548814 0.791725 1
1 0.715189 0.528895 0
2 0.602763 0.568045 0
3 0.544883 0.925597 0
4 0.423655 0.071036 0
5 0.645894 0.087129 0
6 0.437587 0.020218 0
7 0.891773 0.832620 1
8 0.963663 0.778157 0
9 0.383442 0.870012 0

Para importar este marco de datos en una tabla MySQL:

# Import dataframe into MySQL
import sqlalchemy
database_username = ''ENTER USERNAME''
database_password = ''ENTER USERNAME PASSWORD''
database_ip = ''ENTER DATABASE IP''
database_name = ''ENTER DATABASE NAME''
database_connection = sqlalchemy.create_engine(''mysql+mysqlconnector://{0}:{1}@{2}/{3}''.
format(database_username, database_password,
database_ip, database_name))
frame.to_sql(con=database_connection, name=''table_name_for_df'', if_exists=''replace'')

Un truco es que MySQLdb no funciona con Python 3.x. Entonces, en lugar de eso, usamos mysqlconnector , que puede installed siguiente manera:

pip install mysql-connector==2.1.4 # version avoids Protobuf error

Salida:

Tenga en cuenta que to_sql crea la tabla así como las columnas si aún no existen en la base de datos.

Answer 4

El método to_sql funciona para mí.

Sin embargo, tenga en cuenta que parece que va a quedar en desuso en favor de SQLAlchemy:

FutureWarning: The ''mysql'' flavor with DBAPI connection is deprecated and will be removed in future versions. MySQL will be further supported with SQLAlchemy connectables. chunksize=chunksize, dtype=dtype)

Answer 5

Puede generar su DataFrame como un archivo csv y luego usar mysqlimport para importar su csv a su mysql .

EDITAR

Parece que la write_frame sql write_frame pandas proporciona una función write_frame pero solo funciona en sqlite.

Encontré algo útil, podrías intentar this

Answer 6

Puedes hacerlo usando pymysql:

Por ejemplo, supongamos que tiene una base de datos MySQL con el siguiente usuario, contraseña, host y puerto y desea escribir en la base de datos ''data_2'', si ya está allí o no .

import pymysql
user = ''root''
passw = ''my-secret-pw-for-mysql-12ud''
host = ''172.17.0.2''
port = 3306
database = ''data_2''

Si ya tiene la base de datos creada :

conn = pymysql.connect(host=host,
port=port,
user=user,
passwd=passw,
db=database,
charset=''utf8'')
data.to_sql(name=database, con=conn, if_exists = ''replace'', index=False, flavor = ''mysql'')

Si NO tiene la base de datos creada , también es válida cuando la base de datos ya está allí:

conn = pymysql.connect(host=host, port=port, user=user, passwd=passw)
conn.cursor().execute("CREATE DATABASE IF NOT EXISTS {0} ".format(database))
conn = pymysql.connect(host=host,
port=port,
user=user,
passwd=passw,
db=database,
charset=''utf8'')
data.to_sql(name=database, con=conn, if_exists = ''replace'', index=False, flavor = ''mysql'')

Hilos similares:

1. Escribiendo en la base de datos MySQL con pandas usando SQLAlchemy, to_sql
2. Escribiendo un Dataframe de Pandas a MySQL