python - into - Escribir en la base de datos MySQL con pandas usando SQLAlchemy, to_sql

pandas to_sql

Question

tratando de escribir pandas dataframe en la tabla MySQL usando to_sql. Anteriormente utilizaba flavor = ''mysql''; sin embargo, se depreciará en el futuro y desea comenzar la transición al uso del motor SQLAlchemy.

Código de muestra:

import pandas as pd
import mysql.connector
from sqlalchemy import create_engine

engine = create_engine(''mysql+mysqlconnector://[user]:[pass]@[host]:[port]/[schema]'', echo=False)
cnx = engine.raw_connection()
data = pd.read_sql(''SELECT * FROM sample_table'', cnx)
data.to_sql(name=''sample_table2'', con=cnx, if_exists = ''append'', index=False)

La lectura funciona bien pero el to_sql tiene un error:

DatabaseError: Falló la ejecución en sql ''SELECT nombre FROM sqlite_master WHERE type ='' table ''AND name = ?;'': Número incorrecto de argumentos durante el formateo de cadenas

¿Por qué parece que está tratando de usar sqlite? ¿Cuál es el uso correcto de una conexión sqlalchemy con mysql y específicamente con mysql.connector?

También intenté pasar el motor como la conexión, y eso me dio un error al hacer referencia a ningún objeto de cursor.

data.to_sql(name=''sample_table2'', con=engine, if_exists = ''append'', index=False)
>>AttributeError: ''Engine'' object has no attribute ''cursor''

Answer 1

Alternativamente, use el paquete pymysql ...

import pymysql
from sqlalchemy import create_engine
cnx = create_engine(''mysql+pymysql://[user]:[pass]@[host]:[port]/[schema]'', echo=False)

data = pd.read_sql(''SELECT * FROM sample_table'', cnx)
data.to_sql(name=''sample_table2'', con=cnx, if_exists = ''append'', index=False)

Answer 2

Sé en el título de la pregunta que se incluye la palabra SQLAlchemy, sin embargo, veo en las preguntas y respuestas la necesidad de importar pymysql o mysql.connector, y también es posible hacer el trabajo con pymysql, sin llamar a SQLAlchemy.

import pymysql
user = ''root''
passw = ''my-secret-pw-for-mysql-12ud'' # In previous posts variable "pass"
host =  ''172.17.0.2''
port = 3306

database = ''sample_table'' # In previous posts similar to "schema"

conn = pymysql.connect(host=host,
                       port=port,
                       user=user, 
                       passwd=passw,  
                       db=database)

data.to_sql(name=database, con=conn, if_exists = ''append'', index=False, flavor = ''mysql'')

Creo que esta solución podría ser buena aunque no esté usando SQLAlchemy.

Answer 3

Usando pymysql y sqlalchemy, esto funciona para Pandas v0.22:

import pandas as pd
import pymysql
from sqlalchemy import create_engine

user = ''yourUserName''
passw = ''password''
host =  ''hostName''  # either localhost or ip e.g. ''172.17.0.2'' or hostname address 
port = 3306 
database = ''dataBaseName''

mydb = create_engine(''mysql+pymysql://'' + user + '':'' + passw + ''@'' + host + '':'' + str(port) + ''/'' + database , echo=False)

directory = r''directoryLocation''  # path of csv file
csvFileName = ''something.csv''

df = pd.read_csv(os.path.join(directory, csvFileName ))

df.to_sql(name=csvFileName[:-4], con=mydb, if_exists = ''replace'', index=False)

"""
if_exists: {''fail'', ''replace'', ''append''}, default ''fail''
     fail: If table exists, do nothing.
     replace: If table exists, drop it, recreate it, and insert data.
     append: If table exists, insert data. Create if does not exist.
"""

Answer 4

Usar el motor en lugar de raw_connection () funcionó:

import pandas as pd
import mysql.connector
from sqlalchemy import create_engine

engine = create_engine(''mysql+mysqlconnector://[user]:[pass]@[host]:[port]/[schema]'', echo=False)
data.to_sql(name=''sample_table2'', con=engine, if_exists = ''append'', index=False)

no está claro por qué cuando probé esto ayer me dio el error anterior