amazon web services - que - Se necesita asesoramiento de estrategia para migrar tablas grandes de RDS a DynamoDB

amazon base de datos

Question

Tenemos un par de tablas mySql en RDS que son enormes (más de 700 GB), y nos gustaría migrar a una tabla DynamoDB. ¿Puede sugerir una estrategia, o una dirección para hacer esto de una manera limpia y paralelizada? Tal vez usando EMR o AWS Data Pipeline.

Answer 1

Puede usar AWS Pipeline. Hay dos plantillas básicas, una para mover tablas RDS a S3 y la segunda para importar datos de S3 a DynamoDB. Puede crear su propia tubería utilizando ambas plantillas.

Saludos

Answer 2

Una cosa a considerar con datos tan grandes es si Dynamo es la mejor opción.

Si se trata de datos estadísticos o de otro tipo de "big data", consulte AWS RedShift que podría ser más adecuado para su situación.

Answer 3

Hemos hecho un trabajo similar y probablemente haya una mejor estrategia para hacer esto. Usando AWS DMS y algunas tablas de preparación dentro de su instancia de origen.

Implica dos pasos:

1. Puede crear nuevas tablas dentro de su instancia de origen que coincidan exactamente con el esquema de dynamodb. Como fusionar varias tablas con una, etc.

2. Configure la tarea DMS con las tablas de preparación como fuente y DynamoDB como destino. Como las tablas de preparación y el esquema de destino coinciden ahora, debería ser bastante sencillo a partir de este punto.

¡Espero que ayude! ¡¡Buena suerte!!