ruby on rails - español - ¿Hay alguna herramienta de ETL que se integre con los modelos de Rails?

ruby on rails ejemplos

Question

Estoy investigando herramientas de ETL para importar archivos planos en una base de datos y luego exportar archivos xml.

Muchas de las herramientas admiten generar código para usar en su aplicación; sin embargo, no he encontrado ninguno que soporte el uso de código ya en su aplicación. Nuestro modelo es complejo (relaciones, validaciones, asociaciones polimórficas, devoluciones de llamadas, etc.).

¿Qué herramientas están disponibles que permitirán la reutilización del código existente? ¿O estoy atascado recreando (y manteniendo) mi modelo en la herramienta ETL?

Nota: Mis requisitos para un ETL (a diferencia de inserciones masivas o activerecord-import) son las transformaciones. Recibimos datos de más de 200 fuentes diferentes en una variedad de formatos, nivel de integridad y limpieza. Además, el "diseñador" más incluido es más realista para los usuarios menos técnicos que definirán las transformaciones.

Answer 1

ActiveWarehouse puede ser útil. Los resultados de búsqueda iniciales hacen que el proyecto se sienta un poco viejo y difunto. Un poco de excavación produjo una rama bastante activa y bien documentada del proyecto en GitHub: https://github.com/activewarehouse/activewarehouse-etl

Answer 2

Modularize, desea que la aplicación Rails y ETL pregunten sobre el significado de ''HND'' del mismo lugar. Configura una API para eso.

Answer 3

Escribe lo tuyo. ETL es un proceso muy simple, ruby ​​proporciona suficiente soporte de reflexión para manejar esto con un código simple. Las herramientas de ETL no son realmente útiles aquí, solo generan archivos dotty para mostrar las fuentes de datos, los flujos y las transformaciones.

He hecho lo mismo en Smalltalk para una conversión de datos. Ahí utilicé glamour y mondrian de la suite de herramientas de reingeniería MOOSE para proporcionar más visibilidad.