Pruebas ETL: automatización
Las pruebas ETL se realizan principalmente mediante secuencias de comandos SQL y recopilación de datos en hojas de cálculo. Este enfoque para realizar pruebas ETL es muy lento y requiere mucho tiempo, es propenso a errores y se realiza con datos de muestra.
Desafío técnico en pruebas ETL manuales
Su equipo de prueba ETL escribe consultas SQL para probar datos en un sistema de almacén y necesitan ejecutarlas manualmente usando un editor SQL y luego colocar los datos en una hoja de cálculo de Excel y compararlos manualmente. Este proceso es lento, requiere muchos recursos e ineficaz.
Existen varias herramientas disponibles en el mercado para automatizar este proceso. Las herramientas de prueba ETL más comunes son QuerySurge e Informatica Data Validation.
QuerySurge
QuerySurge es una solución de prueba de datos diseñada para probar Big Data, Data Warehouses y el proceso ETL. Puede automatizar todo el proceso para usted y encajar perfectamente en su estrategia DevOps.
Las características clave de QuerySurge son las siguientes:
Tiene Query Wizards para crear QueryPairs de prueba rápida y fácilmente sin que el usuario tenga que escribir ningún SQL.
Tiene una biblioteca de diseño con fragmentos de consulta reutilizables. También puede crear QueryPairs personalizados.
Puede comparar datos de archivos de origen y almacenes de datos con el almacén de datos de destino o el almacén de Big Data.
Puede comparar millones de filas y columnas de datos en minutos.
Permite al usuario programar pruebas para que se ejecuten (1) inmediatamente, (2) en cualquier fecha / hora o (3) automáticamente después de que finalice un evento.
Puede producir informes informativos, ver actualizaciones y enviar automáticamente los resultados por correo electrónico a su equipo.
Para automatizar todo el proceso, su herramienta ETL debe iniciar QuerySurge a través de la API de línea de comandos después de que el software ETL complete su proceso de carga.
QuerySurge se ejecutará automáticamente y sin supervisión, ejecutando todas las pruebas y luego enviando un correo electrónico a todos los miembros del equipo con los resultados.
Al igual que QuerySurge, Informatica Data Validation proporciona una herramienta de prueba ETL que le ayuda a acelerar y automatizar el proceso de prueba ETL en el entorno de desarrollo y producción. Le permite ofrecer una cobertura de prueba completa, repetible y auditable en menos tiempo. ¡No requiere conocimientos de programación!