Pruebas ETL: transformaciones de datos
Realizar transformaciones de datos es un poco complejo, ya que no se puede lograr escribiendo una sola consulta SQL y luego comparando la salida con el objetivo. Para la transformación de datos de prueba de ETL, es posible que deba escribir varias consultas SQL para cada fila para verificar las reglas de transformación.
Para empezar, asegúrese de que los datos de origen sean suficientes para probar todas las reglas de transformación. La clave para realizar una prueba ETL exitosa para las transformaciones de datos es seleccionar los datos de muestra correctos y suficientes del sistema de origen para aplicar las reglas de transformación.
Los pasos clave para ETL Testing Data Transformation se enumeran a continuación:
El primer paso es crear una lista de escenarios de datos de entrada y los resultados esperados y validarlos con el cliente comercial. Este es un buen enfoque para la recopilación de requisitos durante el diseño y también podría usarse como parte de las pruebas.
El siguiente paso es crear los datos de prueba que contienen todos los escenarios. Utilice un desarrollador ETL para automatizar todo el proceso de completar los conjuntos de datos con la hoja de cálculo de escenarios para permitir versatilidad y movilidad debido a que es probable que los escenarios cambien.
A continuación, utilice los resultados del perfil de datos para comparar el rango y el envío de valores en cada campo entre los datos de destino y de origen.
Valide el procesamiento preciso de los campos generados por ETL, por ejemplo, claves sustitutas.
La validación de los tipos de datos dentro del almacén es la misma que se especificó en el modelo o diseño de datos.
Cree escenarios de datos entre tablas que prueben la integridad referencial.
Valide las relaciones de padres a hijos en los datos.
El paso final es realizar lookup transformation. Su consulta de búsqueda debe ser directa sin ningún tipo de agregación y se espera que devuelva solo un valor por la tabla de origen. Puede unirse directamente a la tabla de búsqueda en el calificador de origen como en la prueba anterior. Si este no es el caso, escriba una consulta uniendo la tabla de búsqueda con la tabla principal en el origen y compare los datos en las columnas correspondientes en el destino.