Pruebas ETL: escenarios

Validación de estructura

Implica validar la estructura de la tabla de origen y de destino según el documento de mapeo.

El tipo de datos debe validarse en los sistemas de origen y destino.

La longitud de los tipos de datos en el sistema de origen y de destino debe ser la misma.

Los tipos de campos de datos y su formato deben ser los mismos en el sistema de origen y de destino.

Validación de los nombres de las columnas en el sistema de destino.

Validación del documento de mapeo

Implica validar el documento de mapeo para asegurar que se haya proporcionado toda la información. El documento de mapeo debe tener un registro de cambios, mantener los tipos de datos, la longitud, las reglas de transformación, etc.

Validar restricciones

Implica validar las restricciones y asegurarse de que se apliquen en las tablas esperadas.

Comprobación de coherencia de datos

Implica verificar el uso indebido de restricciones de integridad como la clave externa.

La longitud y el tipo de datos de un atributo pueden variar en diferentes tablas, aunque su definición sigue siendo la misma en la capa semántica.

Validación de integridad de datos

Implica verificar si todos los datos se cargan en el sistema de destino desde el sistema de origen.

Contando el número de registros en los sistemas de origen y destino.

Análisis de valor límite.

Validando los valores únicos de claves primarias.

Validación de la exactitud de los datos

Implica validar los valores de los datos en el sistema de destino.

En la tabla se encuentran datos incorrectos o inexactos.

Los datos nulos, no únicos se almacenan cuando deshabilita la restricción de integridad en el momento de la importación.

Validación de transformación de datos

Implica crear una hoja de cálculo de escenarios para los valores de entrada y los resultados esperados y luego validar con los usuarios finales.

Validación de la relación padre-hijo en los datos mediante la creación de escenarios.

Usar perfiles de datos para comparar el rango de valores en cada campo.

Validar si los tipos de datos en el almacén son los mismos que se mencionan en el modelo de datos.

Validación de la calidad de los datos

Implica realizar verificación de número, verificación de fecha, verificación de precisión, verificación de datos, verificación de nulos, etc.

Example - El formato de fecha debe ser el mismo para todos los valores.

Validación nula

Implica comprobar los valores Null donde se menciona Not Null para ese campo.

Validación duplicada

Implica validar valores duplicados en el sistema de destino cuando los datos provienen de varias columnas del sistema de origen.

Validación de claves primarias y otras columnas si hay valores duplicados según el requisito comercial.

Verificación de validación de fecha

Campo de fecha de validación para diversas acciones realizadas en el proceso ETL.

Casos de prueba comunes para realizar la validación de fecha -

• From_Date no debe ser mayor que To_Date

• El formato de los valores de fecha debe ser adecuado.

• Los valores de fecha no deben tener valores basura ni valores nulos

Validación de datos completa menos consulta

Implica validar el conjunto de datos completo en las tablas de origen y destino mediante el uso de una consulta negativa.

• Necesitas realizar ambos source minus target y target minus source.

• Si la consulta menos devuelve un valor, eso debe considerarse como filas que no coinciden.

• Debe hacer coincidir las filas en el origen y el destino utilizando el Intersect declaración.

• El recuento devuelto por Intersect debe coincidir con los recuentos individuales de las tablas de origen y destino.

• Si la consulta menos no devuelve filas y el recuento de intersecciones es menor que el recuento de origen o el recuento de la tabla de destino, entonces la tabla contiene filas duplicadas.

Otros escenarios de prueba

Otros escenarios de prueba pueden ser verificar que el proceso de extracción no extrajo datos duplicados del sistema de origen.

El equipo de pruebas mantendrá una lista de declaraciones SQL que se ejecutan para validar que no se hayan extraído datos duplicados de los sistemas de origen.

Limpieza de datos

Los datos no deseados deben eliminarse antes de cargarlos en el área de preparación.