ETL: funciones del probador

Un probador ETL es principalmente responsable de validar las fuentes de datos, extraer datos, aplicar la lógica de transformación y cargar los datos en las tablas de destino.

Las responsabilidades clave de un probador ETL se enumeran a continuación.

Verifique las tablas en el sistema fuente

Implica las siguientes operaciones:

  • Cuenta cheque
  • Conciliar registros con los datos de origen
  • Verificación del tipo de datos
  • Asegúrese de que no se carguen datos de spam
  • Eliminar datos duplicados
  • Verifique que todas las llaves estén en su lugar

Aplicar lógica de transformación

La lógica de transformación se aplica antes de cargar los datos. Implica las siguientes operaciones:

  • Verificación de validación del umbral de datos, por ejemplo, el valor de edad no debe ser superior a 100.

  • Comprobación del recuento de registros, antes y después de aplicar la lógica de transformación.

  • Validación del flujo de datos desde el área de ensayo hasta las tablas intermedias.

  • Comprobación de llave sustituta.

Carga de datos

Los datos se cargan desde el área de preparación al sistema de destino. Implica las siguientes operaciones:

  • Registro de verificación de recuento de la tabla intermedia al sistema de destino.

  • Asegúrese de que los datos del campo clave no falten o sean nulos.

  • Compruebe si los valores agregados y las medidas calculadas se cargan en las tablas de hechos.

  • Verifique las vistas de modelado basadas en las tablas de destino.

  • Compruebe si se ha aplicado CDC en la tabla de carga incremental.

  • Verificación de datos en la tabla de dimensiones y verificación de la tabla de historial.

  • Verifique los informes de BI basados ​​en la tabla de hechos y dimensiones cargada y según los resultados esperados.

Prueba de las herramientas ETL

Los probadores ETL también deben probar las herramientas y los casos de prueba. Implica las siguientes operaciones:

  • Pruebe la herramienta ETL y sus funciones
  • Pruebe el sistema de almacenamiento de datos ETL
  • Cree, diseñe y ejecute los planes de prueba y los casos de prueba.
  • Pruebe las transferencias de datos de archivos planos.