Almacenamiento de datos: administradores de procesos

Los administradores de procesos son responsables de mantener el flujo de datos tanto dentro como fuera del almacén de datos. Hay tres tipos diferentes de administradores de procesos:

  • Administrador de carga
  • Jefe de almacén
  • Administrador de consultas

Administrador de carga del almacén de datos

El administrador de carga realiza las operaciones necesarias para extraer y cargar los datos en la base de datos. El tamaño y la complejidad de un administrador de carga varía entre soluciones específicas de un almacén de datos a otro.

Arquitectura de Load Manager

El administrador de carga realiza las siguientes funciones:

  • Extraiga datos del sistema fuente.

  • Cargue rápidamente los datos extraídos en un almacén de datos temporal.

  • Realice transformaciones simples en una estructura similar a la del almacén de datos.

Extraer datos de la fuente

Los datos se extraen de las bases de datos operativas o de los proveedores de información externos. Las puertas de enlace son los programas de aplicación que se utilizan para extraer datos. Es compatible con DBMS subyacente y permite que el programa cliente genere SQL para que se ejecute en un servidor. Open Database Connection (ODBC) y Java Database Connection (JDBC) son ejemplos de puerta de enlace.

Carga rapida

  • Para minimizar la ventana de carga total, los datos deben cargarse en el almacén en el menor tiempo posible.

  • Las transformaciones afectan la velocidad del procesamiento de datos.

  • Es más efectivo cargar los datos en una base de datos relacional antes de aplicar transformaciones y verificaciones.

  • La tecnología de puerta de enlace no es adecuada, ya que son ineficientes cuando se trata de grandes volúmenes de datos.

Transformaciones simples

Durante la carga, es posible que sea necesario realizar transformaciones simples. Después de completar transformaciones simples, podemos hacer comprobaciones complejas. Supongamos que estamos cargando la transacción de venta de EPOS, necesitamos realizar las siguientes comprobaciones:

  • Elimine todas las columnas que no sean necesarias dentro del almacén.
  • Convierta todos los valores a los tipos de datos necesarios.

Jefe de almacén

El gerente del almacén es responsable del proceso de gestión del almacén. Consiste en un software de sistema de terceros, programas C y scripts de shell. El tamaño y la complejidad de un gerente de almacén varían entre soluciones específicas.

Arquitectura de Warehouse Manager

Un gerente de almacén incluye lo siguiente:

  • El proceso de control
  • Procedimientos almacenados o C con SQL
  • Herramienta de respaldo / recuperación
  • Secuencias de comandos SQL

Funciones del jefe de almacén

Un gerente de almacén realiza las siguientes funciones:

  • Analiza los datos para realizar comprobaciones de coherencia e integridad referencial.

  • Crea índices, vistas comerciales, vistas de particiones contra los datos base.

  • Genera nuevas agregaciones y actualiza las agregaciones existentes.

  • Genera normalizaciones.

  • Transforma y fusiona los datos de origen del almacén temporal en el almacén de datos publicado.

  • Realiza una copia de seguridad de los datos en el almacén de datos.

  • Archiva los datos que han llegado al final de su vida útil capturada.

Note - Un administrador de almacén analiza los perfiles de consulta para determinar si el índice y las agregaciones son apropiados.

Administrador de consultas

El administrador de consultas es responsable de dirigir las consultas a las tablas adecuadas. Al dirigir las consultas a las tablas adecuadas, acelera el proceso de solicitud y respuesta de consultas. Además, el administrador de consultas es responsable de programar la ejecución de las consultas publicadas por el usuario.

Arquitectura del administrador de consultas

Un administrador de consultas incluye los siguientes componentes:

  • Redirección de consultas a través de la herramienta C o RDBMS
  • Procedimientos almacenados
  • Herramienta de gestión de consultas
  • Programación de consultas a través de la herramienta C o RDBMS
  • Programación de consultas mediante software de terceros

Funciones de Query Manager

  • Presenta los datos al usuario en una forma que entienda.

  • Programa la ejecución de las consultas publicadas por el usuario final.

  • Almacena perfiles de consulta para permitir que el administrador del almacén determine qué índices y agregaciones son apropiados.