Almacenamiento de datos: procesos del sistema

Tenemos un número fijo de operaciones para aplicar sobre las bases de datos operativas y contamos con técnicas bien definidas como use normalized data, keep table small, etc. Estas técnicas son adecuadas para ofrecer una solución. Pero en el caso de los sistemas de soporte de decisiones, no sabemos qué consulta y operación se debe ejecutar en el futuro. Por tanto, las técnicas aplicadas a las bases de datos operativas no son adecuadas para los almacenes de datos.

En este capítulo, discutiremos cómo construir soluciones de almacenamiento de datos sobre las principales tecnologías de sistemas abiertos como Unix y bases de datos relacionales.

Flujo de proceso en el almacén de datos

Hay cuatro procesos principales que contribuyen a un almacén de datos:

  • Extrae y carga los datos.
  • Limpiar y transformar los datos.
  • Haga una copia de seguridad y archive los datos.
  • Gestionar consultas y dirigirlas a las fuentes de datos adecuadas.

Proceso de extracción y carga

La extracción de datos toma datos de los sistemas fuente. La carga de datos toma los datos extraídos y los carga en el almacén de datos.

Note - Antes de cargar los datos en el almacén de datos, se debe reconstruir la información extraída de las fuentes externas.

Controlando el proceso

Controlar el proceso implica determinar cuándo comenzar la extracción de datos y verificar la coherencia de los datos. El proceso de control asegura que las herramientas, los módulos lógicos y los programas se ejecuten en la secuencia correcta y en el momento correcto.

Cuándo iniciar la extracción

Los datos deben estar en un estado coherente cuando se extraen, es decir, el almacén de datos debe representar una versión única y coherente de la información para el usuario.

Por ejemplo, en un almacén de datos de perfiles de clientes en el sector de las telecomunicaciones, no es lógico fusionar la lista de clientes a las 8 pm del miércoles de una base de datos de clientes con los eventos de suscripción de clientes hasta las 8 pm del martes. Esto significaría que estamos encontrando clientes para los que no hay suscripciones asociadas.

Cargando los datos

Después de extraer los datos, se cargan en un almacén de datos temporal donde se limpian y se vuelven consistentes.

Note - Las comprobaciones de coherencia se ejecutan solo cuando todas las fuentes de datos se han cargado en el almacén de datos temporal.

Proceso limpio y de transformación

Una vez que los datos se extraen y cargan en el almacén de datos temporal, es el momento de realizar la limpieza y la transformación. Aquí está la lista de pasos involucrados en la limpieza y transformación:

  • Limpiar y transformar los datos cargados en una estructura
  • Particionar los datos
  • Aggregation

Limpiar y transformar los datos cargados en una estructura

Limpiar y transformar los datos cargados ayuda a acelerar las consultas. Se puede hacer haciendo que los datos sean consistentes:

  • dentro de sí mismo.
  • con otros datos dentro de la misma fuente de datos.
  • con los datos en otros sistemas fuente.
  • con los datos existentes presentes en el almacén.

La transformación implica convertir los datos de origen en una estructura. La estructuración de los datos aumenta el rendimiento de la consulta y disminuye el costo operativo. Los datos contenidos en un almacén de datos deben transformarse para respaldar los requisitos de rendimiento y controlar los costos operativos continuos.

Particionar los datos

Optimizará el rendimiento del hardware y simplificará la gestión del almacén de datos. Aquí dividimos cada tabla de hechos en múltiples particiones separadas.

Agregación

La agregación es necesaria para acelerar las consultas comunes. La agregación se basa en el hecho de que las consultas más comunes analizarán un subconjunto o una agregación de los datos detallados.

Hacer una copia de seguridad y archivar los datos

Para recuperar los datos en caso de pérdida de datos, falla del software o falla del hardware, es necesario realizar copias de seguridad periódicas. El archivo implica eliminar los datos antiguos del sistema en un formato que permita restaurarlos rápidamente cuando sea necesario.

Por ejemplo, en un almacén de datos de análisis de ventas minoristas, es posible que sea necesario conservar los datos durante 3 años y los últimos 6 meses se mantienen en línea. En tal escenario, a menudo existe el requisito de poder hacer comparaciones mes a mes para este año y el año pasado. En este caso, requerimos que se restauren algunos datos del archivo.

Proceso de gestión de consultas

Este proceso realiza las siguientes funciones:

  • gestiona las consultas.

  • ayuda a acelerar el tiempo de ejecución de consultas.

  • dirige las consultas a sus fuentes de datos más eficaces.

  • garantiza que todas las fuentes del sistema se utilicen de la forma más eficaz.

  • supervisa los perfiles de consulta reales.

La información generada en este proceso es utilizada por el proceso de gestión del almacén para determinar qué agregaciones generar. Este proceso generalmente no opera durante la carga regular de información en el almacén de datos.