Almacenamiento de datos: Marting de datos

¿Por qué necesitamos un centro de datos?

A continuación se enumeran las razones para crear un mercado de datos:

  • Particionar datos para imponer access control strategies.

  • Acelerar las consultas reduciendo el volumen de datos a escanear.

  • Segmentar datos en diferentes plataformas de hardware.

  • Estructurar los datos en una forma adecuada para una herramienta de acceso de usuario.

Note- No realice el data mart por ningún otro motivo, ya que el costo de operación del data marting podría ser muy alto. Antes del data marting, asegúrese de que la estrategia de data marting sea adecuada para su solución particular.

Marting de datos rentable

Siga los pasos que se indican a continuación para que el data marting sea rentable:

  • Identificar las divisiones funcionales
  • Identificar los requisitos de la herramienta de acceso de usuarios
  • Identificar problemas de control de acceso

Identificar las divisiones funcionales

En este paso, determinamos si la organización tiene divisiones funcionales naturales. Buscamos divisiones departamentales y determinamos si la forma en que los departamentos usan la información tiende a ser aislada del resto de la organización. Pongamos un ejemplo.

Considere una organización minorista, donde cada comerciante es responsable de maximizar las ventas de un grupo de productos. Para esto, la siguiente es la información valiosa:

  • transacción de ventas a diario
  • previsión de ventas semanalmente
  • posición de existencias a diario
  • movimientos de existencias a diario

Como el comerciante no está interesado en los productos con los que no está tratando, el data marting es un subconjunto de los datos que trata el grupo de productos de interés. El siguiente diagrama muestra data marting para diferentes usuarios.

A continuación se presentan los problemas que deben tenerse en cuenta al determinar la división funcional:

  • La estructura del departamento puede cambiar.

  • Los productos pueden cambiar de un departamento a otro.

  • El comerciante podría consultar la tendencia de ventas de otros productos para analizar qué está sucediendo con las ventas.

Note - Necesitamos determinar los beneficios comerciales y la viabilidad técnica de utilizar un data mart.

Identificar los requisitos de la herramienta de acceso de usuarios

Necesitamos mercados de datos para apoyar user access toolsque requieren estructuras de datos internas. Los datos de dichas estructuras están fuera del control del almacén de datos, pero deben completarse y actualizarse periódicamente.

Hay algunas herramientas que se pueblan directamente desde el sistema de origen, pero otras no. Por lo tanto, es necesario identificar requisitos adicionales fuera del alcance de la herramienta para el futuro.

Note - Para garantizar la coherencia de los datos en todas las herramientas de acceso, los datos no deben rellenarse directamente desde el almacén de datos, sino que cada herramienta debe tener su propia despensa de datos.

Identificar problemas de control de acceso

Debería haber reglas de privacidad para garantizar que solo los usuarios autorizados accedan a los datos. Por ejemplo, un almacén de datos para una institución bancaria minorista garantiza que todas las cuentas pertenezcan a la misma entidad jurídica. Las leyes de privacidad pueden obligarlo a evitar totalmente el acceso a información que no es propiedad del banco específico.

Los mercados de datos nos permiten construir un muro completo separando físicamente los segmentos de datos dentro del almacén de datos. Para evitar posibles problemas de privacidad, los datos detallados se pueden eliminar del almacén de datos. Podemos crear data mart para cada entidad legal y cargarlo a través del data warehouse, con datos detallados de la cuenta.

Diseño de Data Marts

Los data marts deben diseñarse como una versión más pequeña del esquema starflake dentro del data warehouse y deben coincidir con el diseño de la base de datos del data warehouse. Ayuda a mantener el control sobre las instancias de la base de datos.

Los resúmenes son data marted de la misma manera que se habrían diseñado dentro del almacén de datos. Las tablas de resumen ayudan a utilizar todos los datos de dimensión en el esquema de estrella.

Costo del Data Marting

Las medidas de costo para el data marting son las siguientes:

  • Costo de hardware y software
  • Acceso a la red
  • Restricciones de la ventana de tiempo

Costo de hardware y software

Aunque los data marts se crean en el mismo hardware, requieren algún hardware y software adicional. Para manejar las consultas de los usuarios, se requiere capacidad de procesamiento adicional y almacenamiento en disco. Si existen datos detallados y la despensa de datos dentro del almacén de datos, entonces enfrentaríamos costos adicionales para almacenar y administrar los datos replicados.

Note - El data marting es más caro que las agregaciones, por lo que debe usarse como una estrategia adicional y no como una estrategia alternativa.

Acceso a la red

Un data mart podría estar en una ubicación diferente del data warehouse, por lo que debemos asegurarnos de que la LAN o WAN tenga la capacidad de manejar los volúmenes de datos que se transfieren dentro del data mart load process.

Restricciones de la ventana de tiempo

La medida en que el proceso de carga de un data mart consumirá la ventana de tiempo disponible depende de la complejidad de las transformaciones y de los volúmenes de datos que se envían. La determinación de cuántos data marts son posibles depende de:

  • Capacidad de la red.
  • Ventana de tiempo disponible
  • Volumen de datos que se transfieren
  • Mecanismos que se utilizan para insertar datos en un data mart