Almacenamiento de datos: conceptos de metadatos
¿Qué son los metadatos?
Los metadatos se definen simplemente como datos sobre datos. Los datos que se utilizan para representar otros datos se conocen como metadatos. Por ejemplo, el índice de un libro sirve como metadatos para el contenido del libro. En otras palabras, podemos decir que los metadatos son los datos resumidos que nos llevan a datos detallados. En términos de almacenamiento de datos, podemos definir los metadatos de la siguiente manera.
Los metadatos son la hoja de ruta hacia un almacén de datos.
Los metadatos en un almacén de datos definen los objetos del almacén.
Los metadatos actúan como un directorio. Este directorio ayuda al sistema de soporte de decisiones a localizar el contenido de un almacén de datos.
Note- En un almacén de datos, creamos metadatos para los nombres de datos y las definiciones de un almacén de datos determinado. Junto con estos metadatos, también se crean metadatos adicionales para sellar los datos extraídos, la fuente de los datos extraídos.
Categorías de metadatos
Los metadatos pueden clasificarse ampliamente en tres categorías:
Business Metadata - Tiene la información sobre la propiedad de los datos, la definición comercial y las políticas cambiantes.
Technical Metadata- Incluye nombres de sistemas de bases de datos, nombres y tamaños de tablas y columnas, tipos de datos y valores permitidos. Los metadatos técnicos también incluyen información estructural, como índices e índices de clave primaria y externa.
Operational Metadata- Incluye moneda de datos y linaje de datos. La vigencia de los datos significa si los datos están activos, archivados o purgados. El linaje de los datos significa el historial de los datos migrados y la transformación aplicada.
Papel de los metadatos
Los metadatos tienen un papel muy importante en un almacén de datos. El papel de los metadatos en un almacén es diferente al de los datos del almacén, pero juega un papel importante. Las diversas funciones de los metadatos se explican a continuación.
Los metadatos actúan como un directorio.
Este directorio ayuda al sistema de soporte de decisiones a localizar el contenido del almacén de datos.
Los metadatos ayudan en el sistema de soporte de decisiones para el mapeo de datos cuando los datos se transforman del entorno operativo al entorno de almacenamiento de datos.
Los metadatos ayudan a resumir entre los datos detallados actuales y los datos muy resumidos.
Los metadatos también ayudan a resumir entre datos poco detallados y datos muy resumidos.
Los metadatos se utilizan para herramientas de consulta.
Los metadatos se utilizan en herramientas de extracción y limpieza.
Los metadatos se utilizan en herramientas de informes.
Los metadatos se utilizan en herramientas de transformación.
Los metadatos juegan un papel importante en las funciones de carga.
El siguiente diagrama muestra las funciones de los metadatos.
Repositorio de metadatos
El repositorio de metadatos es una parte integral de un sistema de almacenamiento de datos. Tiene los siguientes metadatos:
Definition of data warehouse- Incluye la descripción de la estructura del almacén de datos. La descripción se define por esquema, vista, jerarquías, definiciones de datos derivados y ubicaciones y contenidos de la despensa de datos.
Business metadata - Contiene la información de propiedad de los datos, la definición de negocio y las políticas cambiantes.
Operational Metadata- Incluye moneda de datos y linaje de datos. La vigencia de los datos significa si los datos están activos, archivados o purgados. El linaje de los datos significa el historial de los datos migrados y la transformación aplicada.
Data for mapping from operational environment to data warehouse - Incluye las bases de datos de origen y su contenido, extracción de datos, limpieza de particiones de datos, reglas de transformación, actualización de datos y reglas de depuración.
Algorithms for summarization - Incluye algoritmos de dimensión, datos de granularidad, agregación, resumen, etc.
Desafíos para la gestión de metadatos
No se puede exagerar la importancia de los metadatos. Los metadatos ayudan a impulsar la precisión de los informes, validan la transformación de datos y garantizan la precisión de los cálculos. Los metadatos también refuerzan la definición de términos comerciales para los usuarios finales comerciales. Con todos estos usos de los metadatos, también tiene sus desafíos. Algunos de los desafíos se analizan a continuación.
Los metadatos en una gran organización se encuentran dispersos por toda la organización. Estos metadatos se distribuyen en hojas de cálculo, bases de datos y aplicaciones.
Los metadatos pueden estar presentes en archivos de texto o archivos multimedia. Para utilizar estos datos para soluciones de gestión de información, debe estar correctamente definido.
No existen estándares aceptados en toda la industria. Los proveedores de soluciones de gestión de datos tienen un enfoque limitado.
No existen métodos fáciles y aceptados para pasar metadatos.