Gestión de Datos Maestros y el Bus de Mensajería Empresarial

En Resumen

En la última década, se han popularizado en el mundo corporativo varios conceptos y tecnologías propias de la gestión de modelos de datos y la interacción entre sistemas diversos desde una perspectiva corporativa.

En este artículo vamos a discutir algunos conceptos fundamentales de la Administración de Datos Maestros (MDM) y del Bus de Mensajería Empresarial (EMB) como mecanismos para optimizar el modelo de datos empresarial, el intercambio de datos entre sistemas y la generación de reportes; mediante una sana implementación de sistemas propietarios y referentes así como la participación adecuada de estos sistemas en el ecosistema empresarial de mensajería.

MDM, EMB, ESB

Dos conceptos de suma importancia son los de Administración de Datos Maestros (MDM – Master Data Management) 3 y el de Bus de Mensajería Empresarial (EMB – Enterprise Messaging Bus), que tiende a confundirse con el Bus Empresarial de Servicios (ESB) 1 2.

Podemos resumir el concepto de Administración de Datos Maestros (MDM) como un conjunto de políticas, técnicas y sistemas para el modelado y manipulación de datos relevantes a nivel empresarial. A su vez podemos definir el Bus de Mensajería Empresarial (EMB) como la tecnología habilitadora para el trasiego de datos maestros entre diversos sistemas a nivel corporativo.

Evidentemente ambos conceptos están estrechamente ligados entre sí. 

Dentro de los beneficios de adoptar una Administración de Datos Maestros y un Bus de Mensajería Empresarial podemos enumerar los siguientes:

1. Promover un modelado de datos a nivel empresarial que pueda ser optimizado con el tiempo.
2. Habilitar reportería empresarial consistente 
3. Establecer mecanismos de comunicación entre sistemas que respeten las reglas básicas de producción, distribución/consumo de datos entre sistemas diversos.

Master Data Management

Dentro de los conceptos fundamentales para MDM podemos enumerar los siguientes:

1. Registro de Origen (record of origin): Se refiere al sistema donde se originan y mantienen de forma canónica o autoritativa los datos de una entidad particular. Otros nombres que suele darse a esta propiedad son:
   1. Sistema Propietario de los datos
   2. Sistema Autoritativo/Canónico
   3. Fuente de la Verdad (source of truth)
   4. Fuente única de la verdad (single source of truth)
      
2. Registros de Referencia (record of reference): Son instancias (copias) de registros de una entidad particular en sistemas que no son el sistema canónico para dicha entidad.

1. Flujo apropiado e inapropiado de los datos: Este concepto hace referencia a la forma en que se mantienen y utilizan (consumen) los datos en una corporación. El flujo apropiado siempre es creación y mantenimiento en el sistema canónico y consumo / utilización a partir de allí en los sistemas de referencia.  Dentro del concepto de flujo apropiado de datos tenemos los siguientes conceptos asociados:
   1. Ruta de Mantenimiento y de Consumo: Define la forma en que los datos son mantenidos dentro de un sistema propietario, donde los cambios se realizan en dicho sistema propietario y luego se propagan hacia los sistemas de referencia/
   2. Ciclo de Vida de los datos: Se refiere a los procesos de creación, modificación, niveles de cercanía y archivo/eliminación de registros de datos. En particular los niveles de cercanía permiten definir relevancia de registros particulares y su ubicación en sistemas de persistencia que permitan un acceso expedito acorde a la cercanía o relevancia requeridos. 

1. Entidad / Relación: Una entidad es una representación de un objeto de negocio que tiene propiedades o atributos y que puede relacionarse con otras entidades.
   
2. Atributos Principales y atributos extendidos: Se considera «atributos principales» los atributos de una entidad definidos y mantenidos dentro del registro de origen o sistema propietario de dicha entidad. Atributos extendidos son aquellos que no están definidos ni mantenidos en el sistema propietario, sino en los sistemas de referencia; por ejemplo una entidad «cliente» que tiene un sistema propietario «CRM«, tiene nombre, teléfono y dirección como atributos principales; luego un sistema de referencia (COBROS) podría definir atributos extendidos para la entidad cliente tales como dirección_de_cobro, o dia_de_pago 

1. Modelo Conceptual: Es una definición de un conjunto de datos en términos conceptuales, las entidades a que se refiere, su descripción y la forma en que se relacionan sin profundizar en los atributos detallados que las definen.
   
2. Modelo Lógico: Es una definición detallada de un modelo de datos en términos de las entidades, su descripción, los atributos detallados que las conforman y las relaciones con las demás entidades del modelo a nivel de atributos, tipos de datos, etc.

Enterprise Messaging Bus

Por otra parte en lo que respecta a EMB podemos enumerar los siguientes conceptos básicos:

1. Productores: Sistemas que generan o emiten mensajes hacia el Bus de mensajería.
   
2. Consumidor: Sistemas que escuchan y consumen mensajes.
   
3. Mensaje: Unidad de datos generalmente relacionada con entidades de alta relevancia para la empresa.
   
4. Tópico: Define el tipo de mensaje al que se suscriben los consumidores.
   
5. Agente transador de mensajes (Message broker): Es el componente encargado de recibir mensajes emitidos por los productores y distribuirlos hacia los consumidores.
   
6. Esquema de Validación: Es un conjunto de metadatos que describen los requerimientos que debe cumplir un mensaje para que sea válido.
   
7. Ruta Productor > Consumidor: Se refiere a la forma correcta de emitir mensajes y consumirlos. Como regla general, los mensajes de un tópico determinado son emitidos por el sistema propietario de la entidad correspondiente y consumidos por los sistemas de referencia. Esto quiere decir que los sistemas de referencia nunca emiten mensajes referentes a entidades que no les pertenecen. La figura 1 abajo describe este proceso. Los sistemas de referencia pueden transmitir datos a los sistemas propietarios mediante llamadas a puntos de servicio API’s.
   
8. Lago de Datos: Repositorio masivo de datos crudos para uso no predeterminado.
   
9. Almacén de Datos: Repositorio masivo de datos previamente estructurado para optimizar la reportería.
   
10. Costo de Mantenimiento:  Se refiere al costo en tiempo y esfuerzo necesario para dar mantenimiento al bus de datos, ya sea para modificar los esquemas de validación, o en general las estructuras de las entidades; o para agregar nuevas entidades, o nuevos sistemas como productores o consumidores en el ecosistema. Es importante considerar estos costos para influenciar su optimización/reducción a lo largo del tiempo.
    1. Nuevos Productores
    2. Nuevos Consumidores
    3. Nuevos Tópicos
    4. Cambios de Esquema
    5. Eliminación de Tópicos
    6. Eliminación de Productores y/o Consumidores

 5,398 total views,  3 views today