Datos en movimiento

La integración se corre hacia los streams como infraestructura compartida, incluso entre organizaciones: quien produce publica hechos en un stream durable y con esquema gobernado.

Dos relojes

El tiempo de procesamiento es el reloj de la máquina: simple, pero no determinista. El tiempo de evento es la marca que trae el registro, así que el resultado es reproducible aunque los datos lleguen tarde. La marca de agua rastrea ese avance y, con varias entradas, es el mínimo entre ellas. Las ventanas tumbling no se superponen, las sliding sí, y las de sesión agrupan por huecos de inactividad; lo que llega después de la marca de agua es dato tardío.

La captura de cambios (CDC) lee el log de transacciones y emite los cambios en orden de confirmación: ve lo que el sondeo por marca temporal se pierde. Aplicada a las tablas internas, publica tu esquema interno como contrato; por eso se la combina con la tabla outbox.

Capas y contratos

La arquitectura medallion ordena por calidad: bronze crudo, silver limpio y conformado, gold agregado para el negocio. Es una buena práctica recomendada, no un requisito.

Lambda combina capa batch, capa de velocidad y capa de servicio, al costo de dos bases de código; Kappa deja una sola y reprocesa reproduciendo el log. Los contratos de datos fijan esquema, semántica y calidad, y Data Mesh los enmarca en cuatro principios: propiedad por dominio, dato como producto, plataforma de autoservicio y gobernanza federada.