Data Mart

Descripción General del Proyecto

Construcción de un Data Mart modular y escalable dentro de Gaio DataOS, organizando datos operativos por dominios (Clientes, Órdenes, Productos y Detalle de Órdenes), habilitando analítica descriptiva, operativa y predictiva.

Etapas de Desarrollo

1. Validación y Disparo del Proceso

El proyecto comienza con una verificación automática de actualización de datos.
- Una tabla de control SQL crea tmp_tb_control_data_update.
- Flujo de control:
  - tmp_tb_control_data_update: verifica si existen actualizaciones.
  - tb_control_data_update: almacena el estado de ejecución.
- Si se detectan nuevos datos, el flujo principal de extracción se activa automáticamente.

2. Extracción de Datos

Los datos se extraen desde fuentes como bases PostgreSQL, archivos CSV o APIs conectadas a Gaio.
Se utilizan tareas Builder para:
- Transformación de datos
- Manejo de valores nulos y errores
- Estandarización de formatos
Resultados intermedios:
- Se almacenan en tablas temporales (tmp_).
Consolidación final:
- Se publica en tablas finales (tb_) con versionado y control.

3. Estructura Basada en Dominios

Cada dominio sigue la siguiente estructura modular:

Source → Staging Builder → Temporary Table (`tmp_`) → Final Builder → Final Table (`tb_`)

3.1 Dominio de Clientes

Fuente: PostgreSQL (customers)
- Pasos:
  - Filtrar datos inválidos
  - Normalizar y enriquecer información
- Flujo:
  - tmp_customers → tb_customers

3.2 Dominio de Órdenes

Fuente: PostgreSQL (orders)
- Pasos:
  - Cálculo de totales, costos de envío y entrega estimada
  - Normalización de estados y fallos
- Flujo:
  - tmp_orders → tb_orders

3.3 Dominio de Productos

Fuente: PostgreSQL (products)
- Pasos:
  - Enriquecer con categoría y disponibilidad
  - Agregar indicadores de productos discontinuados
- Flujo:
  - tmp_products → tb_products

3.4 Dominio de Detalle de Órdenes (Order Items)

Fuente: PostgreSQL (order_items)
- Pasos:
  - Limpieza de valores nulos y tipos de datos
  - Cálculo de impuestos, descuentos y valores unitarios
- Flujo:
  - tmp_order_items → tb_order_items