Data Mart

Descripción General del Proyecto

Construcción de un Data Mart modular y escalable dentro de Gaio DataOS, organizando datos operativos por dominios (Clientes, Órdenes, Productos y Detalle de Órdenes), habilitando analítica descriptiva, operativa y predictiva.

---

Etapas de Desarrollo

1. Validación y Disparo del Proceso

• El proyecto comienza con una verificación automática de actualización de datos.

  • Una tabla de control SQL crea tmp_tb_control_data_update.

  • Flujo de control:

    • tmp_tb_control_data_update: verifica si existen actualizaciones.

    • tb_control_data_update: almacena el estado de ejecución.

  • Si se detectan nuevos datos, el flujo principal de extracción se activa automáticamente.

---

2. Extracción de Datos

• Los datos se extraen desde fuentes como bases PostgreSQL, archivos CSV o APIs conectadas a Gaio.

  Se utilizan tareas Builder para:

  • Transformación de datos

  • Manejo de valores nulos y errores

  • Estandarización de formatos

  Resultados intermedios:

  • Se almacenan en tablas temporales (tmp_).

  Consolidación final:

  • Se publica en tablas finales (tb_) con versionado y control.

---

3. Estructura Basada en Dominios

Cada dominio sigue la siguiente estructura modular:

Source → Staging Builder → Temporary Table (`tmp_`) → Final Builder → Final Table (`tb_`)

---

3.1 Dominio de Clientes

• Fuente: PostgreSQL (customers)

  • Pasos:

    • Filtrar datos inválidos

    • Normalizar y enriquecer información

  • Flujo:

    • tmp_customers → tb_customers

---

3.2 Dominio de Órdenes

• Fuente: PostgreSQL (orders)

  • Pasos:

    • Cálculo de totales, costos de envío y entrega estimada

    • Normalización de estados y fallos

  • Flujo:

    • tmp_orders → tb_orders

---

3.3 Dominio de Productos

• Fuente: PostgreSQL (products)

  • Pasos:

    • Enriquecer con categoría y disponibilidad

    • Agregar indicadores de productos discontinuados

  • Flujo:

    • tmp_products → tb_products

---

3.4 Dominio de Detalle de Órdenes (Order Items)

• Fuente: PostgreSQL (order_items)

  • Pasos:

    • Limpieza de valores nulos y tipos de datos

    • Cálculo de impuestos, descuentos y valores unitarios

  • Flujo:

    • tmp_order_items → tb_order_items

---

Tecnologías Utilizadas

• Gaio DataOS como plataforma central

• ETL visual con tareas Builder, Form, Content y SQL

• Tablas temporales (tmp_) para staging y auditoría

• Tablas finales (tb_) para consumo downstream

• Parámetros dinámicos para manejo de contexto y automatización

• Lógica condicional para control de ejecución

• Preparado para integración con dashboards, IA y flujos automatizados

---

Resultados Esperados

• Pipelines de datos sólidos y auditables

• Capacidad de reejecutar dominios específicos de manera independiente

• Desarrollo acelerado de dashboards

• Componentes reutilizables para futuros proyectos

• Mayor confiabilidad y gobernanza de datos para usuarios de negocio

• Estructura lista para modelos de forecasting, clustering y churn

---

Descargar este proyecto

489KB

Tables.zip

archive

Abrir

8KB

bkp_app-52_25-07-29_17-07-19.zip

archive

Abrir