Ingesta de Archivos

La tarea File Ingest permite ingerir archivos desde sistemas de almacenamiento remoto hacia Gaio DataOS.

Se utiliza comúnmente para automatizar la ingesta de datos desde servidores externos como SFTP o FTP, permitiendo pipelines basados en archivos que sean repetibles y confiables. Esta tarea se enfoca en conectarse a una fuente remota, seleccionar archivos utilizando patrones flexibles y almacenarlos localmente para su procesamiento posterior.

La tarea File Ingest está diseñada para:

• Conectarse a servidores de archivos externos.

• Descargar uno o múltiples archivos.

• Soportar patrones dinámicos de selección de archivos.

• Almacenar archivos localmente para su procesamiento posterior.

• Permitir flujos de ingesta automatizados y programados.

Cómo configurar File Ingest

• Proporciona un nombre descriptivo para la tarea.

• Selecciona el protocolo utilizado para acceder al servidor remoto.

• Selecciona el método de autenticación utilizado para conectarse:

  • Autenticación por contraseña (SFTP y FTP).

  • Autenticación por clave (SFTP y FTP).

  • Anónimo (sin contraseña).

• Ingresa el hostname o la dirección IP del servidor remoto.

• Especifica el puerto utilizado por el protocolo seleccionado.

• Ingresa el nombre de usuario utilizado para la autenticación.

• Importa un archivo específico, todos los archivos con una extensión determinada o todos los archivos de una carpeta.

• Cuando se importen múltiples archivos, la ruta de la carpeta remota debe terminar con /*.

• Especifica la ruta del archivo o carpeta en el servidor remoto.

• Define dónde se almacenarán los archivos localmente.

• Guarda y ejecuta.

Buenas prácticas (File Ingest)

• Utiliza nombres de archivos explícitos cuando sea posible.

• Usa comodines solo cuando sea necesario.

• Valida siempre las rutas remotas.

• Mantén las rutas locales organizadas por pipeline.

• Parametriza los nombres de archivos para ingestas dinámicas.

• Prueba la conectividad antes de usar en producción.