File Ingest
A File Ingest Task permite ingerir arquivos a partir de sistemas de armazenamento remotos para o Gaio DataOS. Ela é comumente utilizada para automatizar a ingestão de dados provenientes de servidores externos, como SFTP ou FTP, possibilitando pipelines baseados em arquivos de forma repetível e confiável.
Essa task tem foco em conectar-se a uma fonte remota, selecionar arquivos por meio de padrões flexíveis e armazená-los localmente para processamento posterior.
A File Ingest Task foi projetada para:
Conectar-se a servidores de arquivos externos
Fazer o download de um ou múltiplos arquivos
Suportar padrões dinâmicos de seleção de arquivos
Armazenar arquivos localmente para processamento posterior
Habilitar fluxos de ingestão automatizados e agendados
Como configurar o File Ingest
Defina um nome descritivo para a task.
Selecione o protocolo utilizado para acessar o servidor remoto.
Selecione o método de autenticação para a conexão:
Autenticação por senha (SFTP e FTP)
Autenticação por chave (SFTP e FTP)
Anônimo (sem senha)
Informe o hostname ou endereço IP do servidor remoto.
Especifique a porta utilizada pelo protocolo selecionado.
Informe o nome de usuário utilizado para autenticação.
Defina o padrão de importação:
Importar um arquivo específico
Importar todos os arquivos com uma determinada extensão
Importar todos os arquivos de uma pasta
Ao importar mais de um arquivo, o caminho da pasta remota deve terminar com /*.
Informe o caminho do arquivo ou da pasta no servidor remoto.
Defina onde os arquivos serão armazenados localmente.
Salve a configuração e execute a task.
Boas práticas (File Ingest)
Utilize nomes de arquivos explícitos sempre que possível
Use curingas (wildcards) apenas quando necessário
Sempre valide os caminhos remotos
Mantenha os caminhos locais organizados por pipeline
Parametrize nomes de arquivos para ingestões dinâmicas
Teste a conectividade antes do uso em produção
Atualizado