ETL - Uma solução open source para quem precisa importar dados

Estamos testando uma solução open source para extrair dados de bases de dados diversas para um data warehouse; a solução oferecida pela Talend pode representar uma simplificação enorme no processo de importação e conversão de dados entre diversas plataformas, sendo de fácil implementação, alto desempenho e baixo custo operacional.

Já imaginou criar um programa de importação de dados de um arquivo-texto para uma base Oracle em dez minutos, com todo o código gerado automaticamente? Veja o exemplo abaixo:

No exemplo acima importamos uma tabela de contas contábeis para um banco de dados Oracle 11g à razão de 1.300+ registros/segundo; ambas as tabelas possuem o mesmo layout.

Para criar esse job foi feito o seguinte:

a) Definimos uma fonte de dados que era o arquivo-texto delimitado e seu layout

b) Definimos o Banco de Dados como fonte de dados

c) Criamos um serviço(job) de extração

d) Criamos os dois ícones na área de trabalho(ao centro)

e) Atribuimos a cada um dos ícones as propriedades(nome e localização do arquivo-texto e nome da tabela-destino no Oracle)

f) Executamos o job

Tempo total: 10 minutos.

Com um pacote ETL fica mais fácil e estruturado importar dados, consolidar arquivos, fazer transformações diversas quando o assunto é conversão de dados. Em poucas palavras, agora não há mais problemas para se extrair dados de diversas fontes para consolidação em relatórios diversos como demonstrações financeiras.

Essa solução é particularmente útil em ambientes com diversas plataformas e certa complexidade na transformação dos dados; SQL puro em ambientes mais uniformes muitas vezes é mais rápido, cabe a cada equipe definir sua política, mas um produto ETL padroniza as soluções e muitas vezes também agiliza a entrega da solução.

Estamos a partir desta data desenvolvendo serviços para a plataforma open source da Talend e dando treinamento inicial e em breve avançado na ferramenta.