terça-feira, 14 de maio de 2019

Por quê Pensar em Um Data Lake?

O motivo é simples - o mundo gira muito rápido e o modelo de analytics tradicional, onde os numeros levam semanas é passado - analytics agora é coisa instantânea, embora Big Data não seja uma necessidade universal.

Mas o que muda então??? Simples, a necessidade de dados instantâneos agora é uma possibilidade - coletar dados dos sistemas legados, Internet e outras fontes se tornou plausível e acessível - logo, não há porquê esperar pelas análises - "Mas eu preciso de Big Data? " - É claro que não!!!

A grande maioria das empresas meras mortais precisa dos dados num ritmo que antes não era possível acompanhar, e agora temos meios e ferramentas mais simples - na verdade bem antes de Big Data - e isso se chamava DATABASE DESIGN

Enfim, o que REALMENTE MUDOU FOI A NECESSIDADE - os meios sempre estiveram lá; e Data Science? Essa também sempre esteve por perto, só que agora temos R e Python para ajudar. Ou seja, por algumas honrosas exceções tecnológicas todas as empresas sempre tiveram os meios para gerar Instant Analytics, e tudo se resumia a um design diferente, além de algumas evoluções:


  • Redes mais rápidas
  • Bancos de Dados em escala de Petabytes
  • A nuvem como elemento de coesão entre sistemas
  • R e Python como novas linguagens
  • O uso de estatística preditiva nas empresas(mas será que alguém lembra dos cenários do Excel??)
  • Bancos colunares e Não estruturados
  • O custo de hardware descrescente


Afora isso, um desenho da arquitetura de sistemas que fosse capaz de contemplar essa visão mais rápida das análises dos dados empresariais. No entanto, foi mais uma "coisa" de bom senso...E as empresas passaram a comprar o novo conceito em maior quantidade.

O que houve não foi uma revolução, mas uma adaptação às novas necessidades, aliada a algumas mudanças e um novo "mindset" - mas tudo SEMPRE ESTEVE LÁ.

 E essa necessidade de adaptação, associada aos fatores acima justifica uma nova mentalidade, que não precisa de milagres para ocorrer - apenas design e bom senso..

Nenhum comentário: