Olá depois de um bom tempo (literalmente) vou escrever meu livro de arquitetura de dados com distribuição gratuita para quem quiser e ele estará pronto no segundo semestre - acredito que no final de julho.
O que gano com isso? A sensação de ajudar um monte de gente a entender melhor o assunto. Como estou escrevendo uns programas de apoio, esse eu vou vender, mas por um preço beeeem barato.
E em breve também outros tutoriais sobre dashboards, relatorios analíticos, data science e data mining. Por esses vou cobrar uma FORTUNA (r$ 50). Mas o tutorial de arquitetura de dados, esse é uma coletãnea de 30 anos de experiência no assunto.
Estou determinado a viver como "garoto de programa", vendendo skills e ajudando gente por ai - vamos ver o que o futuro nos reserva.
Abraços e agaurdem novidades!
--Marco
segunda-feira, 17 de fevereiro de 2020
quarta-feira, 22 de maio de 2019
Porquê eu não acredito em Analytics(ao menos como é vendido hoje)
Parece meio absurdo, mas se você, caro leitor, olhar apenas pelo lado da informação talvez concorde comigo; todo e qualquer sistema de informação, manual ou automatizado, tem apenas três camadas:
Todo e qualquer sistema desde os anos 70 possuia essas características - e se não tivesse seria perda de tempo - ora, a coisa toda só mudou de nome!!! Continuamos usando as mesmas desculpas dos anos 70 sob a "alcunha" de Business Intelligence, mas são apenas análises simples, mesmo com toda a parafernália de hoje.
Desde o início se usou TI para automatizar processos repetititvos e responder a duas simples perguntas:
Estou ganhando dinheiro?
Estou fazendo meus processos direito?
A Estatística adicionou um toque de inteligência ao que chamamos de Business Intelligence, mas a verdadeira mudança só ocorreu ao juntarmos técnicas triviais com estatística e IA - aogra temos a chance de ter algo real que ajude as empresas a funcionar mais e melhor - e não me refiro a robôs!
Até hoje ainda temos empresas que acham que têm alguma coisa, mas apenas um sistema porco de relatórios que não agrega nada, e pior, pagam uma fortuna por isso.
"Mas Marco, o que você chama de Analytics então????"
Simples - toda a informação que agrega inteligência e confiabilidade aos processos gerenciais, com agilidade e em volume suficiente para auxiliar na tomada de decisão - só que agora essa informação carrega inteligência própria e chega instantaneamente ao usuário de forma objetiva. ESSA INTELIGÊNCIA AGORA É PRESCRITIVA - "Você fez X e Y, e se for nesse ritmos os resultados podem ser K e Z, ou você pode fazer xxxxxxxxxx e ter melhores resultados" - tudo "by the second"
Ìsso é barato? CLARO QUE NÃO!!! Por isso não deslanchou - querem que paguemos uma fortuna por coisas que ainda engatinham tecnologicamente, sem método ou controle - só estamos desperdiçando dinheiro até o momento, pois querem vender milagres caros e não soluções verdadeiras - pelo simples fato de que estão vendendo soluções puramente tecnológicas com ZERO de alinhamento com a organização - esse é o erro.
Ou seja, comprar uma ferrari sem planejar o que fazer com ela não vai te levar a lugar nenhum.
O único paleativo é que agora - se houver planejamento - pode-se "sair do outro lado" - mesmo gastando uma nota - ou até mesmo escrevendo "em papel de pão" - ironico, não? Isso se chama simplicidade e objetividade.
Esse é meu último post sobre o assunto - a partir de agora vou provar meus pontos de vista com práticas e projetos reais. em breve você verá como um rato pode rugir de verdade, mesmo não sendo um leão.
Seja bem-vindo ao mundo das soluções reais de BI - projetos simples e de impacto para empresas de todos os tamanhos, sem pagar mais por isso, pois resultados não precisam de ferramentas caras, apenas de algo que dê resultado e tudo começa com um bom projeto alinhado com a organização.
- Operacional - Os chamados dado brutos, que são as operações em seu maior nivel de granularidade ou atomicidade;
- Tática - Informações táticas são os resumos compilados por área funcional, com resumos intermediários para cada área - resumos gerenciais que muitos insistem em chamar de BI
- Estratégica - a camada estratégica de informação é o sumário máximo dos dados operacionais - ou seja, resumos estratégicos analisados pelas diretorias na tomada de decisão.
Todo e qualquer sistema desde os anos 70 possuia essas características - e se não tivesse seria perda de tempo - ora, a coisa toda só mudou de nome!!! Continuamos usando as mesmas desculpas dos anos 70 sob a "alcunha" de Business Intelligence, mas são apenas análises simples, mesmo com toda a parafernália de hoje.
Desde o início se usou TI para automatizar processos repetititvos e responder a duas simples perguntas:
Estou ganhando dinheiro?
Estou fazendo meus processos direito?
A Estatística adicionou um toque de inteligência ao que chamamos de Business Intelligence, mas a verdadeira mudança só ocorreu ao juntarmos técnicas triviais com estatística e IA - aogra temos a chance de ter algo real que ajude as empresas a funcionar mais e melhor - e não me refiro a robôs!
Até hoje ainda temos empresas que acham que têm alguma coisa, mas apenas um sistema porco de relatórios que não agrega nada, e pior, pagam uma fortuna por isso.
"Mas Marco, o que você chama de Analytics então????"
Simples - toda a informação que agrega inteligência e confiabilidade aos processos gerenciais, com agilidade e em volume suficiente para auxiliar na tomada de decisão - só que agora essa informação carrega inteligência própria e chega instantaneamente ao usuário de forma objetiva. ESSA INTELIGÊNCIA AGORA É PRESCRITIVA - "Você fez X e Y, e se for nesse ritmos os resultados podem ser K e Z, ou você pode fazer xxxxxxxxxx e ter melhores resultados" - tudo "by the second"
Ìsso é barato? CLARO QUE NÃO!!! Por isso não deslanchou - querem que paguemos uma fortuna por coisas que ainda engatinham tecnologicamente, sem método ou controle - só estamos desperdiçando dinheiro até o momento, pois querem vender milagres caros e não soluções verdadeiras - pelo simples fato de que estão vendendo soluções puramente tecnológicas com ZERO de alinhamento com a organização - esse é o erro.
Ou seja, comprar uma ferrari sem planejar o que fazer com ela não vai te levar a lugar nenhum.
O único paleativo é que agora - se houver planejamento - pode-se "sair do outro lado" - mesmo gastando uma nota - ou até mesmo escrevendo "em papel de pão" - ironico, não? Isso se chama simplicidade e objetividade.
Esse é meu último post sobre o assunto - a partir de agora vou provar meus pontos de vista com práticas e projetos reais. em breve você verá como um rato pode rugir de verdade, mesmo não sendo um leão.
Seja bem-vindo ao mundo das soluções reais de BI - projetos simples e de impacto para empresas de todos os tamanhos, sem pagar mais por isso, pois resultados não precisam de ferramentas caras, apenas de algo que dê resultado e tudo começa com um bom projeto alinhado com a organização.
terça-feira, 14 de maio de 2019
Por quê Pensar em Um Data Lake?
O motivo é simples - o mundo gira muito rápido e o modelo de analytics tradicional, onde os numeros levam semanas é passado - analytics agora é coisa instantânea, embora Big Data não seja uma necessidade universal.
Mas o que muda então??? Simples, a necessidade de dados instantâneos agora é uma possibilidade - coletar dados dos sistemas legados, Internet e outras fontes se tornou plausível e acessível - logo, não há porquê esperar pelas análises - "Mas eu preciso de Big Data? " - É claro que não!!!
A grande maioria das empresas meras mortais precisa dos dados num ritmo que antes não era possível acompanhar, e agora temos meios e ferramentas mais simples - na verdade bem antes de Big Data - e isso se chamava DATABASE DESIGN
Enfim, o que REALMENTE MUDOU FOI A NECESSIDADE - os meios sempre estiveram lá; e Data Science? Essa também sempre esteve por perto, só que agora temos R e Python para ajudar. Ou seja, por algumas honrosas exceções tecnológicas todas as empresas sempre tiveram os meios para gerar Instant Analytics, e tudo se resumia a um design diferente, além de algumas evoluções:
Afora isso, um desenho da arquitetura de sistemas que fosse capaz de contemplar essa visão mais rápida das análises dos dados empresariais. No entanto, foi mais uma "coisa" de bom senso...E as empresas passaram a comprar o novo conceito em maior quantidade.
O que houve não foi uma revolução, mas uma adaptação às novas necessidades, aliada a algumas mudanças e um novo "mindset" - mas tudo SEMPRE ESTEVE LÁ.
E essa necessidade de adaptação, associada aos fatores acima justifica uma nova mentalidade, que não precisa de milagres para ocorrer - apenas design e bom senso..
Mas o que muda então??? Simples, a necessidade de dados instantâneos agora é uma possibilidade - coletar dados dos sistemas legados, Internet e outras fontes se tornou plausível e acessível - logo, não há porquê esperar pelas análises - "Mas eu preciso de Big Data? " - É claro que não!!!
A grande maioria das empresas meras mortais precisa dos dados num ritmo que antes não era possível acompanhar, e agora temos meios e ferramentas mais simples - na verdade bem antes de Big Data - e isso se chamava DATABASE DESIGN
Enfim, o que REALMENTE MUDOU FOI A NECESSIDADE - os meios sempre estiveram lá; e Data Science? Essa também sempre esteve por perto, só que agora temos R e Python para ajudar. Ou seja, por algumas honrosas exceções tecnológicas todas as empresas sempre tiveram os meios para gerar Instant Analytics, e tudo se resumia a um design diferente, além de algumas evoluções:
- Redes mais rápidas
- Bancos de Dados em escala de Petabytes
- A nuvem como elemento de coesão entre sistemas
- R e Python como novas linguagens
- O uso de estatística preditiva nas empresas(mas será que alguém lembra dos cenários do Excel??)
- Bancos colunares e Não estruturados
- O custo de hardware descrescente
Afora isso, um desenho da arquitetura de sistemas que fosse capaz de contemplar essa visão mais rápida das análises dos dados empresariais. No entanto, foi mais uma "coisa" de bom senso...E as empresas passaram a comprar o novo conceito em maior quantidade.
O que houve não foi uma revolução, mas uma adaptação às novas necessidades, aliada a algumas mudanças e um novo "mindset" - mas tudo SEMPRE ESTEVE LÁ.
E essa necessidade de adaptação, associada aos fatores acima justifica uma nova mentalidade, que não precisa de milagres para ocorrer - apenas design e bom senso..
sexta-feira, 10 de maio de 2019
DATA FEDERATION - Uma técnica simples e muito útil
Uma técnica pouco divulgada entre os times de bancos de dados é Federação - onde um único modelo de dados é compartilhado entre diversos sistemas de bancos de dados - um único gerenciador pode "enxergar" diversos outros como se fossem do mesmo tipo.
Qual a vantagem? Imagine que por exemplo sua empresa possua bancos de dados Oracle, DB2, Teradata e outros; o modelo corporativo pode ficar "espalhado" entre esses ambientes e ainda assim ser acessado como se fosse uma coisa só; podemos usar skills diferentes em prol do mesmo projeto, como por exemplo um Data Warehouse.
As vantagens são muitas e muitas empresas podem usar esse conceito (um projeto, diversos ambientes) para ter seu Data Lake muito mais rapidamente e sem custos adicionais.
Ao longo do tempo muito tem sido investido em bancos de dados heterogêneos e a Federação com certeza é a técnica mais rápida e barata para para unificar informações.
A ilustração abaixo mostra um diagrama da Federação de Dados (créditos IBM)
Qual a vantagem? Imagine que por exemplo sua empresa possua bancos de dados Oracle, DB2, Teradata e outros; o modelo corporativo pode ficar "espalhado" entre esses ambientes e ainda assim ser acessado como se fosse uma coisa só; podemos usar skills diferentes em prol do mesmo projeto, como por exemplo um Data Warehouse.
As vantagens são muitas e muitas empresas podem usar esse conceito (um projeto, diversos ambientes) para ter seu Data Lake muito mais rapidamente e sem custos adicionais.
Ao longo do tempo muito tem sido investido em bancos de dados heterogêneos e a Federação com certeza é a técnica mais rápida e barata para para unificar informações.
A ilustração abaixo mostra um diagrama da Federação de Dados (créditos IBM)
Assinar:
Postagens (Atom)