O que Sun Tzu ensina sobre Data Analytics Parte II

O que Sun Tzu ensina sobre Data Analytics Parte II

No post I, ver aqui, falamos sobre o quanto é importante o planejamento e se preparar para a nossa guerra contemporânea, que tem como objetivo a informação certa no menor prazo possível.

Nosso soldado data scientist  já tem consciência de ferramentas e possíveis estratégias para a batalha da análise de dados. Porém, o fato de ter apenas os métodos comprados e instalados na empresa nem sempre geram resultados, e por que isso acontece?

Disposição de Ferramentas

“7. Prever uma vitória que o homem comum pode prever não corresponde ao auge da habilidade.”

Sun Tzu falava da Disposição das Tropas, nós falamos da Disposição de Ferramentas. Descobrir o óbvio não agrega valor à empresa e é o principal ponto de atenção das equipes de analytics. A exceção a essa regra está nos casos onde análise tem o objetivo de testar um algoritmo ou abordagem e então saber se as ferramentas (metodologia + inteligência artificial) foram capazes de encontrar o que já se sabe e ir além.

Verificamos que a experiência dos analistas é um fator determinante no sucesso dos estudos de analytics. Isso se deve, principalmente, por prever erros estruturais nos fluxos de análise e a criatividade para desenvolver testes contra os algoritmos. Ainda, compará-los em diversas dimensões e eventualmente encontrar explicações esperadas de validação e no auge da habilidade, informações não previstas que geram oportunidades reais de melhoria.

Forças normais e extraordinárias

“5. Na batalha, valha-se da força normal para o combate e utilize a extraordinária para vencer.”

Existem forças normais que podemos usar para complementar as extraordinárias, é o exemplo das ferramentas livres e open source ou mesmo estratégias coerentes de indicadores (KPIs – Key Performance Indicators) já fazem uma diferença bastante grande no desempenho com impacto direto nos níveis de maturidade de analytics.

Agora dependendo do nível da competição, do timing e tamanho do mercado, utilizar ferramentas fechadas podem fazer a diferença do extraordinário, por isso, fique atendo a soluções fechadas disponibilizadas por APIs.

O preço da dúvida

“9. Na guerra, o perito age de maneira sutil e insubstancial, não deixa pistas; divinamente misterioso, é inaudível; torna-se, ele próprio, senhor do destino de seu inimigo.”

No mundo analytics, cases detalhados são raramente divulgados. Do que dá certo ou errado, cada um guarda para si, mais ou menos como no investimento em ações. Aparentemente, uma das formas mais plausíveis de se obter conhecimento real das tentativas e erros é pela incorporação e disseminação de processos de gestão do conhecimento e contratações estratégicas.   

Conclusão: Estratégias

“4. Na guerra, tanto a vantagem quanto o perigo são inerentes às manobras.”

Há uma expectativa bastante grande com relação a qualquer iniciativa de Data Analytics dentro das organizações e isto acontece independentemente do nível de maturidade de dados em que elas se encontram. O fato é que, para chegar a modelos preditivos realmente assertivos, o caminho é tortuoso e multidisciplinar. Por tanto, projetos com poucos recursos (horas de analistas, computadores parrudos, ferramentas de análise e capacitação) tendem a ter resultados coerentes com o investimento.  

Então é isso pessoal, espero que a analogia ajudou no entendimento e que gere valor no seu negócio. Um forte abraço de toda a equipe da Aquarela Advanced Analytics.

Gostou da leitura? Tem muito mais da onde veio este post, inscreva-se em nossa Newsletter e não perca nossos conteúdos!

Fiquem ligados em nossas redes sociais:

Facebook, Twitter, Linkedin

*SUN TZU. A Arte Da Guerra – por uma estratégia perfeita. São Paulo: Madras Editora, 2003.

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autores

Data Analytics e o impeachment de 2016: Uma análise sem partido

Data Analytics e o impeachment de 2016: Uma análise sem partido

Neste post vamos mostrar que tipos de insights os processos de mineração de dados pode nos fornecer a partir dos dados da votação do processo de impeachment da presidente Dilma no dia 17 de abril de 2016.

Estudo da natureza dos dados e limpeza

Estudar a natureza dos dados é muito importante para a escolha das possíveis abordagens de análise. Nesta etapa utilizamos a estatística, que rapidamente traz as grandezas, distâncias e limitações do objeto de estudo. A estatística nos ajuda na limpeza da base informacional (que em muitos casos apresenta dados faltantes, erros de digitação e assim por diante).

Imagem recortada da planilha.

Assim temos:

Partidos com mais e menos membros votantes:

  • PMDB = 66 votantes
  • PMB = 1 votante

Estados com mais e menos membros votantes:

  • São Paulo = 70 votantes
  • Tocantins = 8 votantes

Números totais de votos:

SIMNÃOAUSENTEABSTENÇÃO
36713727

Gênero dos votantes:

  • Masculino = 462
  • Feminino = 51

Aplicação de técnicas de mineração

Análise de textos

Como todos bem lembramos, cada deputado teve a oportunidade de justificar seu voto, e destes discursos podemos retirar alguns insights.

Na área de mineração existem vários estudos que buscam o sentimento do falante pela combinação das palavras usadas. Aqui vamos utilizar apenas uma contagem proporcional de cada uma das palavras para entender o que pesou mais ou menos no vocabulário dos deputados. Posteriormente, esses valores são excluídos das análises de correlações.

Análise por Fernando Severo

Análise de agrupamentos (clustering ou segmentação)

Para entender qual é a força exercida pelos grupos votantes e como eles se caracterizam, utilizamos a técnica de clustering, que resultou na análise abaixo, onde é possível ver que existem 3 grupos distintos. Divididos da seguinte forma:

  • Grupo 0 Azul = 310 votos – principal força PMDB
  • Grupo 1 Verde = 57 votos – principal força PSDB
  • Grupo 2 Vermelho = 146 votos – principal força PT

Uma das grandes vantagens da análise computacional de segmentos é conseguir sintetizar a complexidade do ambiente sem inclinações ou segundas intenções, pois ele apenas revela ou decodifica a realidade.

Análise preditiva de votos

Agora, aplicamos algoritmos que nos ajudam a fazer predições sobre fatos que já ocorreram. Na imagem abaixo temos a predição de novos votos de cada partido com uma precisão de aproximadamente 86,35%, predizendo com precisão 367 votos sim,  76 não e predizendo erroneamente 70 votos.

Pesos das variáveis

Agora imagine o seguinte: Você quer viajar. Na sua análise mental você começa a pesar fatores como:

  • O estado do carro;
  • A previsão do tempo;
  • O preço da gasolina;
  • A distância a ser viajada;
  • A quantidade de bagagem.

Então, se você colocasse tudo isso numa régua de importância, qual é o fator que mais pesaria e que menos pesaria na sua decisão?

Seguindo esse pensamento, a análise abaixo mostra o que mais pesou para votos = SIM e votos = Não. Vale notar que os partidos políticos pesaram mais do que os estados dos deputados que estão no meio da régua.

Conclusões e Limitações:

Buscamos ser o mais breve possível utilizando apenas algumas técnicas de mineração que consideramos importantes para a natureza dos dados. Pense que os dados são como a farinha para um pão.

Como analistas, podemos fazer diversos tipos de análise, mas se a base não for boa o resultado será ruim. Simples assim.

Além disso, buscamos abstrair o máximo da complexidade matemática das abordagens, e assim esperamos que este post possa ajudar a estender a compreensão do potencial da mineração de dados para descriptografar a realidade, melhorando significativamente a saúde, educação e a gestão do país de um modo geral.

Por exemplo: Encontrando grupos de pacientes e alunos com determinadas tendências, prevendo doenças e epidemias, descobrindo as influências predominantes de uma série de comportamentos sociais, e assim por diante.

Blitz analytics

Mediante a crescente demanda de projetos rápidos usando Advanced Analytics e IA, que gerem mudanças imediatas em diversos níveis dentro das empresas, nós criamos o conceito de Blitz Analytics, usando a metodologia DCIM, aliada ao poder da inteligência artificial da Plataforma Aquarela VORTX.

Executada por nossos cientistas de dados sobre os dados de nossos clientes, a Blitz Analytics entrega um sistema de predição ou prescrição que atendem os requisitos do negócio de forma rápida e assertiva.

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autores

14 setores para aplicação de Data Analytics

14 setores para aplicação de Data Analytics

Na grande maioria das conversas com nossos clientes sobre Analytics e Inteligência Artificial, notamos que há uma lacuna entre a realidade do negócio e expectativas de projetos de Data Analytics.

Muitos destes clientes ainda buscam saber por onde começar e até como contratar fornecedor, neste sentido, fizemos uma pesquisa para responder às questões sobre aplicação de Data Analytics:

  • Quais principais setores (áreas de negócio) utilizam Data Analytics hoje?
  • Quais os resultados mais comuns das iniciativas de Data Analytics por setor?
  • Quais são os dados mínimos (datasets) de entrada para cada iniciativa?

Setores para Aplicação de Data Analytics

Sabemos que é muito raro que duas organizações detenham o mesmo conjunto de dados, mesmo assim formatamos um resumo de nossas pesquisas sobre itens que consideramos genéricos suficientes por setor, assim temos:

Conclusões

 A tabela traz dados de forma resumida para fácil visualização, porém a realidade de cada empresa se desdobra em muitas variáveis de entrada, gerando muitas oportunidades (e riscos) atreladas aos níveis de maturidade em gestão de dados (Níveis de Maturidade de Analytics).

  • Existem vários outros setores que já utilizam recursos e metodologias da ciência de dados, porém estes já podem servir de exemplo para uma grande parcela dos negócios em operação.
  • Soluções de Data Analytics necessitam obrigatoriamente de dados de entrada e como cada negócio é um negócio, é importante conhecer bem os dados de entrada e sua qualidade. Em muitas situações as organizações não estão capturando os dados corretamente em seus sistemas, apresentando um baixo nível de maturidade.
  • Um obstáculo comum dos projetos de Data Analytics é o elevado esforço necessário para coletar, organizar e “limpar” os dados de entrada. Isso é, geralmente, o principal gerador de grandes frustrações entre os interessados no projeto. Cursos e capacitações na área podem acelerar o processo de construção dos modelos de análise de forma significativa, mas este conhecimento é escasso no mercado.
  • Não existem, pelo menos até onde se estendem nossas pesquisas, aplicativos “Plug & Play” de “Data Analytics” que possam ser instalados e  possam produzir os resultados das análises imediatamente. Em 100% dos casos toda a equipe (pessoal técnico e de negócio) precisa meter a mão na massa, criar hipóteses, definir amostras de dados, fazer testes, ajustar o modelo, calibrar o processo e finalmente chegar a resultados de fato conclusivos. Uma metodologia científica de trabalho voltada à dados que se ajuste ao negócio é fundamental para que esse processo seja bem sucedido. Na Aquarela, criamos e disponibilizando para Download o Analytics Business Canvas.

Este post dá um panorama bem geral (e pé no chão) sobre algumas áreas de mercado aonde sabemos que existem dados, e que, de alguma forma, estão estruturados para análise.

Existem sim outros mercados (você leitor deve ser deste “outro mercado”) que estão geram muitas informações (marketing digital por exemplo), mas escolhemos focar naqueles que são de senso comum, e ainda operam de maneira cética em relação aos dados.

Se você quer se aprofundar melhor sobre como esse novo olhar pode mudar o seu negócio, leia nosso Guia de introdução à cultura de Data Analytics. 

Lá mostramos os caminhos e etapas necessárias para que você entre no mundo do Data Analytics sabendo dos desafios que irá encontrar, dividimos o processo de adaptação em sete etapas, da identificação da oportunidade até a replicação de um projeto de sucesso.

Baixe agora e esteja pronto para a revolução dos dados!

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autores

7 características importantes para diferenciar BI, Data Mining e Big Data

7 características importantes para diferenciar BI, Data Mining e Big Data

Uma das perguntas mais frequentes que recebemos na Aquarela está relacionada aos conceitos BI, Data Mining e Big Data. Uma vez que os três estão ligados à análise de dados, não é estranho que haja confusões.

O objetivo deste post é apresentar de maneira sucinta quais são as características mais marcantes de cada uma das soluções, ajudando o leitor a definir sua estratégia de informação (leia aqui sobre os dramas na implementação da cultura de Data Analytics). Apesar das dores por falta de informação serem parecidas, cada caso é um caso.

O Básico

Inicialmente o ciclo de análise de dados segue, de maneira geral, os seguintes passos:

  1. Levantamento de perguntas: O que a empresa quer saber (descobrir) do seu negócio. Por exemplo, quantos clientes atendemos por mês? Qual o valor médio do produto? Qual o produto que mais vende?
  2. Estudo das fontes de dados: Quais dados estão disponíveis interna/externamente para responder as perguntas de negócio. Ex. Onde estão os dados? Como consigo processá-los?
  3. Definição do tamanho do projeto: Quem serão todos os envolvidos no projeto? Qual o será o tamanho da análise, quais serão as ferramentas utilizadas e os custos do projeto.
  4. Desenvolvimento: Operacionalização da estratégia, realizando o processamento dos dados assim como várias interações de validação com os envolvidos do projeto, sobretudo o cliente final, para saber se as perguntas de negócio estão sendo respondidas e realmente ajudando.

Veja mais sobre os passos para um projeto de analytics de sucesso aqui.

Até esse momento o BI, Data Mining e Big Data são muito parecidos. Na tabela abaixo fizemos um resumo que ajuda a delinear as diferenças:

BI, Data Mining e Big Data

CaracteristicasBI (Business Intelligence)Data MiningBig Data
Virtude da soluçãoVolumetria – Monitorar o desempenho dos indicadores das operaçõesMetodologia científica e algoritmos. Descobrir padrões de comportamento de dados. Detecção de pontos cegos da gestão. Análise estatística intensa e pontual.Data mining em grande escala. Geração de conhecimento de gestão, apoiado por inteligência e capacidade computacional. Análise estatística intensa e contínua
Tipos de dadosDados estruturados em planilhas, banco de dados relacionais e dimensionais, etc.Dados estruturados em planilhas, banco de dados relacionais e dimensionais, etc.Dados estruturados, semiestruturados e não estruturados em bancos de dados NoSQL ou TripleStores
Estilo de análiseReflete apenas o passado dos dados em pequena ou grande escala. Não há inteligência no sistema, sendo necessário profissionais da gestão para interpretar as informações e tomada de decisão.Permite fazer a predição e descoberta de fatores relevantes ao negócio em pequena escala usando inteligência computacional. Necessita de profissionais da gestão trabalhando em colaboração com cientistas da informação.Permite fazer a predição e descoberta de fatores relevantes ao negócio em grande escala usando inteligência computacional. Necessita de profissionais da gestão trabalhando em colaboração com cientistas da informação.
Resultados EsperadosDiversas visualizações de gráficos consolidadas em painéis de controle conhecidos como dashboardsRelatório de recomendaçãoPainéis de controle com indicadores preditivos e recomendações estratégicas.
FocoMonitorar indicadores tais como preço, valor, temperatura, custo total, etc.Identificar padrões de comportamento dos dados, criando novos indicadores de análise para o BIExtração do conhecimento de grandes massas de dados com fontes e tipos variados
ComercializaçãoCusto de implementação, integração do sistema e mensalidade por usuárioValor do projeto, envolvendo o custo da produção do relatórioCusto de implantação, integração do sistema e/ou comissionamento sobre o resultado do faturamento.
Volume de dadosAlto, porém limitado ao processamento dos bancos de dados relacionais/dimensionaisBaixo, trabalho por amostragem (pequenas parcelas) de dados com alto custo de procesamentoAlto, com estruturas distribuídas e grande demanda de procesamento.

Conclusões e recomendações

Apesar da análise se restringir a apenas 7 características, os resultados mostram que existem diferenças importantes entre BI, Data Mining e Big Data. Abaixo seguem algumas conclusões de nossa análise e experiência:

  • Empresas que possuem uma solução de BI já consolidada tem mais maturidade para embarcar em projetos extensivos de Data mining e Advanced Analytics. Ex: descobertas feitas pelo Data Mining ou Advanced Analytics podem ser rapidamente testadas e monitoradas pelo BI. Ou seja, os elementos podem e devem coexistir para realmente trazer valor ao negócio na forma de otimização de recursos, aumento de vendas e assim por diante.
  • O Big Data só faz sentido em grandes volumes de dados e a melhor opção para o seu negócio depende de quais perguntas estão sendo feitas e quais os dados disponíveis. Todas as soluções são dependentes do dado de entrada. Consequentemente se a qualidade das fontes de informação forem ruins, há grande chance de que a reposta seja ruim como frisa a expressão em inglês “garbage in, garbage out” Lixo entra, lixo saí.
  • Enquanto os painéis do BI podem ajudar a fazer sentido  de seus dados de maneira bastante visual e facilitada, não é possível fazer análises muito ricas com ele. Para isso é necessário soluções mais complexas, capazes de enriquecer a sua percepção da realidade do negócio, ajudando a encontrar correlações, novos segmentos de mercado (classificação, predição),  fazer previsões, controlar variáveis e seus efeitos em com relação as diversas outras por meio da análises multivariadas.
  • O BI é fortemente dependente de dados estruturados que são os mais utilizados atualmente, porém a tendência é de crescimento em dados não estruturados. Também, não demanda profissionais especialistas em estatística e ou engenharia do conhecimento.
  • O Big Data estende a possibilidade de análise sobre não estruturados. Ex: posts de redes sociais, imagens, vídeos, músicas e etc. Porém o grau de complexidade e exigência de conhecimento do operador é maior, bem como o alinhamento com os profissionais da gestão.
  • Para evitar frustrações é importante levar em consideração as diferenças nas virtudes (proposta de valor) e resultados de cada solução. Por exemplo, não esperar por descoberta de padrões e insights de negócio da própria ferramenta de BI, este é o papel do operador do BI.
  • O Big Data pode ser considerado em parte, a junção do BI e Data Mining. O BI com seus dados estruturados em conjunção com a gama de algoritmos e técnicas do Data Mining empoderado pelas novas tecnologias de grande processamento, armazenamento e memória; tudo processado de forma paralela e distribuída sobre uma gama gigantesca de fontes de informação heterogêneas.
  • Podemos observar que os resultados dos três geram inteligência para o negócio, da mesma forma como o bom uso de uma simples planilha também pode gerar inteligência, mas é importante avaliar se isso é suficiente para atender as ambições ou dilemas do seu negócio.
  • Vemos que o potencial do Big Data ainda não está sendo plenamente reconhecido, porém as empresas mais avançadas em termos de tecnologia, hoje, o têm como ponto chave de suas estratégias oferecendo gratuitamente seus serviços para alimentar suas bases com dados estruturados e não estruturados. Ex. Gmail, Facebook, Twitter e OLX.
  • A tendência é que o crescimento do volume dos dados e sua variedade continue cada vez de forma menos estruturada como já escrevemos no post Dos dados ao Analytics.

A Aquarela criou uma metodologia, chamada DCIM – Data Culture Introduction Metodology – que estabelece 5 níveis de maturidade e mecanismo de análise situacional, leia aqui sobre.

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autores