Data mining ou mineração de dados é a prática de examinar dados que já foram coletados por meio da utilização de diversos tipos de algoritmos. Normalmente, isso acontece de forma automática a fim de gerar novas informações e encontrar padrões. Veja em mais detalhes neste artigo o que é data mining, e como a mineração de dados se coloca diante de temas mais recentes como o Advanced Analytics e a Indústria 4.0.
Na prática, como funciona a mineração de dados?
Minerar dados é um processo de transformar dados em informações úteis (dados mais valiosos a partir de dados complexos). Então, para atingir esse objetivo, realizam-se alguns passos, como: encontrar padrões, associações e anomalias gerais nos dados.
É importante ressaltar que em data mining não importa a forma de coleta dos dados, se via banco de dados, web scraping, API`s, por exemplo.
Data mining: seu surgimento e a economia da informação
O data mining surgiu com a emersão da economia da informação, que por sua vez representa a informação sendo utilizada como mercadoria e como bem de produção.
Uma das primeiras aparições do termo “economia da informação” no mundo científico foi em 1986, com Bruce Greenwald e com o ganhador do Nobel de economia, Joseph Stiglitz. Nesse contexto, os acadêmicos argumentam que as pessoas não possuem acesso a todas informações disponíveis, tornando assim os mercados imperfeitos.
Esse foi, na época, um argumento distante da premissa econômica até então dominante que afirmava que a mesma informação era acessível a todos. Sendo assim, a informação passou a ser vista como um diferencial, como uma forma de extrair insights para melhorar as decisões gerenciais no âmbito corporativo.
Na economia da informação, praticamente todas as transações e operações realizadas por pessoas e empresas no dia a dia geram algum tipo de dados. Data mining entra nesse contexto com a aplicação de equações matemáticas e métodos estatísticos. Eles vão desde o uso de uma regressão logística até redes neurais, deep learning, análise de clustering (agrupamentos) e classificações automáticas.
Uma das primeiras soluções focadas em data mining, para fins de exemplificação, foi o software Weka. O Weka, criado em 1993 e mantido até os dias atuais, é uma rica coleção de algoritmos de machine learning e data mining. O propósito do software em sua concepção foi permitir que o usuário não precisasse conhecer linguagens de programação para fazer o pré-processamento dos dados (organizá-los) e assim aplicar diversos algoritmos prontos em seus próprios dados.
Data mining na Indústria 4.0
Mais do que a economia da informação, hoje vivemos em uma transição econômica como um todo para a indústria 4.0.
A Indústria 4.0 caracteriza-se por serviços concebidos e produzidos de forma descentralizada, com forte apoio de Advanced Analytics, Inteligência Artificial (a máquina com capacidade de aprender) e Inteligência Coletiva (as pessoas, coletivamente, cooperando para que as máquinas aprendam). Esse processo teve seu início com o boom da internet no começo dos anos 2000.
Na Indústria 4.0, os smartphones, por exemplo, permitem tanto a Inteligência Artificial quanto a Inteligência Coletiva fazerem parte das decisões do dia a dia das pessoas. Assim, gera-se uma imensidão de dados, e cada vez em maior quantidade.
Nesse contexto, a mineração de dados é a base para uma integração com métodos mais avançados, que envolvem desde as ferramentas mais básicas, como regressões e árvores de decisão, até modelagens mais complexas com elevado nível de otimização de análise, utilizando também métodos de aprendizagem de máquina, big data, entre outros. Nesses casos, o propósito costuma ser análises preditivas e prescritivas, que conduzem os indivíduos a tomarem suas decisões de forma mais rápida, automatizada e otimizada.
Como aplicar data mining em um ambiente de negócio?
Na mineração de dados, o que gera valor de fato é o conjunto de ações que são tomadas a partir dos processamentos dos dados. Por isso, é preciso saber onde aplicar as técnicas e quais ferramentas de mineração são mais adequadas para cada caso, dando vida a um novo perfil de profissionais chamada Cientista de Dados
Então, onde se aplica data mining? Sempre que existirem processos definidos têm-se dados. Usa-se a mineração de dados no momento em que esgotam-se as alternativas iniciais de análise, como análises a “olho nu”, com planilhas de dinâmicas ou ainda com o uso de estatística descritiva, entre outros.
Veja a seguir uma lista de exemplos práticos da aplicação da mineração de dados em ambientes de negócio, que conduzem a melhorias das decisões gerenciais e estratégicas:
1. Dados gerados internamente nas organizações
Dados transacionais ou extraídos de sistemas em geral da organização podem ser tratados e minerados. Por exemplo: dados de CRM, ERP, softwares de marketing digital, plataformas de monitoramento de websites (como o Google Analytics), e-commerce, supply-chain, dados de logística, entre outras inúmeras áreas de negócios.
2. Dados sociais
Dados que estão sempre crescendo e descrevem pessoas: quem são, onde estão, que serviços e produtos estão usando. Usar esses dados para fins de negócios é a maneira como a economia da informação funciona. Isso é um dos grandes motores no advento da indústria 4.0.
3. Área da saúde
A mineração de dados possui diversas aplicações na área da saúde. Por exemplo, Aquarela, juntamente com a Prefeitura de Vitória/ES, minerou e analisou dados de faltas em agendamentos médicos. Após as análises, tomaram-se decisões estratégicas que reduziram as faltas em agendamentos de cerca de 30% para aproximadamente 15%. Assim, gerou-se uma economia milionária aos cofres públicos.Veja o case em detalhes.
4. Obras públicas
Com a tendência de transparência pública no Brasil, cada vez mais dados públicos têm sido disponibilizados gratuitamente via web. Isso viabiliza a realização de análises que podem levar à população um poder extra de monitoramento de como o dinheiro público tem sido utilizado.
Como case de exemplo, a SEFAZ/SC e a Aquarela Advanced Analytics utilizaram técnicas avançadas de análise de dados para a descoberta de padrões de obras públicas do estado de Santa Catarina, tornando-as assim acessíveis à população, em complemento ao portal da transparência do governo. Veja neste post os resultados das análises.
5. Capital de risco em empresas de base tecnológica
Diante de uma grande diversidade de startups surgindo e também de fundos de investimento em venture capital e capital de risco, técnicas de data mining podem auxiliar a encontrar as melhores startups focadas em dados de fundos de investimentos. Além disso, podem dar uma visão às startups de quais fundos de investimentos são mais propensos a se tornarem investidores.
Em mais um case, a Aquarela analisou as características de startups unicórnios (com valor de mercado superior a U$ 1 bi.), cruzando os dados com seus respectivos fundos investidores. Entre as perguntas-chave estava identificar padrões e clusters nas empresas unicórnios e comparar as variáveis das empresas com as rodadas de investimentos que receberam de fundos de capital de risco.
Mineração de dados é um processo cujo fim é gerar informações a partir de dados em que são utilizadas diversas ferramentas e métodos. Ou seja, não há “receita de bolo” para trabalhar com data mining. Cada caso é único, por isso demanda profissionais com grande capacidade criativa para definição dos modelos.
Data mining é um termo antigo, levando em conta o grande dinamismo do mundo da tecnologia. Com o passar do tempo, também surgiram diversos outros termos que podem gerar confusões. Por isso, veja o artigo em que tratamos sobre as diferenças entre BI, data mining e big data.
Por fim, a forma de extrair informações estratégicas a partir dos dados representa o que é data mining. Mas, de forma mais ampla, surge o Advanced Analytics, em que a mineração de dados é parte de um processo que envolve desde o desenvolvimento da cultura de Analytics nas empresas até a construção de análises e sistemas preditivos e prescritivos com uso de IA.
Doutor e Mestre em Finanças pela Universidade Federal de Santa Catarina – Brasil. Pesquisador em finanças / economia comportamental e mercado de capitais. Atualmente Data Scientist aplicando estratégias de aprendizado de máquina em problemas de negócios de grandes organizações no Brasil e no exterior.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Fundador da Aquarela, CEO e arquiteto da plataforma VORTX. Mestre em Engenharia e Gestão do Conhecimento, entusiasta de novas tecnologias, tendo expertise em linguagem funcional Scala e em algoritmos de Machine Learning e IA.
O setor automotivo ou automobilístico é um dos principais setores da economia mundial que está em processo de profunda transformação devido ao processo de eletrificação, digitalização e a introdução dos conceitos de indústria 4.0 e Web 3.0. A partir disso, levantamos um panorama dessa área e oportunidades desse novo cenário para profissionais de planejamento de médias e grandes empresas brasileiras. Confira no artigo.
A dinâmica do setor automotivo
O setor automotivo é de grande importância para a economia do Brasil e do mundo. Ele se encontra em um cenário de recuperação em relação aos impactos da pandemia do Coronavírus, que gerou reduções de até 40% no faturamento do setor em 2020.
No contexto global ou mesmo brasileiro, o setor automotivo é composto por uma cadeia de valor bastante complexa, com uma grande quantidade de empresas em diferentes etapas, que vão desde a concepção de novos produtos até o consumidor final.
A visão dos gestores das grandes empresas do setor apontam para uma intensa eletrificação da frota. Esse processo já foi iniciado na Europa e na América do Norte. No Brasil, espera-se que essa onda transformadora chegue com a mesma intensidade, mas em um prazo de até 10 ou 15 anos.
Junto à eletrificação da frota está a transformação da indústria, que caminha para a sua quarta geração, conforme a imagem abaixo.
Como vemos, o novo cenário demandará um planejamento estratégico que dê suporte à interação das máquinas físicas com o conhecimento coletivo gerenciado por sistemas de informação inteligentes, conectados via dispositivos de Internet das Coisas (IOT), em redes de alta velocidade e disponibilidade 5G.
Contexto brasileiro
Segundo IBGE, a frota automotiva do Brasil já ultrapassou a barreira dos 100 milhões. Isso mostra uma clara tendência de crescimento no tamanho total da frota brasileira e também da população. Essa frota inclui automóveis (58 milhões), caminhões (2.8 milhões), motos (23 milhões) e várias outras categorias. Abaixo, segue uma visualização proporcionalizada do mercado.
Na sequência, fizemos um comparativo do crescimento populacional brasileiro em relação ao crescimento da frota. Nesta análise, utilizamos a escala logarítmica para evidenciar o descompasso do crescimento entre a população, que segue em uma tendência linear, e a frota, a qual experimenta alguma exponencialização.
Frota total do Brasil 2006-2020 (Fonte IBGE).
Entre os anos 2010 e 2015, houve um crescimento exponencial de novos veículos. De 2015 em diante, o crescimento ainda é positivo, entretanto mais moderado. Hoje temos um cenário com veículos mais velhos devido à diminuição do incremento de novos veículos. Isso foi causado tanto por efeitos do dólar valorizado e juros altos como também pela escassez de semicondutores.
Além desses pontos, é possível também delinear a complexidade (explosão combinatória) que existe na operação das empresas do setor automotivo e autopeças. Abaixo, apresentamos afirmações consideradas chave na descrição do cenário atual, e que posteriormente podem ser validadas ou refutadas por análise técnica de dados.
Desafio
Soluções na Indústria 4.0
Empresas com operações comerciais de abrangência nacional com grande número de representantes comerciais utilizando diferentes políticas tanto no comércio tradicional como nos sistemas de e-commerce; A envergadura das operações geram departamentalizações que, por sua vez, tendem a gerar silos de informação com indicadores não integrados, compartilhados ou até duplicados e/ou incoerentes com uso intensivo de planilhas Excel;
Na indústria 4.0, os projetos analíticos de sucesso são, em grande parte, resultado de atividades geridas por métodos ágeis altamente colaborativos, que podem ser acelerados com a contratação de empresas especialistas em dados (Ler artigo). Grandes operações necessitam inicialmente de processos de Dicionarização de dados (ler artigo) capazes de democratizar o entendimento (a harmonização) das informações em todos os níveis de decisão. Isso permite então a execução de projetos de integrações de sistemas transacionais e analíticos (ler artigo) de forma coerente e em parceria com os especialistas da área de tecnologia da Informação.
A demora e a complexidade na precificação impactam negativamente no fechamento de negócios. Isso ocorre devido às operações com grande quantidade de itens (SKUs ou part numbers), com diversas categorias de produtos definidas internamente e que podem variar de produtos com alto e baixo desgaste, valor, margem e frequência de compra;
As atividades de precificação, desde a mais estática e simples até a precificação dinâmica inteligente, estão intimamente ligadas ao nível de maturidade de dados que evolui em paralelo aos novos métodos de sistema e ao stack tecnológico, como apresentado no caso da precificação do metrô de Londres, apresentada neste artigo.
Forte influência de aspectos regionais (economia/clima/cadeia produtiva) nas demandas de peças;
Os aspectos regionais podem ser melhor abordados com o uso de dados e inteligência artificial para prever cenários e fazer recomendações de produtos de forma cada vez mais personalizada e assertiva. Abaixo, estes dois artigos apresentam com detalhes o processo de desenho da previsão de demanda com analytics: O desafio da previsão de demanda na visão da Aquarela – Parte 1 (link). O desafio da previsão de demanda na visão da Aquarela Analytics – Parte 2 (link)
Alto custo de pessoal e tempo na concepção de novos produtos e peças.
O uso de algoritmos e metodologias de simulação inovadores com base em dados pode ajudar a reduzir os tempos e a qualidade da concepção de novos produtos. Leia o artigo.
O baixo grau de exploração de SKUs por unidade de negócio impacta negativamente no volume de vendas;
A exploração profunda do histórico dos Skus está bastante ligada ao nível de maturidade analítico e de governança de dados da organização (ler artigo) e à disponibilidade de talentos treinados tanto do ponto de vista de negócio como também de tecnologias robustas de análise, capazes de cruzar combinações de produtos e dados de mercado em grande escala.
Faltam dados e visão de mercado para a criação de visualizações de market share para cada categoria de produtos para cada região.
Mais dados de mercado e estratégia de analytics podem acelerar e melhorar a definição da persona de vendas e consequentemente a identificação dos canais ótimos e prioritários de ação comercial para conquista de novos clientes. Times de analytics internos ou externos têm um papel fundamental na definição da estratégia da análise, agrupamento das informações internas e externas até chegar aos indicadores de market share regionalizados de forma acurada. Já publicamos um Business Case no setor de aftermarketing (peças de reposição), que está disponível em link .
Dificuldade de formação de times analíticos de alto desempenho com perfis complementares que cobrem desde a área técnica de sistemas até a área de negócio.
Setor automotivo: características e oportunidades com IA – Conclusões
Neste artigo, apresentamos as evoluções da indústria na história, a qual aponta para um futuro com maior automação de processos.
O setor automobilístico é grande. Isso gera dificuldades para a gestão, que necessita de apoio de sistemas especialistas em dados, principalmente com a previsão de crescimento contínuo da frota.
A fragmentação da produção e a distribuição das peças geram complexidades nos processos da cadeia de valor como um todo. Entretanto, elas podem ser otimizadas com o uso de ferramentas e estratégias de dados que envolvam desde novas políticas de governança da informação até sistemas inteligentes de recomendação de preço.
Todas as empresas e todos os setores serão transformados por uma grande transição nunca vista antes. Ela estará voltada para a redução de emissão de carbono e para a digitalização do fluxo de informação. Em ambos os cenários, a indústria automotiva precisa encontrar os líderes que irão estar à frente dessa mudança!
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Dados são ativos-chave para quaisquer negócios que queiram fazer parte da Indústria 4.0.
Encontrar indícios do que seus clientes desejam, como mudou o estoque da empresa, ou como seus indicadores evoluíram com o tempo, são fundamentais para qualquer organização se manter acima do nível da água.
Quando dados são mal interpretados, podem ocultar informações vitais e prejudicar a tomada de decisão e quando o volume de dados aumenta e se torna não administrável, a cultura de Big Data Analytics se torna chave para encontrar sentido não só no que está acontecendo, mas também o porquê de cada processo.
Por que o mercado demanda Big Data Analytics?
Para entender o que é Big Data Analytics, primeiro precisamos entender a dimensão do que é Big Data.
Exemplo na cadeia de suprimentos (logística)
Vamos imaginar uma empresa do ramo alimentício, com um portfólio de milhares de produtos e atendendo a mercados internacionais com uma vasta e complexa cadeia de suprimentos e logística que inclui múltiplos atores que vão desde o criador de animais até donos de supermercados e clientes.
Nesta cadeia de suprimento, cada item produzido, seus custos, preços, formas de distribuição e venda são mapeados dia-a-dia, gerando volumes de dados na casa dos milhões de relacionamentos de negócio.
Todas as informações poderiam ser armazenadas em planilhas, se os registros não ultrapassarem 1 milhão de linhas (entenda as limitações das planilhas). Como é de se imaginar, as informações acabam sendo fragmentadas em diversas planilhas, e com isso surgem algumas questões:
Como podemos saber quais mercados estão aquecidos?
Quais as tendências de compra de diferentes regiões?
Onde pode faltar estoque e onde está sobrando?
Por que estou perdendo market share?
Quais os gargalos da distribuição?
Quais os fatores mais impactantes na margem de lucro por produto, cidade, estado, país?
Big Data Analytics é chave para desvendar essas e muitas outras perguntas.
Dimensões do Big Data Analytics
Os 5Vs de Big Data
O que a Big Data Analytics faz, é lidar com esses grandes volumes de dados variados de forma veloz e verossímil, para transformá-los em valor para as empresas. Esses são os 5 Vs da Big Data, e entendê-los é fundamental para os aplicar no seu negócio:
Volume: Big Data lida com grandes volumes, transformando dados em informações, e informações em conhecimento. Não é incomum que nossos projetos lidem com milhões de amostras e milhares de variáveis. Fazendo um paralelo, pense em uma planilha com um milhão de linhas e mil colunas. Seria difícil entender algo sem Big Data Analytics, não?
Variedade: é comum que a aquisição de dados em empresas aconteça de forma múltipla. Pode ser necessário coletar dados de clientes, cruzar com bancos de dados geo-populacionais, dados do governo, entre outros. Claro, tudo isso respeitando a Lei Geral de Proteção de Dados (LGPD). Descobrir e agrupar dados relevantes e manter o pé na realidade é um grande desafio que exige uma cultura de dados desenvolvida;
Velocidade: claro que apenas coletar dados não é suficiente. Precisamos buscar estratégias para transformá-los em conhecimento o mais rápido possível, antes que o concorrente tome a frente. Na corrida por informações, entender dados rapidamente é poder;
Veracidade: aqui na Aquarela costumamos dizer que rodar modelos, mastigar números e chegar em resultados é a parte fácil. Difícil mesmo é ter certeza de que a análise está nos levando a conclusões coerentes, reais e com alto valor. Um modelo de Big Data é tão bons quanto os dados que entregamos a ele. Cabe a nós entender o que faz sentido e garantir que o resultado reflete a realidade;
Valor: É neste V que se encontra o principal resultado da Big Data Analytics: transformar dados em valor. Entender de verdade o que e porquê as coisas estão acontecendo é fundamental para tomarmos decisões mais conscientes e certeiras.
Dados certos + perguntas certas = respostas certas
Big Data Analytics aumenta a inteligência dos negócios. Enquanto análises tradicionais buscam desvendar o que está acontecendo (de forma bastante limitada), o uso de Advanced Analytics é capaz de encontrar os porquês, o que está oculto, ou até mesmo estimativas do que vai acontecer.
Big Data Analytics é uma grande aliada no desenvolvimento de novos produtos, na redução de custos e aumento de eficiência, além da tomada de decisão de forma rápida e assertiva.
Você já imaginou abrir uma planilha de 6 bilhões de cells no Excel? Ou, se a planilha abrir, tentar encontrar padrões de comportamento que façam sentido e ajudem a entender o que está acontecendo? Difícil, não?
Fase 1 – Aquisição dos dados
O primeiro desafio da Big Data Analytics sempre é adquirir os dados, um trabalho que os Engenheiros de Dados dominam. O desafio é, onde estão e como serão coletados.
Fase 2 – Limpeza dos dados
A limpeza dos dados tradicionalmente consome mais de 80% de todos os recursos dos projetos de analytics até se chegar aos datasets de análise (O que são Datasets?) . O desafio é, como garantir que os datasets estejam íntegros e maduros para análise. Somente os dados corretos são capazes de nos dar respostas certas mediante perguntas suficientemente assertivas.
Fase 3 – Mineração de padrões em dados
A mineração de dados, ou Data mining é fundamental (e um grande gargalo) para podermos acessar os dados e deixá-los prontos para serem analisados.
Nesse momento entram análises quantitativas com modelos matemáticos, ou mesmo modelos de Machine Learning. Isso tudo para conseguirmos utilizar dados para resolver os mais variados problemas.
Nesta fase entram os Cientistas de Dados e Engenheiros de Machine Learning, buscando soluções muitas vezes ocultas. É papel dessa equipe criar uma arquitetura que seja escalável, entender os reais problemas do cliente e atender aos 5 Vs.
Maturidade de Big Data Analytics no mercado Brasileiro
É claro que atingir essa maturidade e ter proficiência nos 5 Vs dentro de uma cultura coerente de dados e com processos bem definidos de governança não é tarefa fácil.
Para diagnosticar esse fato, realizamos em 2018 uma pesquisa que gerou um relatório revelando a realidade da maturidade de dados das empresas no Brasil. Em uma escala de 1 a 5, as empresas respondentes informaram o nível de maturidade de suas organizações.
Abaixo estão os resultados indicando que a automação de comportamentos inteligentes (nível 5) ainda é baixo, ao passo que a grande maioria já possui sistemas de BI (business Intelligence) implantados.
Resultado dos níveis de maturidade de dados das empresas Brasileiras (Aquarela 2018)
Big Data para Big Business
A projeção de receita mundial com análise de negócios e Big Data deve atingir 274.3 bilhões de dólares até 2022 (IDC), com empresas como Netflix economizando até 1 bilhão de dólares por ano com o uso de Big Data (TechJury). Para essas empresas, uma cultura de dados madura é essencial para se diferenciar e continuar crescendo. Organizações que utilizam Big Data, seja internamente ou externamente, veem um aumento entre 8 e 10% de lucro (Entrepreneur), com benefícios como (Chicago Analytics Group):
Ciclos de inovação 25% mais rápidos;
Aumento de 17% de eficiência e produtividade;
Pesquisa e Desenvolvimento 13% mais eficiente;
12% mais diferenciação de produtos e serviços. (transformar em gráfico)
Não é à toa que muitas empresas estão em busca de melhorar seu relacionamento com dados, mas infelizmente a cultura de dados ainda não é uma realidade global. Cerca de 87% das empresas ainda possui maturidade baixa quando se trata de inteligência de negócios e Analytics (Gartner). Os custos desta desinformação e da baixa qualidade dos dados chega a 3.1 trilhões de dólares por ano apenas na economia dos EUA (IBM).
O crescimento rápido associado a complexidade do tema, fica evidente que as organizações precisam do apoio de empresas especialistas em analytics para acelerar a transformação digital, principalmente nas questões de implementação rápida de soluções de dados e de inteligência artificial. Vemos que muitas empresas assumem um alto risco tecnológico ao tentar formar equipes para atividades relativamente distantes do seu core business como é o caso de Big Data Analytics.
A cultura de Advanced Analytics na Aquarela
Na Aquarela, nossa cultura de Big Data Advanced Analytics foi desenvolvida e evolui constantemente com foco em todos os Vs de Big Data Analytics, boas práticas de governança e também no aprimoramento do stack tecnológico que compõe a plataforma VORTX.
Buscamos entregar uma experiência de resultados a partir de analytics que é capaz de mudar a cultura dos clientes, da indústria e dos serviços que passam por um intenso e sério processo de transformação digital. Para atingir esse objetivo, confiamos em nossos clientes e buscamos as soluções junto a eles, com todas as partes sendo essenciais para o sucesso dos projetos. Isso tudo vai além das análises pontuais de dados, pois é um intenso processo de evolução colaborativa guiada por dados, conhecedores de processos de negócios e tecnologias de informação e comunicação.
Resultados tangíveis
Como resultados práticos, conseguimos elevar a maturidade de dados de nossos clientes, gerando por exemplo:
É uma grande gama de soluções que geram uma inteligência expandida, a qual não seria possível de ser alcançada sem todos os componentes da cultura de dados, atuando sinergicamente dentro de uma visão clara do que é inteligência artificial.
Conclusões
Big Data Analytics é um algo muito amplo, os 5vs ajudam a simplificar o conceito para os gestores promoverem mudanças práticas na realidade das organizações. Hoje muitas empresas apresentam dificuldades em se reinventarem nesta nova economia digital, seja por limitação técnica no uso intensivo de planilhas ou por limitações metodológicas/culturais relacionadas a dados.
Neste artigo, buscamos mostrar como o mercado vem apresentando sua demanda por analytics, quais os pontos de negócio mais importantes e até um pouco da maturidade de dados no cenário brasileiro. Desta forma, os principais temas que recomendamos aos gestores são:
Governança de dados
Desenvolvimento de cultura de dados
Otimização de cadeias de distribuição, logística e design de processos comerciais
Privacidade de dados – Lei Geral de Proteção de Dados (LGPD)
Nossos squads interdisciplinares trabalham dia-a-dia com tecnologias de ponta para entender os desafios, encontrar oportunidades, e resolver os seus maiores problemas. Se na indústria 4.0 dados são poder, nós buscamos empoderar nossos clientes para transformar dados em informação, informação em conhecimento, e conhecimento em valor estratégico para o seu negócio. É pela transformação digital que a Aquarela aumenta a inteligência do mundo.
Quais desafios de Big Data Analytics você enfrenta hoje? E O que estão fazendo para superar?
Cientista de Dados e Service Designer na Aquarela, especialista em Design Centrado no Usuário e doutorando em Engenharia Mecânica pela UFSC com foco em IA aplicada a criatividade e inovação em organizações. Tem experiência como consultor e palestrante em IA, criatividade, inovação e UX/Design de Serviço.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
A indústria 4.0 é caracterizada pela migração do fluxo de valor em um movimento que sai dos recursos físicos concebidos e produzidos de forma centralizada, para os serviços concebidos e produzidos de forma descentralizada e cada vez mais personalizados pelo forte apoio de Advanced Analytics e IA, a partir de um processo de transformação digital.
Esse processo tem seu início com o boom da internet na primeira década do milênio. A emancipação da Indústria 4.0, que atingiu a sua maioridade em 2018, deixa de existir apenas em artigos científicos e laboratórios e toma força e vigor nos orçamentos das maiores corporações do mundo, conforme estabelecem as pesquisas da OCDE, Gartner Group e PWC.
A indústria 4.0 é materializada a partir dos conceitos da Web 3.0, cujo cerne está na democratização da capacidade de ação e de conhecimento (como já discutido neste post em nosso blog ). Mas antes de chegarmos no 4.0, vamos entender as suas versões anteriores em perspectiva:
Caracterizada pela descoberta dos ganhos econômicos ao produzir algo em série ao invés de produção artesanal (individual), possibilitando a mecanização do trabalho, que anteriormente só era executado por pessoas ou animais, foi o momento em que o homem começou a usar a força das águas, dos ventos e também do fogo, a partir das máquinas a vapor e moinhos.
Essa visão foi estabelecida por Adam Smith em 1776 no livro – A riqueza das Nações – onde ele apresenta as vantagens da segmentação do trabalho em uma fábrica de alfinetes. (saiba mais)
Componentes fundamentais – Carvão e Máquinas a vapor.
Seu grande impulsionador foi a eletricidade que, a partir de geradores, motores e iluminação artificial, permitiu estabelecer as linhas de montagem, e assim se deu a produção em massa de bens de consumo.
Componentes Fundamentais – Eletricidade e Máquinas eletromecânicas
Caracterizada pela automação, tem como impulsionador o uso de robôs e computadores na otimização das linhas de produção.
Componentes Fundamentais: Computadores e Robôs
Indústria 4.0
A Indústria 4.0 é caracterizada pela forte automação das etapas de concepção, manufatura e distribuição de bens e serviços com forte uso de IC – Inteligência Coletiva – e IA – Inteligência Artificial. Na Indústria 4.0, com a evolução da Web, indivíduos são cada vez mais empoderados pelos seus agentes (smartphones). Dar vazão às necessidades desse novo consumidor é um dos grandes desafios da nova indústria.
Para ilustrar esse conceito criamos a seguinte tabela:
Gerações
Concepção (Design)
Manufatura
Distribuição
Serviços
Virtude
Era pré-industrial
Pessoas
Pessoas
Pessoas
Pessoas
Trabalho artesanal
Indústria 1.0
Pessoas
Máquinas
Pessoas
Pessoas
Uso de energia hidráulica, térmica (vapor) e eólica
Indústria 2.0
Pessoas
Máquinas
Pessoas
Pessoas
Uso de eletricidade e estabelecimento das linhas de montagem
Indústria 3.0
Pessoas usando máquinas (computadores) como assistentes
Máquinas
Pessoas e Máquinas
Pessoas
Uso de autômatos (robôs e computadores)
Indústria 4.0
Inteligência Coletiva + Máquinas
Máquinas
Máquinas
Inteligência Coletiva + Máquinas
Uso de inteligência coletiva e computacional na etapa de concepção de produtos e serviços
Quadro 1 – As gerações da indústria – Aquarela Advanced Analytics 2018
Para compreender a Indústria 4.0 é importante esclarecer alguns conceitos que compõem seus alicerces: a IA – Inteligência Artificial e a IC – Inteligência Coletiva.
Inteligência Coletiva
Vamos começar pela IC, que é mais tangível, uma vez que usamos constantemente mecanismos que se valem da inteligência coletiva na produção e curadoria de conteúdos como: wikipedia, Facebook, Waze e Youtube.
Wikipedia: Por exemplo, a maior parte do conteúdo na Wikipedia é produzido por centenas de milhares de editores mundo afora e curado por milhões de usuários que validam e revisam seu conteúdo.
Waze: O aplicativo Waze usa o movimento dos próprios usuários para construir e aperfeiçoar seus mapas, fornecendo em tempo real caminhos alternativos para fugir de congestionamentos e novas rotas de novos trechos criados pelas cidades.
Facebook: O Facebook e Youtube são serviços que hoje detêm uma gama diversa de conteúdo que é gerado e curado espontaneamente pelos seus usuários por meio de likes e compartilhamentos.
O que esses mecanismos têm em comum? Eles se fiam da chamada inteligência das massas, um conceito estabelecido pelo Marquês de Condorcet em 1785, que define um grau de certeza e incerteza sobre uma decisão a partir de um coletivo de indivíduos.
Com centenas ou milhares de indivíduos agindo ao seu modo, ao somar todas essas ações, obtém-se um todo que é maior que a soma das partes. Esse comportamento coletivo é observado nos chamados efeitos de enxame, em que insetos, pássaros, peixes e seres humanos, agindo de forma coletiva, alcançam feitos muito maiores que se agissem de forma individual.
Condorcet mostrou isso de forma matemática, o que inspirou muitos líderes iluministas que usaram suas ideias como base para a formação das democracias nos séculos 18 e 19.
De forma contemporânea, podemos olhar um banco de dados como um grande lago de experiências individuais que formam um coletivo, o Big Data é responsável por coletar e organizar esses dados e o Advanced Analytics por aprimorar, criar e recriar coisas (disrupção) com o uso intensivo de estatística e IA.
Inteligência Artificial
Em um escrutínio criterioso, é possível entender a IA como uma implementação artificial de agentes que usam os mesmos princípios da IC – Inteligência Coletiva. Ou seja, ao invés de formigas ou abelhas, são usados neurônios e/ou insetos artificiais, que de certa forma simulam os mesmos comportamentos do mundo real em um mundo computacional (nuvem) e, dessa forma, obtém a partir da inteligência das massas: decisões, respostas e criações, como esta peça usada para sustentar uma ponte na capital da Holanda, Haia.
Do lado esquerdo a peça original criada por engenheiros, no meio e à direita duas peças criadas a partir de uma abordagem de IA chamada de algoritmos genéticos. A peça da direita é 50% menor e usa 75% menos material e, apesar disso, por conta de seu design, é capaz de sustentar a mesma carga dinâmica da peça da esquerda.
Há centenas de casos de uso de IA, que vão desde a detecção de sorriso em máquinas fotográficas e celulares a carros que se locomovem de forma autônoma em meio a carros com motoristas humanos em grandes cidades.
Cada caso de uso de IA usa um conjunto de técnicas que podem envolver aprendizado (Machine Learning), descobertas de insights e geração de decisões ótimas por meio de predição e prescrição (Advanced Analytics) e ainda computação criativa (Creative Computing).
Exemplos
O uso intensivo de IC e IA podem gerar novos produtos e serviços gerando disrupções que hoje vemos em algumas indústrias promovidas por empresas como Uber, Tesla, Netflix e Embraer.
Uber
No caso do Uber, eles usam fortemente a IC para gerar competição e ao mesmo tempo colaboração entre motoristas e passageiros, o que é complementada por algoritmos de IA na entrega de um serviço de transporte confiável a um custo nunca antes disponível.
Apesar de ser 100% digital, está revolucionando a forma como nos transportamos e muito em breve lançará seus táxis 100% autônomos e, em um futuro próximo, drones que transportam seus passageiros pelos ares. Este é um exemplo claro de transformação digital a partir do redesenho por meio da perspectiva da Indústria 4.0.
Tesla
A Tesla usa IC a partir dos dados capturados dos motoristas de seus carros elétricos e, aplicando Advanced Analytics, optimiza seu próprio processo e ainda os usa para treinar a IA que hoje é capaz de dirigir um carro com segurança em meio ao trânsito de grandes cidades do mundo.
Eles são um exemplo material da Indústria 4.0. Usam IC e IA para desenhar seus produtos inovadores, uma cadeia de fábricas automatizadas para produzí-los e os vendem online. E muito em breve transportarão e entregarão seus produtos até a porta de seus clientes com seus novos caminhões elétricos e autônomos, fechando completamente o ciclo da Indústria 4.0.
Netflix
A Netflix, por sua vez, usa o histórico de acessos aos filmes e notas auferidas pelos seus usuários para gerar um lista de recomendações de preferências que servem de entrada para a criação de originais da própria empresa como os sucessos House of Cards e Stranger Things. Além disso eles usam a IA do algoritmo Bandit (da própria Netflix) para gerar capas de títulos e curadoria de lista, que atraiam os usuários (espectadores) a consumir novos conteúdos.
Embraer
A Embraer, 3ª maior fabricante de aviões do mundo e maior empresa de inovação no país usa IA, IC e Advanced Analytics em sistemas de manutenção de equipamentos.
Com o uso dessas técnicas é possível, a partir das experiências de manutenções e procedimentos de mitigação de riscos aplicados a uma IA, conseguir reduzir os custos de processos de troubleshooting em equipamentos de alto valor, chegando a uma economia de até 18% em uma indústria onde margens aparentemente baixas podem gerar impacto competitivo considerável.
Conclusões e recomendações
O caminho para a indústria 4.0 está sendo pavimentado pelas técnicas de IC, IA, Advanced Analytics, Big Data, Transformação Digital e Service Design e com bons exemplos de líderes globais.
A mudança é muitas vezes um processo que pode gerar ansiedade e desconforto, mas ela é necessária para alcançar as virtudes da Indústria 4.0.
Com relação às nações, a entrada tardia nos movimentos industriais pode gerar grandes dificuldades de competição. Por exemplo, no Brasil, a industrialização só foi possível pela força econômica do café centralizada no vale do Paraíba, e de certa forma foi tardia.
Qual a força e região do país que impulsionará a indústria 4.0? Acreditamos que regiões com alto IDH, alta conectividade e apoio ao trabalho em rede na forma de ecossistemas sairão na frente nessa nova corrida industrial.
Sugerimos começar pequeno e pensando grande, inicie pensando em Dados, eles são os blocos construtivos de toda a Transformação Digital. Comece alimentando uma Cultura de Dados em sua empresa/departamento/setor.
E como começar a pensar em Dados? Comece definindo seus dicionários, eles serão suas cartas náuticas em meio à jornada da Transformação Digital.
Entender o potencial dos dados e os novos negócios que eles podem gerar é instrumental para a transição de: produtor de bens físicos para: fornecedores de serviços que podem ser apoiados por produtos físicos ou não. Vide Uber e AirBnb, ambos não possuem carros ou imóveis, mas são os responsáveis por uma fatia generosa do mercado de transporte e acomodação.
Na Aquarela desenvolvemos um Business Analytics Canvas Model que trata-se de uma ferramenta de Service Design para a elaboração de novos negócios baseados em Dados. Com ele é possível promover o uso intensivo de IC, IA nas etapas de Concepção e Serviços, os elos que caracterizam a mudança da Indústria 3.0 para a 4.0.
Em breve publicaremos mais sobre sobre o Business Analytics Canvas Model e as técnicas de Service Design voltadas para Advanced Analytics e IA.
Fundador da Aquarela, CEO e arquiteto da plataforma VORTX. Mestre em Engenharia e Gestão do Conhecimento, entusiasta de novas tecnologias, tendo expertise em linguagem funcional Scala e em algoritmos de Machine Learning e IA.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Neste artigo apresentamos uma breve visão sobre quatro conceitos fundamentais para a leitura dos próximos conteúdos deste blog. Trataremos aqui da noção de dados, informação, conhecimento e sabedoria, conceitos que estão associados a diferentes potenciais de inovação (capacidade de transformação da realidade). Ilustramos tal relação no gráfico a seguir:
Complexidade x Valor
Entendemos que o potencial de inovação é sustentado por duas forças, a complexidade e o valor, respectivamente dispostas no gráfico acima em suas coordenadas vertical e horizontal. Logo, quanto mais acima e à direita, maior o potencial de impacto inovador.
Além do plano formado pela complexidade e valor, representando as capacidades de transformação da realidade (potenciais de inovação), o gráfico também aponta os elementos relacionados com o universo humano e computacional dentro deste plano.
A seguir são apresentados os significados das cores dos elementos do gráfico.
Vermelho Ser humano com seus sentidos, práticas e vivências.
Laranja – Elementos potencializadores da inovação.
Verde – Fases de desenvolvimento do potencial de inovação até a tomada de decisão.
Azul claro – Ferramentas digitais e computadores que servem de apoio ao trabalho humano, entendidos aqui como próteses cognitivas, as quais nos ajudam a executar tarefas criativas em crescente complexidade.
O que são dados, informação, conhecimento e Sabedoria?
Para definirmos cada um dos elementos potencializadores da inovação (dado, informação, conhecimento e sabedoria), utilizaremos como metáfora o caso da leitura de um termômetro:
A metáfora do termômetro – O que são dados, informação, conhecimento e Sabedoria?
Olhando a figura, o que podemos inferir dela? O que é dado, informação e conhecimento? E quais possíveis conclusões podemos tirar a partir da leitura de um termômetro (intuição e sabedoria)?
No caso da leitura de um termômetro, temos a seguinte descrição quanto aos elementos potencializadores da inovação:
Dados – são os sinais não interpretados, o menor grão e a matéria prima da escala do conhecimento e base para qualquer atividade com potencial de inovação. Eles surgem a partir daquilo que vivenciamos (eventos da vida) e capturamos por meio dos nossos sentidos e pelos dispositivos eletrônicos. No exemplo, o número 36,2 é apenas um número. Dados poderiam também ser caracteres como “@”, “T”, “——-” e assim por diante.
Informação – é a listagem dos dados de maneira organizada dentro de uma escala, mostrando uma série de eventos (dados) agrupados. No termômetro a letra ”C” (Celsius) representa a escala, a qual poderia ser também representada por graus Fahrenheit, porém seriam valores diferentes. Nós, humanos, memorizamos de alguma forma os dados obtidos pelos sentidos (organizamos e classificamos em escala), ao passo que os sistemas computacionais, a memorização se dá por meio de dados em listas, planilhas, documentos e banco de dados, entre outros.
Conhecimento – é um tipo de informação contextualizada capaz de mudar algo ou alguém, sendo justificável de alguma maneira. Saber que a temperatura de 38 graus (dado) na escala Celsius (informação) indica que a pessoa está com febre (a temperatura média de uma pessoal saudável é de 36,4 graus) e assim, alguma ação deve ser tomada. Nós seres humanos podemos refletir sobre um problema e tomar uma decisão, já os sistemas computacionais, utilizam algoritmos para isso, ambos com base em dados e em informações. Um algoritmo, por exemplo, pode descobrir padrões de consumo de produtos em um supermercado ou ser usado para melhorar o trânsito de uma cidade.
Sabedoria – no topo da escala, a sabedoria se torna subjetiva e aparentemente irracional (ilógica) por ser um conjunto complexo de raciocínios que navegam rapidamente pelas três fases anteriores. Qual tratamento deve ser aplicado ao paciente com febre? Pessoas com grande vivência podem dar conselhos sábios. Nos sistemas computacionais utilizamos instrumentos capazes de conectar dados de diversas áreas para trazer respostas cada vez mais inteligentes (Web 3.0, também conhecida como Web Semântica).
Conclusões
Apresentamos uma visão resumida da Aquarela sobre dados, informação, conhecimento e sabedoria. Muito embora não haja um entendimento definitivo sobre o tema, sua apresentação e definição tornam-se necessárias. Em particular, os conhecimentos apresentados aqui são instrumentais para explicar como o caminho da Web 3.0 (a Web Semântica) e a Indústria 4.0 estão sendo pavimentadas pelo Data Analytics e pelos Linked e Open Data.
SANTOS, Marcos. Um modelo para a gestão colegiada orientada ao significado por meio da realização de PCDAs. Dissertação (Mestrado em Engenharia e Gestão do Conhecimento). Programa de Engenharia e Gestão do Conhecimento, Universidade Federal de Santa Catarina (UFSC), Florianópolis, 2003.
GETTIER, E. L. Is justified true belief knowledge? Analysis, [S.l.], v. 23, n. 6, p. 121–123, 1963.
DRUCKER, P. F. The new realities. New Brunswick, NJ: Transaction Publishers, 2003.
Fundador da Aquarela, CEO e arquiteto da plataforma VORTX. Mestre em Engenharia e Gestão do Conhecimento, entusiasta de novas tecnologias, tendo expertise em linguagem funcional Scala e em algoritmos de Machine Learning e IA.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
