Como a indústria chegou até as simulações industriais com IA?

Como a indústria chegou até as simulações industriais com IA?

A Inteligência Artificial, criada na década de 60, vem evoluindo ao longo dos anos, mas somente agora se tornou uma tendência tecnológica. Os programas de Inteligência Artificial (IA) e aprendizado de máquina estão sendo utilizados em diversas áreas e fazem parte do nosso dia-a-dia, desde uma simples rede social ao nosso crédito bancário. Além disso, são empregados em soluções para a indústria. 

Atualmente, existem algoritmos e sistemas capazes de descobrir novas fórmulas químicas e novos materiais pela análise das características físico/químicas e biológicas. Eles também são utilizados, por exemplo, em modelos financeiros de precificação dinamizados e na virtualização de sensores que identificam o ponto ótimo de ignição do motor e até mesmo atuam no controle autônomo de veículos e robôs diversos.

Este artigo descreve a evolução dos métodos de simulação utilizados para criação de ativos para a indústria, desde a sua origem até os gêmeos digitais (Digital Twins), com apoio de Inteligência Artificial, visando à indústria 4.0.

A construção das máquinas artesanais

Desde as primeiras versões das máquinas de tecelagem, a humanidade procurou construir equipamentos que acelerassem o processo de produção da manufatura. Neste caminho, os artífices criaram seus aparatos desconstruindo o processo 100% manual em componentes ou operações unitárias, a fim de sistematizar o processo e obter um melhor resultado final na produção de um determinado item.

Segundo o escocês Adam Smith, o ganho imediato deste, então novo modelo, permitiu dividir tarefas e alocar trabalhos e pessoas em um processo de produção ampliado. Assim, a separação do trabalho, tanto entre homens como entre máquinas, gerou um aumento significativo da produtividade e a redução nos custos de produção.  

Como efeito colateral, por outro lado, este novo modelo diminuiu a capacidade de customização dos produtos dado a pouca liberdade no processo produtivo.

Do ponto de vista dos consumidores da época, menos exigentes, a decisão era relativamente simples:  

  • Ter um produto genérico a um custo acessível (manufaturado) ou 
  • algo personalizado a um custo e tempo muito alto (artesanal). 

A ciência, o raciocínio lógico e a curiosidade foram a base da mecanização e formação da primeira indústria. Nesse ambiente, sempre existiram cientistas/engenheiros (formados ou não) que estudavam e experimentavam a natureza dos insumos do processo, as combinações das peças, seja do produto final ou da construção das máquinas. Seus ensaios sempre foram bastante artesanais, guiados pela intuição e experiência de vida em um eterno ciclo de tentativa e erro.

As principais características desse período são:  

  • Separação do trabalho artesanal individual para processos em grupo.  
  • Produtos com custo de produção mais baixos em vista a quantidade produzida. 
  • Produtos com baixa personalização. 
  • Forte dependência de conhecimento tácito dos cientistas criadores das máquinas.
  • Matérias-primas pouco otimizadas para o processo produtivo.
  • Modelo de simulação e testes da produção 100% empíricos, alguns desenhados em papel. 

As novas dimensões a partir de simuladores

O início da computação surgiu da necessidade de decifrar mensagens cifradas do inimigo. Era uma máquina de calcular que logo foi aperfeiçoada para simular/calcular a rota de um míssil. Com o tempo, os computadores foram se modernizando e então seu acesso foi popularizado.

As simulações também avançaram para auxiliar nos afazeres do nosso dia-a-dia: desde uma simples planilha de cálculo do orçamento de casa, por exemplo, até grandes simulações computacionais para encontrar novos tipos de elementos em átomos e novas estrelas no espaço. 

Em simples termos, podemos dizer que as simulações geradas a partir da digitalização ou virtualização de experimentos nos permitem trabalhar as perguntas do tipo “SE” 

  • Se eu pagar mais agora, como ficará a conta daqui a 3 anos? 
  • Se a largura for um pouco menor, terá espaço para o outro móvel? 
  • Se aumentar a temperatura em X, o que acontecerá com Y e Z? 
  • Se aumentar o preço do produto X, qual a probabilidade de ganho de market share? 

Podemos citar muitos exemplos de simulações computacionais determinísticos e/ou estocásticos que podemos chamar também de virtualizações e seus impactos, mas vamos nos ater a alguns básicos. 

Simulação Financeira

Atualmente, uma simples planilha nos permite simular um investimento e imaginar como será o futuro financeiro (valor das parcelas) a partir de algumas definições do cenário atual. Na imagem abaixo, está um exemplo de simulação de financiamento.

Fonte: Guia do excel

Muitos outros tipos de simulações básicas podem ser feitas em planilha. Muitas empresas globais de investimento ainda utilizam programação em Excel (VBA) para simulações mais avançadas e até investimentos na bolsa de valores. Anteriormente, escrevemos um artigo falando sobre O futuro das análises financeiras com a IA com alguns exemplos de simulações.

Simulações Estatísticas (Monte Carlo)

Em termos simples, uma simulação de Monte Carlo é um método estatístico para grandes amostras de dados aleatórios, atualmente utilizada em análise de risco e também para descobrir novas fases cristalinas em materiais. 

As empresas investem em simulações de Monte Carlo antes de implementarem um grande projeto ou mudança em um processo, como uma linha de montagem de manufatura, por exemplo. 

Construída em modelos matemáticos, as análises de Monte Carlo usam os dados empíricos das entradas e saídas do sistema real (por exemplo, entrada de suprimento e rendimento de produção). Em seguida, identificam incertezas e riscos potenciais por meio de distribuições de probabilidade.

Possíveis simulações este método são: 

A vantagem de uma simulação baseada em Monte Carlo é que ela fornece resultados não apenas do que pode acontecer em certas condições, como também mostra as probabilidades de que elas venham a acontecer, além de mostrar quais os fatores com maior impacto no resultado da análise. 

Uma demonstração bastante didática do funcionamento da simulação de Monte Carlo pode ser vista aqui

É possível implementar simulações de Monte Carlo para praticamente qualquer setor ou campo, incluindo petróleo e gás, manufatura, engenharia, gerenciamento da cadeia de suprimentos e muitos outros. 

Como principal desvantagem das simulações de Monte Carlo está a alta complexidade de desenho dos experimentos para cada cenário de negócio, o que demanda uma estruturação antecipada da análise. Então, para isso, recomendamos a utilização do Business Canvas Analytics, disponível gratuitamente. 

Simulações Tridimensionais

A partir da digitalização, hoje já é possível fazer desenhos que replicam a realidade e permitem desenhos 100% virtuais. Nesta área de modelagem 3D, podem ser criados ambientes, móveis, modelos de peças, máquinas completas e assim por diante. 

As simulações em 3D permitem planejar um ambiente e até visitá-lo virtualmente antes de investir nos móveis ou mudanças estruturais de um imóvel, por exemplo. 

Na figura abaixo, utilizamos o simulador Sweethome3d para virtualizar um ambiente que supostamente precisaria de mais claridade e espaço interno. Ajustamos algumas configurações e, em poucos minutos de processamento, temos um novo cenário que então poderá ser avaliado e validado pelo cliente. 

Simulação | Fonte: autores

As simulações digitais promovem um grande salto no nível de customização de projetos, redução de custos e tempo, mas vamos a algumas de suas limitações que demandam:

  • Grande poder computacional. 
  • Grande conhecimento técnico das ferramentas e noções de física.
  • Análises combinatórias para cada cenário baseadas na experiência do designer projetista e limitada apenas até 3 ou 4 dimensões.

Simulações Multi Físicas

As simulações computacionais vão além de ambientes com móveis, pintura, tipo de piso, etc. Por exemplo, hoje existem diversos fornecedores de softwares que permitem simular o fluxo de material polimérico em um processo de injeção, estimar o calor emanado no processo de queima de combustível em um foguete e até mesmo simplificar o formato de uma peça (otimização topológica) de forma integrada a sistemas do tipo:

Discretização de elementos finitos, tensões e deformações de um aro de roda em uma análise estrutural

Design do carro, em movimento, em relação aos gases externos.

É possível, até mesmo, estimar via simulações os efeitos dinâmicos que as peças sofrem durante o processo de fabricação. Assim, nesse tipo de simulação, é possível combinar mais de um fenômeno físico e estudar como acontece a união e a interação dessas condições. 

Por exemplo, é possível estudar o aumento de calor em um transformador submetido a um campo elétrico e como o campo magnético atua nessa combinação. Apesar de ser uma grande ferramenta que permite ganhar tempo e reduzir custos, existem diversas limitações, citaremos algumas abaixo:

  • A digitalização é uma simplificação do mundo real.
  • Os sistemas não estão preparados para simular novos materiais (usam tabela conhecida de materiais).
  • Não é possível / impraticável computacionalmente simular interação entre as moléculas do material nesse modelo.
  • Simulações de grande peças ou máquinas tomam muito tempo computacional.
  • Requer grande capacidade/infraestrutura computacional.
  • Resultados são aproximações da realidade. 
  • Complexidade matemática para resolver a solução multifísica.

Acoplamento de Simulações – Digital Twin

A combinação de simulações tridimensionais com multi-físicas permite um elevado grau de complexidade e oportuniza resultados mais precisos. Isso possibilita, a partir do desenho da peça ou do equipamento em 3D, simular fenômenos complexos em processo estacionário ou dinâmico, contribuindo, assim, para a criação de um digital twin, ou seja, um gêmeo digital da peça ou do equipamento original. 

“Os digitais twin permitem uma redução importante nos custos de desenvolvimento, nos testes e na produção final”. 

Por meio deles, é possível testar grande parte das variáveis de um processo sem gastar com matéria-prima e com grande redução de mão-de-obra direta. Essa técnica já é aplicada em diversos setores, por exemplo: na construção de motores a combustão, equipamentos subsea de O&G e até mesmo em cidades inteiras, simulando saneamento básico, rede elétrica, tráfego de carros, fluxo de pacientes em um hospital, etc.

Simulações na Indústria – Conclusões e recomendações

Como vimos, as simulações evoluíram com a indústria, apresentando diversas oportunidades e limitações.

Os projetos de digitalização, como o de simuladores, são uma grande área a ser explorada, sobretudo onde há uma grande complexidade de dados e requisitos de homologação dos clientes que, por sua vez, demandam produtos cada vez mais especializados e otimizados.

Os impactos da evolução (sofisticação) das simulações no processo de desenvolvimento inteligente de produtos trazem novas dimensões para a indústria, por exemplo: redução de tempo e de custo; e aumento da qualidade do resultado final de cada item manufaturado, seja ele um novo material baseado em novas regras físico/químicas.

A inteligência artificial, por sua vez, é uma grande tendência no mercado, pois permite encontrar padrões em grande volume de dados de ensaios técnicos e simulações virtualizadas. 

As novas gerações de softwares de simulação terão que incorporar cada vez mais IA (Como escolher o melhor fornecedor de IA?) a fim de poder aprender a ler as entrelinhas das decisões de design, levando à descoberta de conexões complexas (combinações) em sistemas que ainda não são evidentes ao olho humano ou mesmo possíveis de encontrar a partir de simuladores estáticos.  

Quem é a Aquarela Analytics?

A Aquarela Analytics é pioneira e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial), Grupo Randon (automotivo), Solar Br Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Votorantim (energia), dentre outros.

Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal! 

Autores

   

Preocupações da TI no processo de precificação dinâmica

Preocupações da TI no processo de precificação dinâmica

Uma das grandes tendências da TI para os próximos anos, em linha com a transformação digital, é a alavancagem ou otimização financeira gerada por processos inteligentes de precificação (Precificação dinâmica: o que é e quais são seus benefícios?) que podem atuar tanto no aumento das margens da receita como no custo. 

Entre esse cenário e a realidade atual dos negócios e dos sistemas de informação está o papel do diretor de tecnologia da informação. Assim, pensando em auxiliar o gestor de TI, elencamos os principais aspectos a serem considerados ao executar projetos de precificação dinâmica. Confira.

01 – Integração dos sistemas

Raramente haverá um projeto de precificação dinâmica sendo criado do zero. Isso quer dizer que teremos sistemas legados para integrar e modificar. 

De um modo bem simples, a precificação é a resultante de diversas camadas de informação conectadas até atribuir um preço ótimo. Algumas camadas podem estar no sistema A, outras no sistema B e assim por diante. Portanto, é importante uma integração conceitual de como se dará a orquestração das camadas. 

Já do ponto de vista de operacionalização das conexões e integrações, a recomendação é que se busque coerência na decisão sobre os protocolos de comunicação do seu stack tecnológico. A adoção de uma arquitetura de microsserviços permite não só fatiar o problema em camadas administráveis como também terceirizar parte do trabalho com entidades especializadas em alguma das camadas de precificação. 

Leia também: Como escolher o melhor fornecedor de Data Analytics.

02 – Segurança dos sistemas

Uma preocupação frequente da TI no processo de precificação dinâmica é a segurança dos sistemas.

A precificação atua no coração do negócio, levantando toda a estrutura de custos até informações de mercado, as quais passam a ter um valor imenso, em alguns casos maior até do que o ganho com a melhoria das margens das negociações. 

O valor do banco de dados impacta diretamente na necessidade de mecanismos robustos de segurança. Portanto, fique atento à padronização dos protocolos, adote ferramentas com alto nível de segurança (hoje se torna mais simples este tipo de contratação pela evolução dos provedores de nuvem) e, claro, use certificados digitais e criptografia de ponta a ponta no processo. 

03 – Estabilidade dos sistemas

Durante a construção do sistema, faça um levantamento das regras mínimas de preço que o sistema deve respeitar. Essas regras estão geralmente bem claras na visão dos gestores do negócio, por isso precisam ser bem explicitadas para os times técnicos. 

Antes da virada da chave, tenha certeza de que os logs do sistema estão bem capturados e que as respostas da precificação possam ser desacopladas da inteligência artificial e do módulo de precificação sem parar o sistema de vendas. Além disso, execute testes de carga simulados para ver se o novo sistema realmente dará conta da demanda quando estiver em produção. 

A estabilidade do sistema impacta na qualidade da precificação. Por isso, recomenda-se que o sistema de precificação dinâmica seja o mais estável possível. Assim, evita-se o efeito de sistemas vagalumes, ou seja, os que ligam e desligam aleatoriamente. Se isso acontecer, haverá um impacto significativo nas estatísticas do processo pela quebra da série histórica dos dados ou geração de vieses indesejados nos dados. Dados com viés geram erros no treinamento de máquina e perpetuam ações não desejadas, ou seja, geram preços não otimizados.

Conclusões – Preocupações da TI em projetos de precificação dinâmica

O gestor de TI

O desafio tecnológico que separa um modelo de precificação estático de um modelo mais dinâmico e inteligente repousa sobre os ombros dos gestores de tecnologia da informação. Portanto, suas percepções técnicas, arquiteturais, além do apoio do time de gestão, farão a diferença na orquestração dos projetos no que tange à estabilidade, segurança e qualidade das recomendações de base estatística.

É importante se ater ao fato de que os projetos de precificação sempre envolvem sistemas legados e integração de sistemas. Isso acarreta na exponencialização da complexidade dos esforços, no tempo de projeto e no número de profissionais envolvidos. No final do dia, a conta de uma estratégia de precificação mais dinâmica precisa superar o custo de implantação da inovação.

Gostou do nosso artigo sobre as principais preocupações da TI no processo de precificação dinâmica? Então, deixe o seu comentário. 

Quem é a Aquarela Analytics?

A Aquarela Analytics é pioneira e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial), Grupo Randon (automotivo), Solar Br Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Votorantim (energia), dentre outros.

Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal! 

Autor

A utilização da Inteligência Artificial na Indústria

A utilização da Inteligência Artificial na Indústria

É recente o uso de Inteligência Artificial na indústria brasileira, configurando casos isolados considerados outliers. Nesses casos, a utilização de IA já vem gerando resultados otimizados, como a maximização da eficiência nos processos e a redução de custos, além de contribuir para o aperfeiçoamento da vantagem competitiva. 

O que faz algumas empresas se destacarem em relação à normalidade (curva normal) do nível de maturidade das empresas brasileiras é sem dúvida a coerência de seus programas estratégicos de governança de dados e conexão de processos de negócio industriais com as novas e diversas técnicas de inteligência artificial

Neste artigo, vamos compartilhar alguns exemplos do uso da Inteligência Artificial na indústria. 

Gestão e manutenção de ativos

De um modo geral, as indústrias detém grande quantidade de ativos físicos de alto valor agregado. Esses ativos, que demandam um controle apurado de suas condições de uso (monitoramento), podem se beneficiar de estratégias de IA para que suas manutenções sejam mais bem planejadas.

“Todos os ativos precisam de manutenção. A grande questão da otimização é reconhecer o melhor momento para ela”.

Joni Hoppen

A inteligência analítica preditiva e prescritiva, mais dispositivos de IOT, estão atuando para descobrir o melhor plano de ação das manutenções, que, dependendo do cenário (operação, ativos e usuários), podem representar milhões de reais em economia direta. 

Quer saber mais sobre o tema? Acesse o artigo: Manutenção planejada na indústria.

Gestão de preços mais dinâmicos

Com a movimentação dos estoques e das linhas de produção cada vez mais mapeadas digitalmente, torna-se mais tangível materializar estratégias de precificação dinâmica e inteligente dos produtos e até de serviços. Além disso, como efeito direto dessa digitalização, é possível criar e aproximar processos de previsão de demanda baseados em Inteligência Artificial com a operação com ganhos consideráveis de economia pela estratégia de demanda ajustada. 

Recursos humanos otimizados

Assim como as máquinas, as pessoas desempenham um papel fundamental na produção industrial, seja na confecção do produto final ou na construção dos equipamentos. 

Por esse motivo, há a tendência crescente de soluções de IA voltada para a evolução das pessoas. Estes sistemas, chamados de People Analytics ou People 4.0, são soluções customizadas para acompanhar a evolução dos profissionais. Cabe à Inteligência Artificial identificar padrões de comportamento e perfis a fim de recomendar cursos e atividades que auxiliem nas progressões de carreira. 

Em breve, compartilharemos um de nossos cases sobre o assunto.

Desenvolvimento de novos produtos 

Sem dúvidas, a maior parte de todos os produtos industriais que conhecemos e usufruímos hoje são resultado direto das milhares de interações entre profissionais, universidades, empresas, professores e alunos. Mas o que muda no novo paradigma industrial baseado em IA?

Que os novos produtos podem ser concebidos com todos os insumos citados acima e ainda milhões de opções criadas por simuladores 100% digitais. Como resultado, a Inteligência Artificial começa a permitir que a concepção de novas peças seja mais aderente e rápida ao atendimento dos requisitos do mercado. Assim, ela pode, inclusive, gerar peças de melhor qualidade com melhor custo de produção. 

Atualmente, trabalhamos com esta frente que consideramos uma das mais estratégicas da indústria avançada. 

Considerações finais – Inteligência Artificial na Indústria

Neste artigo buscamos apresentar quatro áreas/abordagens do uso estratégico de Analytics com foco na indústria. 

A indústria, em especial, a brasileira, passa por um profundo momento de transformação digital. Ela precisa de aprimoramentos em seu stack tecnológico analítico para então colher os frutos gerados pela inteligência artificial. 

A lista de oportunidades em IA não é exaustiva, mas aponta para alguns caminhos que certamente mudam a forma de se trabalhar na indústria, apresentando resultados cada vez mais expressivos. 

Sobre o futuro, a Inteligência Artificial na indústria ainda reserva algumas novidades. Entretanto, temos a certeza de que os produtos industriais serão mais otimizados e integrados em uma cadeia de valor cada vez mais digital e global. 

Quem é a Aquarela Analytics?

A Aquarela Analytics é pioneira e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial), Grupo Randon (automotivo), Solar Br Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Votorantim (energia), dentre outros.

Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal! 

Autor

6 recomendações de gestão para projetos de Data Lake

6 recomendações de gestão para projetos de Data Lake

Há diversas razões para a criação de projetos de Data Lake, Big Data e Data Analytics na indústria. Pois, a partir desses projetos, torna-se possível concretizar a ideia de tomadas de decisão baseadas em dados (Data-driven) e a automação de decisões inteligentes por algoritmos de Inteligência Artificial

Nesse caminho, vale lembrar que a construção de grandes bancos de dados já é, por si, um grande desafio técnico. Além disso, há a necessidade do alinhamento entre pessoas, processos e o negócio para que o tão esperado Data Lake não se torne um Data Swamp (pântano de dados). 

Neste artigo, apresentamos alguns pontos de atenção aos gerentes, diretores de tecnologia da informação e CIOs neste processo de alto risco e que geralmente está atrelado a altas cifras.

O que é um Data Lake? 

Antes de mais nada, existem diversas definições de Data. Para embasar nossa discussão, escolhemos a definição da Amazon que diz (tradução livre):

“Data Lake (Lago de dados) é um repositório centralizado que permite armazenar dados estruturados e não estruturados em qualquer escala. Em um data lake é possível armazenar dados como eles são/estão, sem ter que primeiro estruturá-los, sendo também possível executar diferentes tipos de análise sobre os dados”.  

Pontos de Atenção em Projetos de Data Lake

A ideia de um data lake é de fato muito interessante e acaba evidenciando sua importância estratégica no médio e longo prazo. No entanto, aqui vão algumas dicas gerenciais (não tecnológicas) relacionadas aos processos de construção e estruturação de Data Lake.  

01 – Estruturar os dados: significado e metadados

Após a realização de diversos tipos de projetos relacionados a Data Lakes, chegamos a algumas conclusões interessantes que detalhamos abaixo:

  • O principal fator relacionado ao sucesso ou fracasso das iniciativas de lago de dados era a concepção incompleta e até ambígua das análises. Isso nos levou à criação, registro e publicação do Analytics Business Canvas, que tem o objetivo de extrair o real significado de cada esforço analítico.
  • Embora o conceito “Lago de Dados” informe que os dados podem ser guardados como são/estão, começar projetos guardando os dados sem uma estratégia clara de negócios não é uma boa intuição. Além disso, ter membros sêniores na equipe ajuda a mitigar muito esse tipo de risco. 
  • O grande sucesso dos projetos de analytics geralmente está na estratégia do uso dos dados frente às oportunidades de negócio e não necessariamente na tecnologia envolvida. O foco deve ser nas motivações e “PORQUÊS” e depois nos “COMOS”. Inclusive, com boas motivações até “COMOS” se tornam mais fáceis de responder.
  • Além das questões dos significados dos processos de negócio, é importante (muito importante) o uso sistemático de metadados (informações sobre os dados). 

Uma dica importante para quem está começando a organizar a área de análise e data lakes é começar estruturando os dicionários dados (um modelo básico pode ser baixado aqui). 

  • É fundamental entender a diferença entre a natureza dos dados transacionais e dados analíticos e os seus papéis/expectativas no projeto. Neste artigo – Como estruturar projetos de analytics de alto nível –  apresentamos essa diferença e o porquê isso é fundamental para o processo. 

02 – Escolher o stack tecnológico adequado

Embora a tecnologia seja o segundo passo para a estruturação dos lagos de dados, ela é uma das decisões mais importantes a serem tomadas no projeto. A palavra-chave desse processo é a “Arquitetura de sistemas”. 

A escolha do stack tecnológico para a criação do data lake (O que é um stack tecnológico de analytics?) deve estar alinhado tanto ao problema de negócio quanto ao conhecimento técnico do time de operação.

Neste ponto, para desenhar a arquitetura da(s) solução(ões) recomendamos profissionais com experiência em engenharia de software, bancos de dados, administração e criação de processos de ETL, escalabilidade de infraestruturas de armazenamento. 

Para que o stack tecnológico analítico não entre em desuso é altamente recomendado garantir um alto nível de interoperabilidade entre os sistemas. 

03 e 04 – Cuidar com a sub/super estimação do volume de dados

Assim como no planejamento e construção de uma casa, nos projetos, os lagos de dados necessitam de informações mínimas à correta estruturação. Entretanto, muitas vezes, essas informações mínimas não são claras nem para o time de negócios, nem para os arquitetos de sistemas. 

Super-estimação

Já vimos casos em que se imaginava um conjunto imenso de dados (muito acima da realidade) para se investigar padrões dos comportamentos de uma indústria em específico. 

Com o tempo foi verificado que pequenos ajustes na estratégia dos indicadores de desempenho (dicas sobre estruturação de KPIs) com o uso de técnicas de amostragem (O que é amostragem?) já solucionaram com elegância e precisão mais de 80% dos problemas analíticos. 

A dica é questionar diferentes atores envolvidos no projeto, buscando entender a natureza do problema, das perguntas e então olhar para os dados internos e externos. 

Sub-estimação de dados

Do mesmo modo que é possível superestimar a necessidade de dados, é também possível subestimá-los. 

Existem inovações vindas de outras áreas, com especial ênfase aos projetos de IOT (Internet das Coisas) que, na sua natureza, baseia-se a obter o máximo de dados possível dos sensores. Isso implica de fato em estratégias de armazenamento, compactação, tipos de análise, segurança e ainda velocidade de transmissão. 

Neste mesmo assunto, comentamos anteriormente sobre as diferenças conceituais entre amostragem e recorte de dados.

Outra forma de subestimação de dados é a exploração combinatória dos registros que em alguns casos se tornam computacionalmente inviáveis ao processamento e/ou armazenamento. Assim, são imperativas técnicas apropriadas para cada caso. 

05 – Analisar a necessidade do uso de índices

A criação de índices nos bancos de dados deve estar bem estruturados e não criados descontroladamente. 

“Uso inapropriado e/ou excessivo de índices”

O uso de índices em bancos de dados é uma boa prática que visa aumentar a eficiência de consultas muito frequentes. Isso possibilita ao sistema gerenciador de bancos de dados (SGBD) fazer busca de menor complexidade, evitando as custosas buscas sequenciais. No entanto, índices ocupam espaço, podendo um índice muito facilmente chegar a corresponder a 25% do tamanho de uma tabela.

Em data lakes, o acesso não é repetitivo, não são necessárias consultas de alto desempenho. Portanto, utilizar índices além de chaves primárias para estabelecer as relações entre entidades pode vir a criar volumes desnecessários para atingir uma eficiência não-desejada.

“Lembre-se que nos livros os índices são menores do que o próprio conteúdo”.

06 – Manter a segurança da informação

É evidente que onde há informação valiosa há também riscos de segurança. 

A segurança requer um nível de maturidade das estruturas de permissões que, por um lado permitam, acesso rápido e fácil aos analistas e máquinas de analytics sem comprometer regras de acesso que rompam com o sigilo de determinadas informações. 

As soluções mais avançadas de governança de dados que conhecemos usam com maestria a teoria da identidade em seus sistemas, não permitindo assim que haja usuários utilizando acessos de terceiros. 

Toda a engenharia de software do projeto deve estar em constante comunicação com os times da gestão e do negócio para garantir o nível correto de permissão de cada usuário a cada dataset (O que são datasets?)

Atualmente, com a entrada em vigor da Lei Geral de Proteção Dados (LGPD), o fator segurança se torna ainda mais crítico, caso em que os dados armazenados são dados pessoais.  

Data Lake – Conclusões e recomendações

Projetos relacionados à estruturação de data lake, big data, analytics de grande escala são complexos por natureza e com grandes riscos de se tornarem pântanos de dados (Data Swamps) inacessíveis e com alta complexidade. 

Os pontos apresentados aqui não são exaustivos, mas pontos de vista que minimamente devem ser levados em consideração para mitigação do risco do projeto de montagem de lagos de dados.

Não existem soluções mágicas ou prontas devido ao alto grau de customização dos dados para cada negócio, setor e estratégia empresarial.

A contratação (terceirização) de empresas especializadas no processo é um caminho que pode ser mais seguro e eficiente. Contudo, a terceirização de analytics merece alguns cuidados. Pensando nisso, separamos estes dois artigos:  

Como escolher o melhor fornecedor de Data Analytics?

Quanto investir em Analytics e Inteligência Artificial? 

Finalizando, a transformação digital está se tornando real em várias empresas e indústrias. Os data lakes serão, cada dia mais, um ponto central na estratégia empresarial digital. O tema é relevante e deve ser abordado de forma irrestrita entre os vários departamentos. 

Quem é a Aquarela Analytics?

A Aquarela Analytics é pioneira e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial), Grupo Randon (automotivo), Solar Br Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Votorantim (energia), dentre outros.

Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal! 

Autores

Dicionário de Dados Tradicional vs Analítico

Dicionário de Dados Tradicional vs Analítico

Anteriormente explicamos com detalhes o que é um dicionário de dados de Data Analytics, apresentamos seu conceito e diferenças quando comparados com dicionário de dados tradicionais.

Uma das principais diferenças entre dicionários tradicionais e de Data Analytics é que os dicionários analíticos integram conhecimentos negócio em diferentes níveis de granularidade, removendo ambiguidades sem priorizar requisitos de sistemas. Isso não deve reduzir a importância dos dois tipos de dicionários em seus contextos. (Joni Hoppen)

Embora a finalidade de ambos os dicionários seja a mesma, ambos buscam unificar e padronizar informações sobre os dados guardados em sistemas de informação.

Portanto, neste artigo vamos apresentar um comparativo entre os dois tipos de dicionário de dados e o seu papel nas atividades das empresas.

Dicionários Tradicionais

Os modelos tradicionais, são mais complexos e detalhados e fazem parte de de processos maduros e boas práticas de engenharia de software, informando até o tamanho do texto permitido em cada coluna. Por exemplo, a coluna nome do paciente tem um limite de 50 caracteres.

Estas informações são relevantes para garantir o planejamentos da infraestrutura ou stack tecnológico, tais como escolha de uma linguagem de programação, o tipo de integração de sistemas e diversas atividades que garantem a operação diária da empresa.

Contudo, quando se planeja utilizar a Inteligência Artificial e algoritmos de mineração de dados, estas informações podem ser irrelevantes e adicionam grande complexidade ao processo de análise.

Dicionários de Data Analytics (dados analíticos)

Para que um modelo tradicional de dicionário (mais completo) seja adequado aos processos de Data Analytics na criação de datasets (o que é um dataset?), ele precisa ser ajustados aos perfis profissionais que irão consumir a informação.

Os clientes dos dicionários analíticos são, sobretudo, cientistas de dados e analistas de negócios que possuem um grande interesse na assertividade das predições/prescrições dos modelos estatísticos e integração com o modelo de negócio.

Em data analytics, os dicionários estão mais focados nos significado das linhas (registros) dos datasets e das colunas das tabelas (variáveis, fatores, características) para que pessoas envolvidas pensem sobre o problema de negócio (o que se quer analisar) na forma mais prática e simplificada possível.

Tabela comparativa

Na tabela a seguir, apresentamos algumas sugestões de atividades e os clientes dos dicionários tradicionais da engenharia de software e dos dicionários analíticos.

AtividadeTradicional
(Tecnologia da Informação)
Dicionário de Analytics
(Escritório de Ciência de dados)
Ambos
Integração de sistemasX  
Modelagem de bancos de dados;X  
Migração de sistemasX  
Higienização de dados  X
Criação de modelos, exploratórios,  preditivos e prescritivos. X 
Geração de relatórios analíticos  X
Dados transacionaisX  
Dados analíticos X 
Tabela comparativa de atividades e dicionários de dados

Modelo de dicionário de dados grátis

Neste artigo (o que são dicionários de dados analíticos?) é possível baixar um modelo de dicionário que vai direto ao ponto.

Quem é a Aquarela Analytics?

A Aquarela Analytics é pioneira e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial), Grupo Randon (automotivo), Solar Br Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Votorantim (energia), dentre outros.

Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal! 

Autor