Migração de Ambiente Data Lake Hadoop Cloudera para Hadoop Open Source: Desafios e Benefícios

Migração de Ambiente Data Lake Hadoop Cloudera para Hadoop Open Source: Desafios e Benefícios

Um fato importante que aconteceu nos últimos anos foi a fusão das empresas Hortonworks e Cloudera (cloudera.com), que juntas somam um capital de mais de 5.2 bilhões de dólares. Esse movimento gerou impactos diretos no mercado de dados, sendo o principal deles um aumento expressivo do custo do licenciamento dos clusters HDFS

Dessa forma, as organizações que utilizam clusters Hadoop da distribuição Cloudera / Hortonworks em sua infraestrutura, se veem obrigadas a decidir entre uma das seguintes  estratégias de continuidade de seus negócios: 

  1. Opção de Licença e Suporte:
    • Compliance Licenciado: Investir no novo licenciamento para atualizações e suporte especializado  (lista de funcionalidades da plataforma)
    • Manutenção Limitada sem Compliance: Arriscar-se com sistemas desatualizados sem cumprir os requisitos de compliance (não recomendado).
  2. Transição para Open Source:
    • Migração para Ecossistema Open Source: Realizar a migração para uma abordagem totalmente open source baseada no ecossistema Apache Hadoop e outras soluções de código aberto.
  3. Estratégia de Nuvem:
    • Transição para Arquitetura em Nuvem: Transferir recursos para provedores de nuvem, como AWS, Azure, Oracle, Google Cloud , com consideração dos custos cambiais e riscos de latência.

O objetivo deste artigo é apresentar aos gestores e profissionais de TI como reduzir  os custos de licenças em infraestrutura, focando no sistema de arquivos e arquitetura do HDFS. Neste sentido a pergunta chave é: 

“ É possível criar ou realizar a migração de um data lake Hadoop Cloudera ou Hortonworks para um ambiente sem custo de licenças? “ 

A resposta é: sim, é possível, uma vez que a estrutura das aplicações do ecossistema Hadoop são modularizadas e podem ser ajustadas conforme a necessidade do cliente, desde que os requisitos mínimos de infraestrutura sejam atingidos. 

Por convenção, na Aquarela Analytics, buscamos realizar um projeto detalhado da arquitetura, visando garantir 100% de aderência às regras de negócio e suporte de hardware às soluções desenvolvidas. Dessa forma é possível acelerar o Retorno do Investimento (ROI) nos projetos de Data Lakes.  

A seguir, falaremos sobre os principais desafios e benefícios do cenário de migração de um cluster on-premise baseado em licenças Cloudera ou Hortonworks para Apache Hadoop, livres dos custos de licenciamento. Custos esses que, quando existentes, podem inviabilizar, em alguns casos, o projeto de dados como um todo.

Ver também: 6 recomendações de gestão para projetos de Data Lake

Open source Data Lake

O stack tecnológico de dados Hadoop é bastante estável e consolidado, amplamente utilizado como parte integral da estratégia de desenvolvimento da cultura de dados ou cultura analítica. Muitos de nossos clientes de grande porte usam este stack em diferentes configurações há bastante tempo. Além de ser bastante estável e consolidada, neste contexto, significa ter uma baixa frequência de atualizações, muitos usuários e uma documentação que seja suficiente para que novas equipes possam trabalhar no projeto. 

O Hadoop é uma plataforma construída baseada na linguagem JAVA, o que permite a sua utilização em computadores de diferentes tipos de hardware. Contudo, as operações de Data Lakes são operações de grande porte, o que demanda recursos computacionais com bastante memória, disco rígido e conectividade. Por isso, componentes do ecossistema Hadoop são geralmente “pesados” e isso requer conhecimento amplamente especializado e profissionais com anos de experiência.   

É importante notar que as modelagens de arquitetura de data lake open source não precisam obrigatoriamente ficar presas somente aos componentes do Hadoop. Atualmente, está se consolidando o conceito de Data Lakehouse utilizando “Trino“, “Presto“, “Iceberg“, “Delta“, “Spark” e outras ferramentas com comunidades bem ativas e que podem impactar positivamente na qualidade da infraestrutura de dados. 

Benefícios de uma arquitetura Hadoop de Data Lake 100% open source 

Existem diversos fatores que influenciam a decisão de migrar uma plataforma Data Lake on-premise totalmente open source. Essa migração inclui diversos benefícios, tais como: 

  • Redução de custos vinculados à flutuação do dólar (muito presente em estratégias de operação em nuvem) 
  • Ganho de autonomia em relação aos dados e recursos de dados; 
  • Maior agilidade na resposta (baixa latência) e 
  • Maior segurança estratégica da informação

Para uma análise mais detalhada desses fatores, elaboramos a tabela a seguir:

Fator de ImpactoHadoop Data Lake (Open Source)Hadoop Cloudera (Licenciado)
Custo– Geralmente, custo mais baixo, pois as ferramentas são gratuitas e não há licenças a serem adquiridas.– Custos mais altos devido às licenças de software e suporte pago.
Flexibilidade– Maior flexibilidade para escolher e personalizar as ferramentas que melhor se adequam às necessidades da empresa.– Restrito às ferramentas oferecidas pela Cloudera, com menos flexibilidade para personalização.
Comunidade e Inovação– A comunidade open source é grande, ativa e inovadora, o que pode resultar em atualizações frequentes e novos recursos.– Dependência da Cloudera para atualizações e inovações, que podem não ser tão ágeis quanto as comunidades open source.
Suporte e Manutenção– Pode depender de recursos internos ou de fornecedores de suporte open source.– Suporte profissional disponível da Cloudera, o que pode ser vantajoso para empresas que valorizam o suporte técnico profissional e dedicado.
Integração com Ecossistema– Elevada capacidade de integração com outras ferramentas e sistemas open source.– Integração simplificada com produtos Cloudera, podendo ser mais difícil integrar com ferramentas externas.
Escalabilidade– Escalabilidade potencialmente maior, pois pode-se dimensionar as ferramentas de acordo com suas necessidades sem preocupações com licenças adicionais.– Escalabilidade limitada pelas licenças e custos associados à aquisição de mais capacidade.
Comunidade de Desenvolvedores– Maior pool de talentos disponíveis para desenvolvimento e manutenção, devido à popularidade das ferramentas open source.– Talento especializado em produtos Cloudera pode ser mais restrito e caro.
Independência do Fornecedor– Menos dependência de um único fornecedor, o que pode reduzir riscos a longo prazo.– Dependência contínua da Cloudera, o que pode aumentar os riscos de interrupção dos serviços se a relação com o fornecedor for interrompida.
Segurança– Possibilidade de auditar e personalizar as configurações de segurança de acordo com as necessidades da empresa.– Cloudera oferece recursos de segurança, mas a customização pode ser limitada.

Desafios da migração

A migração de sistemas e dados, sejam eles transacionais e/ou analíticos, é um desafio que pode gerar grande impacto na organização uma vez que não tenha sido bem definido, projetado e executado. Diversos elementos devem ser considerados no processo de migração, como: paralelismo, latência, segurança, velocidade de comunicação, curva de aprendizagem de novas tecnologias, dentre outros.

Leia também: Diferença entre sistemas transacionais e analíticos

Apesar de todos os componentes do ecossistema Hadoop estarem disponíveis para uso, isso não significa que serão de fácil instalação e customização. No caso da migração de um ecossistema de Data Lake licenciado Cloudera já em produção para uma solução totalmente open source com componentes do ecossistema Hadoop, o desafio e a complexidade podem ser mitigados dependendo do nível de maturidade analítica, de processo e de infraestrutura da empresa. 

Abaixo estão alguns dos desafios e dificuldades que consideramos importantes a serem considerados antes e durante o processo de migração.

Componentes chave

A Cloudera é conhecida por seus diversos componentes proprietários e pelo seu envolvimento na contribuição para a comunidade open source a nível mundial. No entanto, um dos maiores desafios enfrentados ao considerar uma migração é a substituição do Cloudera Manager, que atua como um administrador de cluster e substitui o Ambari

Fazer uma análise detalhada de uso dos componentes do cluster Cloudera para compreender como e pelo o que podem ser trocados. Nesses casos, versões de distribuições Cloudera / Hortonworks podem também ser um desafio, principalmente para planejar a migração de aplicações e usuários para a nova infra estrutura. 

Integração de Dados e Ferramentas

A Cloudera fornece um ecossistema integrado com ferramentas que funcionam bem juntas. Migrar para uma solução open source pode exigir uma reestruturação significativa para integrar várias ferramentas de diferentes projetos e comunidades open source. A interoperabilidade pode ser um problema, porém pode ser contornada com equipes especializadas de integração.

Requalificação da Equipe

A equipe que está familiarizada com a tecnologia da Cloudera pode precisar adquirir novas habilidades e conhecimentos para lidar com ferramentas e tecnologias open source. Isso pode exigir treinamento extensivo e tempo para a equipe se adaptar.

Perda de Suporte Técnico Específico 

A Cloudera oferece suporte técnico dedicado aos seus clientes. Ao migrar para uma solução open source, a empresa pode perder esse suporte específico e precisará confiar em recursos de suporte da comunidade ou contratar suporte externo.

Customização e Configuração

A flexibilidade das soluções open source pode ser uma vantagem, mas também pode ser desafiadora. A empresa precisará personalizar e configurar as ferramentas para atender às suas necessidades específicas, o que pode ser demorado e complexo.

Segurança e Governança

A Cloudera fornece recursos de segurança e governança integrados. Ao migrar para uma solução open source, a empresa precisa planejar e implementar esses recursos por conta própria. 

Nós recomendamos Apache Ranger, que integra perfeitamente com o Active Directory e permite uma boa gestão de segurança e governança dos dados. O sucesso dessa implementação vai depender do nível de envolvimento da empresa.

Desafios de Escala

A escala de um Data Lake pode ser um desafio significativo. Ao migrar para uma solução open source, a empresa deve garantir que a nova arquitetura possa lidar com o volume crescente de dados de maneira eficaz. 

Conclusões e Recomendações – Migração de Ambiente Data Lake Hadoop Cloudera para Hadoop Open Source: Desafios e Benefícios

Embora a Cloudera ofereça um ecossistema robusto, se bem planejado, é viável realizar uma transição completa para uma abordagem de código aberto, optando por ferramentas alternativas que atendam às necessidades específicas da sua empresa. Essa mudança demandará um planejamento detalhado e minucioso, porém proporcionará maior flexibilidade e controle sobre o seu ambiente de Data Lake.

A estratégia que sugerimos é que seja realizada a migração em paralelo. Ou seja, mantendo o sistema de produção em ambiente Cloudera, enquanto um Data Lakehouse é preparado. Isso possibilitaria uma sinergia de economia de custos e modernização das infraestruturas, mitiga impactos na produção e garante uma transição suave entre tecnologias.

O processo pode ser custoso em termos de tempo e recursos financeiros, normalmente ultrapassando seis meses. É essencial alinhar os processos e funções dependentes do Data Lake, pois isso pode afetar os requisitos não funcionais do sistema, como disponibilidade, usabilidade, segurança, compatibilidade e portabilidade, entre outros.

Tanto manter o ambiente Cloudera/Hortonworks, quanto iniciar um processo de migração para tecnologias Open Source terá seus custos. De um lado, o pagamento das licenças e o investimento recorrente em suporte dedicado, de outro os investimentos na migração de ambiente e dados.  O que deve ser considerado como fator primordial de decisão é a estratégia de modernização a médio e longo prazo da organização. Certamente, a migração para sistemas Open Source será uma boa escolha para redução de custos no longo prazo. 

Portanto, é fundamental compreender os diferentes cenários e as opções de ferramentas disponíveis para cada etapa do processo de integração de dados, escolhendo aquelas que melhor se adequam às necessidades específicas do seu projeto.

Evitar ficar preso a padrões específicos da indústria, escolher ferramentas com boa adesão da comunidade, considerar a possibilidade de interconexão entre ambientes on-premise e na nuvem, e priorizar a federalização da segurança são aspectos a serem considerados.

Ao projetar a nova arquitetura, é necessário envolver técnicos de migração/instalação, equipes de TI e gestão para garantir a conformidade com todos os requisitos e a utilização eficaz do novo cluster pelos usuários finais, além de possuir um período de “hypercare” de três a seis meses para garantir a identificação e correção de quaisquer erros ou comportamentos indesejados, bem como para realizar treinamentos necessários.Em resumo, a migração de uma solução de Data Lake Cloudera licenciada para uma abordagem totalmente open source pode oferecer benefícios, mas também envolve desafios significativos. É fundamental que a empresa avalie cuidadosamente suas necessidades, recursos e capacidades antes de prosseguir com essa transição, e esteja preparada para enfrentar os obstáculos ao longo do caminho. A Aquarela Analytics está à disposição para auxiliar nessa transição e garantir que atenda às necessidades específicas de sua indústria 4.0 de dados.

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autor

O que é HDFS, e qual seu impacto nos negócios?

O que é HDFS, e qual seu impacto nos negócios?

Neste artigo vamos explicar de forma simplificada o HDFS (Hadoop Distributed File System), tecnologia que dá suporte a muitas estratégias de gestão de dados analíticos que impactam diretamente na elevação dos níveis de maturidade analítica

Deter um conhecimento básico deste conceito é fundamental para gestores interessados em adotar uma cultura e plataforma de dados escalável e profissionais com foco na área de engenharia de dados.

O que é o HDFS?

O HDFS é um sistema de arquivos distribuídos projetado para permitir que grandes quantidades de dados sejam armazenadas de maneira acessível em clusters de computadores. Ele foi criado para permitir que empresas processassem grandes quantidades de dados de maneira rápida e eficiente, o que é essencial em um mundo cada vez mais dependente de dados.

É importante não confundir o Hadoop, ou ecossistema Apache Hadoop, com o HDFS, que é a tecnologia do particionamento dos discos onde os dados estarão armazenados fisicamente utilizando uma estratégia de computação distribuída (várias máquinas). 

O Hadoop, por outro lado, é o framework (Stack Tecnológico) de processamento de dados que utiliza, entre outras ferramentas, o HDFS para armazenar e processar grandes quantidades de dados de maneira eficiente.

Atualmente, o conhecimento sobre HDFS é um dos requisitos mais importantes para profissionais da área de computação e TI interessados em infraestrutura de grandes bases de dados. 

Por que o HDFS foi criado? 

A solução técnica do HDFS surgiu para atender problemas de armazenamento de dados. Estes problemas começaram a se tornar evidentes a partir dos anos 90 com o rápido crescimento de dados gerados por computadores atuando em rede e, mais recentemente, dispositivos móveis de internet das coisas (IoT). 

Um ponto importante é que nesta evolução os dados cresceram apenas em quantidade como também em termos de variedade (Entendendo as diferentes naturezas e tipos de dados). Em outro artigo (Dos dados à inovação com Analytics) mostramos como se dá esta evolução no crescimento de dados e tecnologias de apoio desde a captura do dado até as análises avançadas para apoio ao conceito de indústria 4.0.

Neste contexto de grande quantidade e variedade de dados que a solução tecnológica HDFS foi gerada, fazendo com que ele fosse projetado para ser tolerante a falhas (por funcionar em rede) e para trabalhar com dados não estruturados de maneira eficiente. 

O fato do HDFS ter sido desenvolvido para operar em rede o tornou, além de seguro, escalável, permitindo que novos computadores possam ser agregados ao cluster e, assim, chegar a quantidade de armazenamento muito superior e de fácil acesso quando comparados com tecnologias da época.  

Em termos de escala, costuma-se utilizar o framework Hadoop e o HDFS em conjuntos de dados partindo de 100GB, podendo chegar até mesmo aos Petabytes (1 Petabyte ≅ 1 milhão de Gigabytes).

Como é estruturada a hierarquia HDFS? 

O HDFS (cluster), como o “distribuído” no seu próprio nome já diz, é composto por várias máquinas que são chamadas de “nodos”. Esses nodos podem ser basicamente de 2 tipos: 

Nodos de nomes (nodos de meta dados)

Os nodos de nome, ou Namenodes, são os responsáveis por manter o mapeamento dos arquivos para os nodos de armazenamento, ou Datanodes. Na prática, eles mantêm uma lista dos blocos em que cada arquivo foi dividido e para quais Datanodes eles foram enviados para serem armazenados. 

Quando um usuário quer obter uma informação ou até mesmo escrever um novo arquivo no HDFS, ele envia uma solicitação ao Namenode, que por sua vez encaminha essa solicitação diretamente ao Datanode correspondente. 

Nodos de dados (comumente também chamados de nodos de armazenamento) 

Os nodos de dados, ou Datanodes em inglês, guardam os dados em si. No entanto, eles o fazem de forma particionada, armazenando tudo em blocos de mesmo tamanho (normalmente 128MB), após serem divididos e distribuídos.

Cluster HDFS

Esse conjunto de máquinas/nodos é chamado de cluster HDFS, e é justamente o responsável por receber e particionar os arquivos em blocos e, em seguida, distribuir esses pedaços pelos Datanodes, ao mesmo tempo que armazena essas localizações no Namenode.

Outra função muito importante do cluster é ser tolerante a falhas, e por esse motivo sempre há cópias de cada bloco espalhadas pelos Datanodes para caso de falha em um dos servidores. Esse número de cópias é determinado pelo “fator de replicação” do cluster.

Apesar de estarmos falando em arquivos aqui, o HDFS consegue armazenar uma grande variedade de tipos de dados de forma inteligente e particionada, como tabelas relacionais, coleções de dados não relacionais, arquivos de fato, entre outros.

Como funciona o método de armazenamento HDFS? 

Em uma aplicação centralizada, normalmente os dados são trazidos até a aplicação para que sejam processados e consumidos. Já no HDFS, o conceito é completamente reinventado, e podemos dizer que levamos a aplicação até próximo de onde os dados estão fisicamente guardados. 

Como o HDFS consiste, basicamente, em dados armazenados de forma distribuída, conseguimos utilizar esse fato como vantagem para obtermos grandes velocidades através do processamento acontecendo paralelamente em vários pontos.

Na figura a seguir, um exemplo ilustrativo de como o cluster HDFS iria armazenar um arquivo de 360MB de forma distribuída pelos nodos: 

  1. Primeiramente iria particionar o arquivo em blocos de, no máximo, 128MB (repare que o último bloco ficou com 104MB).
  2. Em seguida, o cluster distribui o primeiro bloco e suas cópias (no nosso caso aqui, 3 cópias ao total) pelos 4 nodos, de forma aleatória, de acordo com sua política de balanceamento de armazenamento.
  3. O processo é repetido para cada um dos blocos até que todo o arquivo tenha sido processado.
  4. O Namenode, nesse momento, contém a localização de todos os blocos (e suas cópias) do arquivo de entrada, o que permite que possamos executar operações em paralelo (ou seja, simultâneas) em cada um dos nodos quando estivermos querendo consultar ou computar dados desse arquivo no futuro.
HDFS Hadoop Distributed File System

Impacto da tecnologia nos negócios 

O HDFS tem um grande impacto nos negócios, pois é uma tecnologia que permite que empresas desenvolvam “Data Lakes para inicialmente preservar seus dados de forma segura e eficiente ao longo do tempo. 

Em um segundo momento do desenvolvimento da cultura e base tecnológica do Data Lake, também é possível agregar informações externas e permitir que a empresa elabore pesquisas estruturadas utilizando conhecimento de negócio, ciência de dados e inteligência artificial para alavancar a descoberta de padrões dentro das operações.

Os insights gerados a partir de dados bem armazenados e organizados são valiosos para uma tomada de decisão mais assertiva, o que pode ter um impacto positivo nas operações e nos resultados das empresas. 

Esta tecnologia, que vem servindo de suporte ao ecossistema Hadoop, tem um impacto considerável na capacidade das empresas de integrar informações de vários setores da empresa e torná-las acessíveis em uma estratégia de democratização da informação de gestão, impactando diretamente nos níveis de maturidade e governança de dados.

Ele é amplamente utilizado para aplicações de análise de dados, incluindo a detecção de tendências, outliers, análises preditivas e de cenarização tais como de previsões de demanda (guia completo sobre previsão de demanda). Porém é importante ressaltar que, o HDFS precisa ser abastecido com conjunto de dados, ou datasets, de forma planejada para que as análises tenham algum valor estratégico (6 recomendações para projetos de Data Lakes). 

Principais empresas que utilizam HDFS

Algumas das principais empresas que utilizam o Hadoop Distributed File System em sua infraestrutura são:

  1. A Amazon utiliza o HDFS para armazenar e processar grandes quantidades de dados de seus sites de e-commerce e de seus serviços de nuvem.
  2. O Facebook utiliza HDFS para processar e armazenar grandes quantidades de dados gerados pelos usuários do site, incluindo publicações, curtidas e comentários.
  3. A Yahoo foi uma das primeiras empresas a utilizar oHdfs em larga escala, e hoje o utiliza para processar e armazenar grandes quantidades de dados gerados por seus usuários, incluindo pesquisas na web, e-mails e outros dados de uso.
  4. O eBay utiliza o HDFS para processar e analisar grandes quantidades de dados gerados pelos usuários do site, incluindo transações de compra e venda.
  5. A Netflix utiliza o Hadoop para processar e armazenar grandes quantidades de dados de uso dos usuários, incluindo dados de streaming de vídeo.

Conclusões e recomendações sobre HDFS

Neste artigo, explicamos o que é a tecnologia HDFS, apresentamos algumas razões para sua criação, incluindo um exemplo de como funciona o armazenamento físico de um arquivo nesta modalidade de partição distribuída em rede e como isso pode impactar a operação das empresas, sendo o engenheiro de dados o profissional responsável pela definição da arquitetura, implantação e manutenção dos clusters.

Em resumo, o HDFS é uma forma inteligente de armazenar e processar grandes quantidades  e variedades de dados em rede. Os computadores que utilizam o HDFS são conhecidos como nós ou nodos e são conectados entre si, formando clusters capazes de realizar armazenamento/processamento em grande escala de forma paralela e distribuída. 

O HDFS é amplamente utilizado em aplicativos de análise de big data, o que o torna essencial para muitas empresas que dependem de um grande volume de dados para tomar decisões estratégicas. 

Devido à complexidade das atividades de estruturação de projetos de dados em larga escala, é importante avaliar os fornecedores deste tipo de serviço técnico (Como escolher o melhor fornecedor de mão de obra na área de dados?). 

Em futuras publicações, falaremos das tecnologias que foram desenvolvidas para acessar e manipular as informações dentro dos clusters HDFS.

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autores

Internet Tátil

Internet Tátil

Como sentir texturas através da internet? A Internet Tátil é a resposta. 

O conceito da Internet Tátil é o próximo passo no avanço das comunicações e na forma como interagimos com a web em direção ao metaverso. Ela tem um grande potencial de impactar em diversos setores, como: varejo online, e-commerce, automação, logística, saúde, educação, trânsito, entre outros. 

Neste artigo, explicamos os principais conceitos relacionados à internet tátil.

O que é a Internet Tátil? 

Pesquisas na área de redes estão abrindo caminho a uma nova geração de Internet, chamada de “Internet Tátil” ou em inglês “tactile internet”, capaz de revolucionar alguns setores ao transmitir sensações por meio da rede, com o auxílio de dispositivos táteis, como luvas tácteis

A internet tátil deriva da tendência de evolução e natural do conceito da Internet das Coisas (Internet of Things, IoT). Ela permite a conexão de variados dispositivos à Internet, promovendo assim a ampliação de suas possibilidades de uso tanto para sistemas de realidade virtual (VR) quanto de realidade aumentada (qual a diferença entre entre realidade virtual e aumentada?). 

Para que a internet tátil funcione é necessário um conjunto de tecnologias (stack tecnológico) desenhadas para transmitir a sensação tátil (o tato) por meio da internet. Isso mesmo, com ela se torna possível sentir texturas de forma remota. Em outras palavras:

A Internet Tátil permite a troca de mensagens com dados táteis entre dispositivos físicos (computadores, celulares e tablets) por meio do uso de luvas e sensores táteis vestíveis. 

A partir dessa tecnologia, surgem diversas possibilidades interessantes, tais como: poder sentir a textura, o peso ou o formato de um objeto virtual em um ambiente virtual. 

Para que a experiência de cenários de controle remoto através de dispositivos vestíveis sejam o mais próximo possível da realidade, a internet tátil deve utilizar redes de baixa latência (muito rápidas) em linha com as evoluções das telecomunicações e as vias 5G.  

O que são os dados táteis?

Dados táteis representam a codificação de sensações táteis de um objeto virtual, aquelas que conseguimos sentir com a ponta dos dedos, como: 

  • Textura (rugosidade);
  • Umidade;
  • Peso;
  • Espessura.

Figura 1 – Associação entre sensações táteis, vibrações e faixas de frequência. 

Na imagem abaixo, está o modelo digital de uma sensação de rugosidade grossa. Isso significa que o processo de captura das sensações se assemelha ao processo de capturas de sons analógicos dos microfones e são então digitalizados.

Em outras palavras, com esta tecnologia será possível ver um objeto na tela do computador e sentir sua textura usando uma luva tátil. 

Modo de funcionamento da Internet Tátil

No sistema de internet tátil, devem existir no mínimo três entidades: 

  • Dispositivo de captura (Sensor) capaz de interpretar as texturas do objeto real (utilizado poucas vezes);
  • Um dispositivo principal que pode ser uma luva composta de sensores táteis que reproduzem os sinais capturados de determinado objetivo
  • Uma rede de comunicação que transmite os sinais táteis (gerados em tempo real ou armazenados em uma base de dados) para um dispositivo secundário (computador ou dispositivo móvel).

Imagine, por exemplo, os dados táteis de uma blusa (textura e peso).

Em um cenário de e-commerce, os dados já capturados de cada produto podem estar armazenados em uma base de dados e serem transmitidos pela rede de comunicação para uma luva tátil para que o cliente decida se quer comprar a blusa. Os dados podem ser tratados de forma similar às fotos dos produtos. 

Um outro cenário possível é a transmissão em tempo real de uma luva tátil para outra luva tátil (com sensores de captura) por meio da rede de alta velocidade. Em outras palavras, seria um cenário de videoconferência transmitindo dados táteis. 

Na figura abaixo está um desenho de um usuário utilizando uma luva tátil e a integração do dispositivo com a internet e o computador pessoal. Podemos imaginar uma luva com acesso direto à internet móvel (4G, 5G, Wi-Fi), enviando os dados pela internet. 

internet tatil 2

Barreiras para implementação

Em nossos estudos, verificamos que este é um campo relativamente novo de pesquisa e por esse motivo há diversas complexidades a serem resolvidas. 

A internet tátil é intrinsecamente dependente de dispositivos com baixa latência, alta taxa de resposta e dispositivos palpáveis, que transmitem sensações. Nos artigos estudados, os maiores esforços estão em diminuir o tempo de latência que, para ter uma sensação real de toque, deve ficar entre 1 ms até 10 ms

Alguns trabalhos da literatura mostraram que 30% do tempo de resposta (ou latência) é gasto com o dispositivo principal e secundário, porque eles precisam calcular várias operações complexas como os cálculos de cinemática direta e inversa, funções trigonométricas, algoritmos de controle de malha fechada e outros. O restante do tempo de resposta (70%) é gasto na rede de comunicação, ou seja, para 40ms da latência 28ms é para o sistema de comunicação. 

Impactos e Aplicações reais

É esperado que a internet tátil introduza diversas aplicações que irão enriquecer aquelas que já existem hoje. De acordo com o IEEE, tais características disruptivas desta nova tecnologia demonstram potencial para pesquisa e utilidade prática para um amplo espectro de áreas, como e-commerce, automação, logística, saúde, trânsito e outras.

Em outro artigo,  os autores discutem o papel da Internet tátil para vários sistemas industriais e identificam os principais casos de uso com os respectivos requisitos de conectividade. Eles analisam o papel da inteligência artificial e das plataformas de computação de ponta na superação das imperfeições dos ambientes sem fio.

De acordo com as citações mais influentes na área (link dos artigos 1 e 2) a inclusão de algoritmos de aprendizado de máquina em determinados cenários, como a identificação de um objeto a partir de suas características, o potencial desta tecnologia se mostra elevado .

Saúde

Um exemplo valioso para sociedade é a operação de médicos e profissionais da saúde a distância, conforme apresentado nos artigos A Comprehensive Survey of the Tactile Internet: State-of-the-Art and Research Directions e Challenges in Haptic Communications Over the Tactile Internet

Cirurgias remotas podem ser realizadas a partir de locais distantes, reduzindo o risco de pacientes que não podem se locomover. Cenários de urgência também são beneficiados, como quando um paciente necessita de um especialista que se encontra em outro hospital (Open Air).

No âmbito de tratamento de fobias, a exposição do paciente ao estímulo temido se mostra eficaz. Entretanto, esta é uma técnica de confronto que apresenta 45% de desistência. Em um ambiente virtual que pode ser controlado em níveis de intensidade gradativos e com a possibilidade de alternância entre estímulos visuais, auditivos e táteis, enxerga-se um menor risco para o paciente. Tais sessões também poderão ser executadas de quaisquer localizações devido à característica remota da internet tátil.

Comércio Eletrônico

Outro setor que será muito afetado é o de compras online. Além da apresentação visual a internet tátil irá proporcionar também a sensação de toque, textura, rugosidade e etc. 

A figura abaixo mostra um site de vendas online de roupas. Além das informações que já estamos acostumados a encontrar, como tipo da roupa, cor, tamanho e uma imagem representativa, com a internet tátil teremos a possibilidade de sentir a textura da roupa clicando em um botão que irá enviar esses dados para o dispositivo tátil que os clientes terão em casa.

Figura 2 – Site de comércio eletrônico de roupas. Além das informações convencionais (tamanho, preço, cor, imagem), o site irá disponibilizar dados táteis que representam a textura da roupa.

Educação

Muitos setores serão afetados e até remodelados pela internet tátil. Na educação, por exemplo, as tarefas de treinamentos poderão ser mais eficientes e menos custosas. Com uma melhor utilização de recursos, o aprendiz poderá utilizar-se desse novo meio de treinamento para adquirir experiência, evitando assim riscos desnecessários. Este novo tipo de treinamento será capaz de reproduzir o movimento de mãos do professor que está guiando para ensinar pintura e caligrafia, por exemplo [10]

Papel da IA no universo da Internet Tátil

A Inteligência Artificial é um dos principais pilares não apenas da internet tátil, mas de praticamente todas as tratativas ligadas à transformação digital e à indústria 4.0. A IA tem sido uma ferramenta chave para criar informações faltantes de datasets (o que são datasets?), detecção de outliers (o que são outliers?), previsão de demandas e comportamentos, simulações computacionais e até recentemente no controle de operações de alta complexidade de reatores de fusão nuclear.

Especificamente, para a questão da transmissão do tato a IA pode executar um papel importante em casos de falha de comunicação, já que dependendo da localização geográfica dos dispositivos, a latência de rede ainda trará uma sensação de atraso na recepção dos sinais táteis, algo indesejável nesse contexto. Por isso, segundo a IEEE, quando houver um atraso ou uma perda de sinal, o sistema fará uma predição para preencher esta lacuna e garantir que o usuário tenha a sensação tátil esperada. 

Mesmo em situações em que não há falha de comunicação, a IA desempenhará um papel fundamental na predição dos movimentos dos usuários (o que são análises preditivas?). Usando IA, será possível prever os próximos movimentos dos usuários (gestos com as mãos, por exemplo) e enviar esses sinais antes que eles aconteçam, garantindo assim a sincronia de comunicação e sensação tátil que temos no mundo físico.

Internet Tátil – Conclusão e Recomendações

Neste artigo, descrevemos o conceito da internet tátil e dados táteis com um roteiro para o futuro, investigando o papel da Internet tátil em sistemas industriais e comerciais da próxima geração na área da saúde, educação e comércio eletrônico, com algumas direções e desafios para pesquisas futuras. 

Como ponto central, o desenvolvimento desta inovação tecnológica se torna possível graças aos recentes avanços nas áreas de redes de computadores (tecnologias 4G e 5G), hardware (desenvolvimento de micro sensores e micromotores),  software para plataformas web (linguagens de programação, nuvens computacionais, armazenamento e processamento de grandes volumes de dados) e segurança computacional.

Espera-se que toda a sociedade se beneficie da internet tátil. Acreditamos que as escolas poderão utilizar esta tecnologia para abrandar seus métodos de ensino, ao passo que os hospitais e centros de saúde conseguirão ampliar seu atendimento com exames e diagnósticos mais precisos e feitos a distância. 

No campo de vendas e entretenimento, vislumbra-se a concretização do metaverso como uma nova forma de interação entre as pessoas e um uso intensivo de algoritmos de inteligência artificial para a otimização da comunicação e aperfeiçoamento de cada experiência, seja ela totalmente virtual ou de realidade aumentada. 

Gostaria de se aprofundar mais sobre Internet Tátil? 

Aqui separamos mais alguns links da nossa pesquisa como material extra. 

L2 – 01 – ComNets 3 – Tactile Internet – YouTube

L2 – 01 – ComNets 2 – Tactile Internet – YouTube

https://g1.globo.com/economia/tecnologia/video/facebook-demonstra-prototipo-de-luva-tatil-com-foco-no-metaverso-10046242.ghtml

Ainda, caso tenha interesse em participar do grupo de estudo, confira o link do Lapesd (Laboratório de Pesquisa em Sistemas Distribuídos – UFSC) . 

Gostou do artigo? Então deixe o seu comentário.

Referências

[1] Junior, J.C.V.S.; Torquato, M.F.; Noronha, D.H.; Silva, S.N.; Fernandes, M.A.C. Proposal of the Tactile Glove Device. Sensors 2019, 19, 5029. https://doi.org/10.3390/s19225029

[2] Junior, J. C. V. S., Torquato, M. F., Mahmoodi, T., Dohler, M., and Fernandes, M. A. C., Reconfigurable Computing Applied to Latency Reduction for the Tactile Internet, 2020.

[3] Ahmed Slalmi, Hasna Chaibi, Abdellah Chehri, Rachid Saadane, Gwanggil Jeon, Nadir Hakem. On the Ultra-Reliable and Low-Latency Communications for Tactile Internet in 5G Era. Procedia Computer Science, Volume 176, 2020, Pages 3853-3862, ISSN 1877-0509.

[4] A. Aijaz and M. Sooriyabandara, “The Tactile Internet for Industries: A Review” in Proceedings of the IEEE, vol. 107, no. 2, pp. 414-435, Feb. 2019, doi: 10.1109/JPROC.2018.2878265.

[5] N. Promwongsa et al., “A Comprehensive Survey of the Tactile Internet: State-of-the-art and Research Directions,” in IEEE Communications Surveys & Tutorials, doi: 10.1109/COMST.2020.3025995.

[6] M Dohler, G Fettweis, “The Tactile Internet – IoT, 5G and Cloud on Steroids,” Telefonica Guest Blog Post, 30 October 2014, >100k views; http://bit.ly/1BpOG3H.

[7] Aijaz, M. Dohler, A. H. Aghvami, V. Friderikos, and M. Frodigh. Realizing the tactile internet: Haptic communications over next generation 5g cellular networks. IEEE Wireless Communications, PP(99):2–9, October 2016

[8] D. Van Den Berg et al., “Challenges in Haptic Communications Over the Tactile Internet,” in IEEE Access, vol. 5, pp. 23502-23518, 2017, doi: 10.1109/ACCESS.2017.2764181.

[9] S. K. Sharma, I. Woungang, A. Anpalagan and S. Chatzinotas, “Toward Tactile Internet in Beyond 5G Era: Recent Advances, Current Issues, and Future Directions,” in IEEE Access, vol. 8, pp. 56948-56991, 2020, doi: 10.1109/ACCESS.2020.2980369.

[10] M. Aazam, K. A. Harras and S. Zeadally, “Fog Computing for 5G Tactile Industrial Internet of Things: QoE-Aware Resource Allocation Model”, IEEE Transactions on Industrial Informatics, vol. 15, 2019.

[11] Alves, Pedro V. A., Plataforma de teste em tempo real para internet Tátil, em LOCAL DO TCC DO PEDRO, Agosto 2021

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autores

Setor automotivo: características e oportunidades com IA

Setor automotivo: características e oportunidades com IA

O setor automotivo ou automobilístico é um dos principais setores da economia mundial que está em processo de profunda transformação devido ao processo de eletrificação, digitalização e a introdução dos conceitos de indústria 4.0 e Web 3.0. A partir disso, levantamos um panorama dessa área e oportunidades desse novo cenário para profissionais de planejamento de médias e grandes empresas brasileiras. Confira no artigo.

A dinâmica do setor automotivo

O setor automotivo é de grande importância para a economia do Brasil e do mundo. Ele se encontra em um cenário de recuperação em relação aos impactos da pandemia do Coronavírus, que gerou reduções de até 40% no faturamento do setor em 2020.

No contexto global ou mesmo brasileiro, o setor automotivo é composto por uma cadeia de valor bastante complexa, com uma grande quantidade de empresas em diferentes etapas, que vão desde a concepção de novos produtos até o consumidor final.

A visão dos gestores das grandes empresas do setor apontam para uma intensa eletrificação da frota. Esse processo já foi iniciado na Europa e na América do Norte. No Brasil, espera-se que essa onda transformadora chegue com a mesma intensidade, mas em um prazo de até 10 ou 15 anos.

Junto à eletrificação da frota está a transformação da indústria, que caminha para a sua quarta geração, conforme a imagem abaixo.

As gerações da indústria

Como vemos, o novo cenário demandará um planejamento estratégico que dê suporte à interação das máquinas físicas com o conhecimento coletivo gerenciado por sistemas de informação inteligentes, conectados via dispositivos de Internet das Coisas (IOT), em redes de alta velocidade e disponibilidade 5G.  

Contexto brasileiro

Segundo IBGE, a frota automotiva do Brasil já ultrapassou a barreira dos 100 milhões. Isso mostra uma clara tendência de crescimento no tamanho total da frota brasileira e também da população. Essa frota inclui automóveis (58 milhões), caminhões (2.8 milhões), motos (23 milhões) e várias outras categorias. Abaixo, segue uma visualização proporcionalizada do mercado. 

Na sequência, fizemos um comparativo do crescimento populacional brasileiro em relação ao crescimento da frota. Nesta análise, utilizamos a escala logarítmica para evidenciar o descompasso do crescimento entre a população, que segue em uma tendência linear, e a frota, a qual experimenta alguma exponencialização. 

Frota total do Brasil 2006-2020 (Fonte IBGE).

Entre os anos 2010 e 2015, houve um crescimento exponencial de novos veículos. De 2015 em diante, o crescimento ainda é positivo, entretanto mais moderado. Hoje temos um cenário com veículos mais velhos devido à diminuição do incremento de novos veículos. Isso foi causado tanto por efeitos do dólar valorizado e juros altos como também pela escassez de semicondutores

Além desses pontos, é possível também delinear a complexidade (explosão combinatória) que existe na operação das empresas do setor automotivo e autopeças. Abaixo, apresentamos afirmações consideradas chave na descrição do cenário atual, e que posteriormente podem ser validadas ou refutadas por análise técnica de dados.

DesafioSoluções na Indústria 4.0
Empresas com operações comerciais de abrangência nacional com grande número de representantes comerciais utilizando diferentes políticas tanto no comércio tradicional como nos sistemas de e-commerce; A envergadura das operações geram departamentalizações que, por sua vez, tendem a gerar silos de informação com indicadores não integrados, compartilhados ou até duplicados e/ou incoerentes com uso intensivo de planilhas Excel; Na indústria 4.0, os projetos analíticos de sucesso são, em grande parte, resultado de atividades geridas por métodos ágeis altamente colaborativos, que podem ser acelerados com a contratação de empresas especialistas em dados (Ler artigo).
Grandes operações necessitam inicialmente de processos de Dicionarização de dados (ler artigo) capazes de democratizar o entendimento (a harmonização) das informações em todos os níveis de decisão. Isso permite então a execução de projetos de integrações de sistemas transacionais e analíticos (ler artigo) de forma coerente e em parceria com os especialistas da área de tecnologia da Informação
A demora e a complexidade na precificação impactam negativamente no fechamento de negócios. Isso ocorre devido às operações com grande quantidade de itens (SKUs ou part numbers), com diversas categorias de produtos definidas internamente e que podem variar de produtos com alto e baixo desgaste, valor, margem e frequência de compra; As atividades de precificação, desde a mais estática e simples até a precificação dinâmica inteligente, estão intimamente ligadas ao nível de maturidade de dados que evolui em paralelo aos novos métodos de sistema e ao stack tecnológico, como apresentado no caso da precificação do metrô de Londres, apresentada neste artigo.
Forte influência de aspectos regionais (economia/clima/cadeia produtiva) nas demandas de peças;Os aspectos regionais podem ser melhor abordados com o uso de dados e inteligência artificial para prever cenários e fazer recomendações de produtos de forma cada vez mais personalizada e assertiva. Abaixo, estes dois artigos apresentam com detalhes o processo de desenho da previsão de demanda com analytics: 
O desafio da previsão de demanda na visão da Aquarela – Parte 1 (link).
O desafio da previsão de demanda na visão da Aquarela Analytics – Parte 2 (link)
Alto custo de pessoal e tempo na concepção de novos produtos e peças. O uso de algoritmos e metodologias de simulação inovadores com base em dados pode ajudar a reduzir os tempos e a qualidade da concepção de novos produtos. Leia o artigo.
O baixo grau de exploração de SKUs por unidade de negócio impacta negativamente no volume de vendas;A exploração profunda do histórico dos Skus está bastante ligada ao nível de maturidade analítico e de governança de dados da organização (ler artigo) e à disponibilidade de talentos treinados tanto do ponto de vista de negócio como também de tecnologias robustas de análise, capazes de cruzar combinações de produtos e dados de mercado em grande escala. 
Faltam dados e visão de mercado para a criação de visualizações de market share para cada categoria de produtos para cada região. Mais dados de mercado e estratégia de analytics podem acelerar e melhorar a definição da persona de vendas e consequentemente a identificação dos canais ótimos e prioritários de ação comercial para conquista de novos clientes. Times de analytics internos ou externos têm um papel fundamental na definição da estratégia da análise, agrupamento das informações internas e externas até chegar aos indicadores de market share regionalizados de forma acurada. Já publicamos um Business Case no setor de aftermarketing (peças de reposição), que está disponível em link



Dificuldade de formação de times analíticos de alto desempenho com perfis complementares que cobrem desde a área técnica de sistemas até a área de negócio. As empresas de inteligência artificial e IOT focadas na indústria podem servir de apoio em cenários de transformações rápidas, pois possuem times já formados e metodologias consistentes de testes. Leia também: Como escolher o melhor fornecedor de Data Analytics e Inteligência Artificial?

Setor automotivo: características e oportunidades com IA – Conclusões

Neste artigo, apresentamos as evoluções da indústria na história, a qual aponta para um futuro com maior automação de processos.

O setor automobilístico é grande. Isso gera dificuldades para a gestão, que necessita de apoio de sistemas especialistas em dados, principalmente com a previsão de crescimento contínuo da frota. 

A fragmentação da produção e a distribuição das peças geram complexidades nos processos da cadeia de valor como um todo. Entretanto, elas podem ser otimizadas com o uso de ferramentas e estratégias de dados que envolvam desde novas políticas de governança da informação até sistemas inteligentes de recomendação de preço.

Todas as empresas e todos os setores serão transformados por uma grande transição nunca vista antes. Ela estará voltada para a redução de emissão de carbono e para a digitalização do fluxo de informação. Em ambos os cenários, a indústria automotiva precisa encontrar os líderes que irão estar à frente dessa mudança! 

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autor

5 desafios reais de dados no setor de alimentos

5 desafios reais de dados no setor de alimentos

O setor de alimentos e a segurança alimentar são uma preocupação global e o Brasil é um dos principais responsáveis pela demanda mundial de alimentos (Estadão). Nesse sentido, quais os principais desafios relacionados à gestão de dados para a otimização da eficiência operacional do Brasil no setor alimentício/agronegócio que hoje representa 21% do PIB do Brasil?

Este artigo aborda o tema com o viés da experiência da Aquarela em projetos de Advanced Analytics e de Inteligência Artificial realizados em grandes operações no Brasil.  O risco da falta de informações é tão relevante como o seu excesso e a falta de análise, podendo impactar a eficiência da cadeia logística do setor como um todo. 

Abaixo, elaboramos alguns destes principais riscos. 

Caracterização do setor de alimentos

O setor de alimentos é bastante variado devido à grande extensão da cadeia produtiva, que vai desde os insumos agrícolas, a industrialização, logística do transporte até a comercialização nos mercados consumidores e por fim o consumidor final. 

Como características fundamentais, o setor de alimentos está diretamente ligado a fatores que podem ter grande variabilidade e pouco controle, tais como: 

  • Clima (temperatura, volume de água, luminosidade e outros);
  • Fatores econômicos, como flutuações de moeda;
  • Infraestrutura;
  • Demanda do mercado interno/externo.

Além desses fatores, abaixo elencamos alguns relacionados à gestão dos dados. Também mostramos como eles, se bem organizados, podem ajudar a mitigar os efeitos das variáveis não controláveis da cadeia de suprimentos de alimentos.

01 – Incompletude das informações

A cadeia de suprimentos é bastante grande. Isso torna os dados complexos e de difícil interpretação devido às diferentes fases de cada processo, cultura e região. Além disso, faz com que muitas decisões importantes de planejamento ocorram com bastante limitação informacional e alto risco. Em outras palavras, as decisões são tomadas sem uma visão do cenário completo da cadeia, seguindo, em grande parte, a intuição dos gestores. 

A falta de informação de qualidade é um grande risco. Se hoje faltam dados, imaginem como era o cenário há 10 ou 20 anos. 

Nos últimos anos, o campo, a indústria e o varejo têm mostrado grandes avanços em seus processos de informatização com diversas soluções de rastreabilidade. Com a evolução das tecnologias da indústria 4.0 (IOT e o 5G) nos próximos anos, é provável que o mercado de alimentos, desde o setor agrícola e industrial até o comercial, detenham informações mais completas para tomada de decisão do que as que estão estão disponíveis hoje. 

02 – Dados de várias fontes

Se os dados estão se tornando cada vez mais presentes com o desenvolvimento da informatização e comunicação, então o próximo problema é tentar analisar dados em fontes múltiplas e desconexas. 

Diferentes dados são frequentemente armazenados em diferentes sistemas, levando assim a análises incompletas ou imprecisas. Combinar dados manualmente para formar dataset (o que são datasets?) de análise é um trabalho bastante pesado e demorado e pode limitar as percepções da realidade das operações. 

O que se busca é a construção de Data Lakes aderentes ao tipo de gestão para democratizar o acesso aos dados por profissionais do mercado, otimizando desse modo suas atividades com soluções de analytics cada vez mais poderosas. Isso não apenas libera tempo gasto no acesso a fontes múltiplas, como também permite comparações cruzadas e garante que os dados sejam completos.

03 – Dados de baixa qualidade

Ter dados incorretos pode ser tão ou mais prejudicial do que não tê-los. Nada é mais prejudicial à análise de dados do que dados imprecisos, principalmente se a ideia é utilizar as práticas de ciência de dados e machine learning. Sem uma boa entrada, a saída não será confiável. 

Uma das principais causas de dados imprecisos são os erros manuais cometidos durante a entrada de dados, principalmente quando são informações coletadas de maneira manual. Outro problema são os dados assimétricos: quando as informações de um sistema não refletem as alterações feitas em outro sistema e assim o deixa desatualizado.

Os projetos de planejamento estratégico de analytics buscam mitigar e/ou eliminar esses problemas. Isso acontece a partir de processos sistemáticos de dicionarização de dados, levantamento de processos, funções, assim por diante. Abaixo, deixamos alguns artigos relacionados:

04 – Falta de talentos em dados

Algumas organizações e empresas, de um modo geral, não conseguem atingir melhores índices de eficiência nas operações, pois sofrem com a falta de talento na área de análise de dados. Em outras palavras, mesmo que a empresa detenha tecnologias e dados coerentes, ainda sim a mão de obra para executar as análises e os planos de ações conta muito no final do dia. 

Esse desafio pode ser mitigado de três maneiras: 

  • Desenvolver um stack tecnológico analítico sempre atualizado e aderente ao negócio e com materiais de capacitação atualizados.
  • Adicionar as competências analíticas no processo de contratação. Além disso, investir na capacitação constante da equipe sobre as novas tecnologias de dados relacionadas ao stack tecnológico da operação. 
  • Utilizar a terceirização de analytics para aceleração do processo. Neste artigo, por exemplo, elencamos os principais aspectos a serem considerados para definir a escolha de um bom fornecedor. 

05 – Personalização de valores e as características de produto no setor de alimentos

Embora, segundo a Embrapa, cerca de 75% de todo setor alimentício mundial esteja baseado em apenas 12 tipos de plantas e 5 tipos de animais, são milhares de produtos diferentes, comercializados de múltiplas maneiras, preços e prazos no mercado consumidor final.

Apenas como exemplo, na área de proteína animal, o processo de comercialização da carne de gado exige investimentos, infraestrutura, prazos e processos bastante diferentes do que seria para a produção da carne suína ou mesmo a de frango. 

Já que os processos são diferentes, os dados gerados pela cadeia de produção também se tornam distintos, exigindo personalizações nos sistemas de informação e bancos de dados. Como consequência, há alterações em modelos de:

A recomendação é a parametrização dos sistemas com base em classificações mais comuns no mercado e foco nos produtos mais importantes do ponto de vista estratégico (margem de contribuição, volume ou preço de vendas). 

5 desafios reais de dados no setor de alimentos – Considerações finais

Neste artigo, fizemos um apanhado de alguns pontos relevantes sobre os desafios reais de dados na área de alimentos, setor que o Brasil desponta como um dos principais atores globais. 

Trata-se de uma área complexa com diversos fatores de risco e grandes oportunidades de otimização com o uso cada vez mais intensivo de dados. Anteriormente, escrevemos um artigo relacionado às estratégias de dados para a comercialização de energia e que em partes tem os mesmos desafios ligados à tomada de decisão no setor alimentício. 

Nós, na Aquarela Analytics, trabalhamos constantemente com estes desafios de tornar o complexo algo simples e com mitigação de riscos. Por isso, se ficar com dúvidas, entre em contato conosco! 

Quem é a Aquarela Analytics?

A Aquarela Analytics é vencedora do Prêmio CNI de Inovação e referência nacional na aplicação de Inteligência Artificial na indústria e em grandes empresas. Por meio da plataforma Vortx e da metodologia DCIM (Download e-book gratuito), atende clientes importantes, como: Embraer (aeroespacial),  Auren (energia), Scania e Grupo Randon (automotivo), SolarBR Coca-Cola (alimentício), Hospital das Clínicas (saúde), NTS-Brasil (óleo e gás), Telefônica Vivo (Telecomunicações), dentre outros. Fique atento às novas publicações diárias da Aquarela Analytics no Linkedin e assinando a nossa Newsletter mensal!

Autor