Neste artigo, falaremos sobre dois questionamentos chaves que acontecem na maioria dos projetos e que podem ser resolvidos com os alinhamentos propostos pela Lean Inception:
Como resolvemos o que precisa estar no MVP para iniciar o projeto ágil o mais rápido possível?
Como nos asseguramos que o time comece a criar o produto com um entendimento compartilhado e um plano efetivo?
Mas antes de chegarmos às resoluções destes questionamentos, precisamos entender o que é Lean Inception e sua importância, assim como o que é um MVP.
O que é Lean Inception?
No movimento Lean Startup (Eric Ries, 2011), temos o MVP como peça-chave do ciclo “construir – medir – aprender”, no qual após ser construído, ele é colocado à prova. Com isso, o time terá dados para medir o seu uso e gerar o aprendizado desejado.
Porém, muitos sentiram falta de um direcionamento referente a “o que construir”, e foi assim que surgiu a Lean Inception. Dessa forma, a nova proposta é que se inicie com um kick-off, seguido por uma sequência de atividades intensas, terminando com um showcase do workshop, no qual será feito o alinhamento entre as áreas de negócios e técnicas. A equipe envolvida na construção do MVP deve participar de todas as atividades, já os demais envolvidos (stakeholders) participam do kick-off e do showcase, onde são respectivamente apresentadas as expectativas e os resultados obtidos no workshop.
Por que é chamada de Lean Inception?
É uma forma diferente de se iniciar um projeto com a proposta de um novo estilo de inception (começo, em tradução livre), e é lean (magro, em tradução livre) por dois motivos:
A duração da inception é menor, eliminando tudo o que não diz respeito ao produto (como arquitetura, por exemplo) deixando-a enxuta.
O resultado final da inception é a compreensão do MVP, um conceito fundamental do movimento Lean Startup.
Quando fazer uma Lean Inception?
A Lean Inception é útil quando o time precisa desenvolver um MVP e criar um produto de forma iterativa e incremental. Apesar de o termo ser frequentemente mal entendido, a característica principal de um MVP é que se faz algo para aprender se vale a pena continuar construindo o produto ou não.
Também é um processo que ajuda na escolha de funcionalidades para validar o que é valioso para nossos usuários. Para isso, é necessário entender quem são os usuários, se o produto consegue se adequar às atividades que estes usuários realizam e como medir se eles acham o produto útil ou não.
Beleza, mas o que é um MVP?
O MVP (Minimum Viable Product ou Produto Mínimo Viável na tradução livre) está na interseção entre valioso (interesse do negócio), usável (aceitação e admiração dos usuários) e factível (o que é possível construir). O fator “uau” é a cereja do bolo.O fator “uau” é o que diferencia o seu produto no mercado. Aquilo que é capaz de conquistar seus usuários e transformá-los em ávidos promotores do produto.
Assim deve ser com os MVPs. Cada um deve ter os fatores factível, valioso, usável e “uau” e deve ser construído contendo uma fatia pequena da visão do todo, que contempla esses quatro fatores.
Validar e aprender rápido!
A primeira impressão é muito importante, pois queremos evitar uma péssima avaliação do cliente.
Pensar num cenário completo é bastante complexo, por isso valide e aprenda rápido com as informações obtidas através do MVP. Dessa forma, é possível avançar com melhorias mais rápidas e assertivas no desenvolvimento do produto.
Por que fazer uma Lean Inception?
Não é nada fácil elaborar o MVP. Para obter sucesso no desenvolvimento de um bom MVP é preciso:
Ter uma visão ampla do produto e do negócio;
Validar uma hipótese;
Elaborar os incrementos;
Garantir que o MVP contenha os 4 fatores principais (factível, valioso, usável e “uau”);
Organizar blocos que se encaixem;
Contemplar todo o funil de venda.
E todos esses pontos ficam mais claros com uma Lean Inception. Podemos observar no quadro abaixo um resumo de como fica a organização da Lean Inception quando a equipe já discutiu sobre o que compõe o MVP e já conversou sobre o que se espera dele.
Canvas MVP
Nesse modelo de organização, é necessário:
Dividir a equipe em dois grupos e solicitar que cada um preencha o Canvas MVP;
Cada grupo deve apresentar o seu MVP no seu respectivo template;
A equipe vai consolidar os sete blocos do Canvas MVP utilizando e alterando as anotações anteriores.
Conclusão da criação de um MVP na Lean Inception
Para finalizar, o MVP é demonstrado para os stakeholders. Essa é hora de conversar sobre os artefatos gerados na Lean Inception e compartilhar o entendimento do grupo sobre as hipóteses para validar o melhor caminho a ser seguido.
Mãe do Benício e do Miguel, Poduct Owner na Aquarela Analytics, CSPO®, Certifield Lean Inception Facilitador, Product Backlog Building (PBB), Digital Product Leadership – Tera, Scrum Master, Cursando Processos Gerenciais na Unifran.
Formada em Engenharia da Computação e mãe de pet. Possui certificação Scrum Fundamentals certified (SFC), Certificação Lean Agile Coach Professional (LACP) e Certificado Roda Ágil Professional (RAP). Atua como Product Owner/Scrum Master na Aquarela Analytics.
Todo Analista de Infraestrutura, DevOps ou mesmo o próprio Analista de Monitoramento desenvolve um plano de monitoramento para um serviço e inclui alguns objetivos de monitoramento.
O primeiro objetivo é garantir que os consumidores de monitoramento dentro da organização de T.I atinjam um alto nível de conforto ou de confiança com a solução que está sendo planejada para eles assim que possível.
O outro objetivo é avaliar continuamente os SLOs (Objetivos de nível de serviço) e os SLIs (indicadores de nível de serviço) correspondentes para o serviço específico e se esforçar para otimizá-los por meio de iterações de planejamento.
Como a observabilidade e o monitoramento têm bastante ligação, há uma distinção entre eles. O monitoramento coleta informações e informa que detectou um problema com base foi configurado para monitorar tais condições. Simplesmente declarado, onde é monitorado falhas conhecidas ou previsíveis.
Já a observabilidade é mais focada em combinar todos os dados coletados por suas ferramentas de monitoramento e buscar oportunidades para entender o comportamento desses sistemas. Por sua vez, pode ser usado este conhecimento para ajustar ainda mais o monitoramento detectando os sintomas e condições.
Por que a observabilidade é tão importante
A observabilidade é o primeiro paradigma do consumidor de monitoramento, pois ele reconhece o que é considerado ou percebido como operação normal de um serviço. Em outras palavras, ele busca visibilidade total, um princípio de monitoramento chave, assim que possível.
Assim que a observabilidade é alcançada, com base nesse nível inicial de visibilidade para desenvolver alertas acionáveis, é criado painéis úteis e avaliações de soluções AIOps (um acrônimo de “Artificial Intelligence for IT Operations”, ou seja, inteligência artificial para operações de TI). Isso acaba fornecendo tempo para que os analistas se sintam confortáveis com a métrica subjacente e os dados de monitoramento de logs.
A visibilidade total significa apenas alcançar e sustentar, porém a visibilidade suficiente contém três dimensões ou aspectos:
Monitoramento em profundidade
Monitoramento em amplitude
Monitoramento em todo o modelo de integridade
Um analista de observabilidade não apenas foca na T.I, mas sim em garantir que os usuários finais possam consumir o conteúdo e que os SLOs sejam atendidos.
Monitoramento de sistemas e observabilidade
O monitoramento da infraestrutura e dos aplicativos é bastante complexo, mesmo com a computação em nuvem sendo mais presente em nosso dia a dia, o influenciamento do monitoramento na nuvem vem ganhando mais força e deixando o nível de complexibilidade bem mais alto e necessário.
Para arquitetos, o diagnóstico forma um núcleo de sua exploração de estruturas de monitoramento nativas de nuvem mais econômicas que permitem que o TI gerencie serviços em diferentes modelos de nuvem. Os arquitetos precisam, como os operadores, entender quais informações de diagnóstico um componente de infraestrutura ou um aplicativo emite. Combinar fluxos de log multivariados, dinâmicos, de série temporal, com eventos, com estado e telemetria em uma inteligência valiosa depende do seguinte:
Conhecimento e experiência da pessoa desenvolvedora ou engenheira de software, que tenha um entendimento profundo do destino de monitoramento.
Experiência de solução de problemas e suporte reais usando os dados para encontrar problemas ou localizar as causas de problemas
Revisão de incidentes anteriores para encontrar motivos não tecnológicos que podem ser corrigidos automaticamente mais tarde.
Na nuvem, o analista tem uma flexibilidade enorme nos tipos de serviços que pode escolher. O monitoramento inclui como eles mudam ao longo do tempo e podem ser dinâmicos, globais e resilientes.
Diferença entre Monitoramento e Observabilidade
A observabilidade funciona de modo em que as plataformas descobrem e coletam telemetrias de desempenho. São encontradas em quatro tipos de telemetria:
Logs: são registros granulares, com carimbos de data/hora, completos e inalterável de eventos de aplicativos.
Métricas: são medidas fundamentais da integridade do aplicativo e dos sistemas durante um determinado período de tempo.
Rastreamento: registram a jornada ponta a ponta de cada solicitação do usuário.
Dependências: revelam como cada componente do aplicativo depende de outros componentes, aplicativos e recursos de TI.
Já o monitoramento significa observar e verificar um progresso ou qualidade de algo por um certo período de tempo. A monitoração foi mudando conforme a infraestrutura e ferramentas disponíveis ao longo do tempo.
Como medir o monitoramento e a observabilidade
Ao implementar um sistema de monitoramento e observabilidade dentro da organização, é necessário acompanhar algumas métricas internas para visualizar o desempenho.
Existem algumas opções que podem ser acompanhadas com uma pesquisa mensal ou possivelmente analisar automaticamente os registros de alerta.
Alterações feitas no monitoramento da configuração. Quantas solicitações de pull ou alterações por semana são feitas no repositório que contém a configuração de monitoramento? e com que frequência essas alterações são enviadas ao sistema de monitoramento?
Alterações de ‘Fora do horário de funcionamento’. Verificar qual porcentagem dos alertas é gerenciada a noite. Em algumas empresas globais têm um modelo de suporte 24 horas, o que não torna isso um problema, mas pode indicar que não foi dada atenção suficiente aos principais indicadores de falhas.
Falsos positivos. Quantos alertas resultaram em nenhuma ação ou foram marcados como ‘Trabalhando como pretendido’.
Falsos negativos. Quantas falhas do sistema ocorreram sem alerta ou alerta depois do esperado.
Alertas não funcionais. Qual porcentagem de alertas foi considerada ‘não aceitável’. Ou seja, o analista alertado não consegue tomar nenhuma medida imediata, devido a incapacidade de entender a implicação do alerta ou devido a um problema conhecido.
Conclusão – Monitoramento e Observabilidade
Quando se aplica a observabilidade e o monitoramento, os benefícios são imensos dentro da sua empresa, fazendo com que a inovação e implementação andem lado a lado deixando tudo mais rápido, custos reduzidos e melhor compreensão de como priorizar seu tempo e atenção dentro dos aplicativos.
Tudo isso leva a um entendimento mais profundo dos dados, sistemas e dos clientes. Além de agregar o crescimento nos negócios a medida que se tem visualizaçẽos em tempo real de como o sistema funciona.
DevSecOps Engineer na Aquarela Advanced Analytics. Formação Superior em Análise e Desenvolvimento de Sistemas e Pós-Graduando em DevOps and Cloud Computing. Apaixonado pela Cultura DevOps e entusiasta nas seguintes stacks tecnológicas: Cloud – AWS and GCP; Infraestrutura como Código – Terraform and Ansible; Containers – Docker and Kubernetes; Repositórios de código – Gitlab, Git and GitHub; Monitoramento – Grafana and Prometheus;
Quando se trata de projetar e construir aplicações de software, existem várias abordagens de arquitetura que os desenvolvedores podem adotar. Duas das abordagens mais populares e amplamente utilizadas são a arquitetura monolítica e de microsserviços.
Neste blog, exploraremos as diferenças entre monolito vs microsserviços, bem como seus respectivos prós e contras, para ajudá-lo a tomar uma decisão informada sobre qual arquitetura é a melhor para seu próximo projeto.
O que é Arquitetura Monolítica?
Uma arquitetura monolítica é uma abordagem tradicional no desenvolvimento de software na qual todos os componentes de uma aplicação são combinados em uma única unidade totalmente integrada.
Em uma arquitetura monolítica, a aplicação é implantada como uma única e grande base de código que contém todas as funcionalidades, acesso a dados e camadas de apresentação necessárias para executar o aplicativo.
Essa arquitetura é simples, fácil de entender e pode ser desenvolvida e implementada rapidamente, tornando-a uma escolha popular para muitos projetos.
O que são Microsserviços?
Os microsserviços são uma abordagem arquitetônica que divide uma aplicação complexa em uma coleção de serviços pequenos, ligeiramente acoplados, que se comunicam entre si por meio de APIs.
Cada microsserviço é responsável por uma função específica, como autenticação do usuário ou armazenamento de dados, e é implementado independentemente dos demais serviços.
Isso permite que as equipes trabalhem em cada serviço em paralelo, tornando o processo de desenvolvimento mais rápido e eficiente.
Prós e Contras da Arquitetura Monolítica
Prós da Arquitetura Monolítica:
Simples de entender e desenvolver: a arquitetura monolítica é simples e direta, tornando mais fácil para os desenvolvedores entender a aplicação e seus componentes.
Fácil de implantar: implantar uma aplicação monolítica é um processo direto porque todos os componentes são combinados em uma única base de código.
Fácil de testar: testar uma aplicação monolítica é mais fácil porque todos os componentes são integrados em uma única unidade, tornando possível executar um único conjunto de testes para verificar a funcionalidade de toda a aplicação.
Contras da Arquitetura Monolítica
Desafios de escalabilidade: as aplicações monolíticas podem se tornar lentas e sem resposta à medida que aumentam de tamanho, dificultando o dimensionamento da aplicação para atender às demandas crescentes.
Modularidade limitada: as aplicações monolíticas são totalmente integradas, dificultando a adição de novos recursos ou a alteração de recursos existentes sem afetar todo a aplicação.
Falta de agilidade: às aplicações monolíticas geralmente são criadas com uma única base de código, dificultando o trabalho das equipes em diferentes componentes em paralelo, levando a tempos de desenvolvimento lentos.
Prós e Contras da Arquitetura de Microsserviços
Prós da Arquitetura de Microsserviços
Escalabilidade: a arquitetura de microsserviços permite o dimensionamento independente de serviços individuais, facilitando o gerenciamento de demandas crescentes e aumento do tráfego.
Modularidade: cada microsserviço pode ser desenvolvido e implantado de forma independente, facilitando a adição de novos recursos ou a alteração de recursos existentes sem afetar todo a aplicação.
Agilidade: a capacidade de trabalhar em cada microsserviço em paralelo torna o processo de desenvolvimento mais rápido e eficiente.
Resiliência: a arquitetura de microsserviços pode fornecer melhor resiliência e tolerância a falhas, pois falhas em um serviço não afetam todo a aplicação.
Contras da Arquitetura de Microsserviços
Complexidade: a arquitetura de microsserviços é mais complexa do que a arquitetura monolítica, dificultando o entendimento dos desenvolvedores sobre a aplicação e seus componentes.
Maior sobrecarga operacional: gerenciar um grande número de microsserviços pode ser desafiador e pode aumentar a sobrecarga operacional, como implementação, monitoramento e teste de serviços individuais.
Comunicação entre serviços: a comunicação entre microsserviços pode apresentar problemas de latência e confiabilidade, levando à degradação do desempenho e dificuldade na depuração.
Conclusão – Monolito vs Microsserviços
Concluindo a análise entre monolito vs microsserviços, podemos dizer que tanto a arquitetura monolítica quanto a de microsserviços têm seus prós e contras, e a escolha da arquitetura dependerá dos requisitos e objetivos específicos do seu projeto.
Se você estiver criando uma aplicação pequena e simples com requisitos de escalabilidade limitados, a arquitetura monolítica pode ser a melhor escolha. É direta, fácil de entender e pode ser implementada rapidamente.
Por outro lado, se você estiver criando uma aplicação complexa e de grande escala, a arquitetura de microsserviços pode ser uma escolha melhor. Essa abordagem oferece melhor escalabilidade, modularidade e agilidade, mas vem com maior complexidade e sobrecarga operacional.
Em ambos os casos, é importante entender as vantagens e desvantagens e considerar cuidadosamente suas necessidades específicas antes de tomar uma decisão. Também pode ser útil considerar o uso de uma abordagem híbrida, que combine elementos da arquitetura monolítica e de microsserviços, para obter o melhor dos dois mundos.
Independentemente de qual arquitetura você escolher, é crucial ter uma compreensão clara de seus objetivos, requisitos e restrições e escolher a arquitetura que melhor atenda às suas necessidades. Com a abordagem certa, você pode criar uma aplicação de software escalável, sustentável e que forneça os resultados de negócios desejados.
Neste artigo vamos explicar de forma simplificada o HDFS (Hadoop Distributed File System), tecnologia que dá suporte a muitas estratégias de gestão de dados analíticos que impactam diretamente na elevação dos níveis de maturidade analítica.
Deter um conhecimento básico deste conceito é fundamental para gestores interessados em adotar uma cultura e plataforma de dados escalável e profissionais com foco na área de engenharia de dados.
O que é o HDFS?
O HDFS é um sistema de arquivos distribuídos projetado para permitir que grandes quantidades de dados sejam armazenadas de maneira acessível em clusters de computadores. Ele foi criado para permitir que empresas processassem grandes quantidades de dados de maneira rápida e eficiente, o que é essencial em um mundo cada vez mais dependente de dados.
É importante não confundir o Hadoop, ou ecossistema Apache Hadoop, com o HDFS, que é a tecnologia do particionamento dos discos onde os dados estarão armazenados fisicamente utilizando uma estratégia de computação distribuída (várias máquinas).
O Hadoop, por outro lado, é o framework (Stack Tecnológico) de processamento de dados que utiliza, entre outras ferramentas, o HDFS para armazenar e processar grandes quantidades de dados de maneira eficiente.
Atualmente, o conhecimento sobre HDFS é um dos requisitos mais importantes para profissionais da área de computação e TI interessados em infraestrutura de grandes bases de dados.
Por que o HDFS foi criado?
A solução técnica do HDFS surgiu para atender problemas de armazenamento de dados. Estes problemas começaram a se tornar evidentes a partir dos anos 90 com o rápido crescimento de dados gerados por computadores atuando em rede e, mais recentemente, dispositivos móveis de internet das coisas (IoT).
Um ponto importante é que nesta evolução os dados cresceram apenas em quantidade como também em termos de variedade (Entendendo as diferentes naturezas e tipos de dados). Em outro artigo (Dos dados à inovação com Analytics) mostramos como se dá esta evolução no crescimento de dados e tecnologias de apoio desde a captura do dado até as análises avançadas para apoio ao conceito de indústria 4.0.
Neste contexto de grande quantidade e variedade de dados que a solução tecnológica HDFS foi gerada, fazendo com que ele fosse projetado para ser tolerante a falhas (por funcionar em rede) e para trabalhar com dados não estruturados de maneira eficiente.
O fato do HDFS ter sido desenvolvido para operar em rede o tornou, além de seguro, escalável, permitindo que novos computadores possam ser agregados ao cluster e, assim, chegar a quantidade de armazenamento muito superior e de fácil acesso quando comparados com tecnologias da época.
Em termos de escala, costuma-se utilizar o framework Hadoop e o HDFS em conjuntos de dados partindo de 100GB, podendo chegar até mesmo aos Petabytes (1 Petabyte ≅ 1 milhão de Gigabytes).
Como é estruturada a hierarquia HDFS?
O HDFS (cluster), como o “distribuído” no seu próprio nome já diz, é composto por várias máquinas que são chamadas de “nodos”. Esses nodos podem ser basicamente de 2 tipos:
Nodos de nomes (nodos de meta dados)
Os nodos de nome, ou Namenodes, são os responsáveis por manter o mapeamento dos arquivos para os nodos de armazenamento, ou Datanodes. Na prática, eles mantêm uma lista dos blocos em que cada arquivo foi dividido e para quais Datanodes eles foram enviados para serem armazenados.
Quando um usuário quer obter uma informação ou até mesmo escrever um novo arquivo no HDFS, ele envia uma solicitação ao Namenode, que por sua vez encaminha essa solicitação diretamente ao Datanode correspondente.
Nodos de dados (comumente também chamados de nodos de armazenamento)
Os nodos de dados, ou Datanodes em inglês, guardam os dados em si. No entanto, eles o fazem de forma particionada, armazenando tudo em blocos de mesmo tamanho (normalmente 128MB), após serem divididos e distribuídos.
Cluster HDFS
Esse conjunto de máquinas/nodos é chamado de cluster HDFS, e é justamente o responsável por receber e particionar os arquivos em blocos e, em seguida, distribuir esses pedaços pelos Datanodes, ao mesmo tempo que armazena essas localizações no Namenode.
Outra função muito importante do cluster é ser tolerante a falhas, e por esse motivo sempre há cópias de cada bloco espalhadas pelos Datanodes para caso de falha em um dos servidores. Esse número de cópias é determinado pelo “fator de replicação” do cluster.
Apesar de estarmos falando em arquivos aqui, o HDFS consegue armazenar uma grande variedade de tipos de dados de forma inteligente e particionada, como tabelas relacionais, coleções de dados não relacionais, arquivos de fato, entre outros.
Como funciona o método de armazenamento HDFS?
Em uma aplicação centralizada, normalmente os dados são trazidos até a aplicação para que sejam processados e consumidos. Já no HDFS, o conceito é completamente reinventado, e podemos dizer que levamos a aplicação até próximo de onde os dados estão fisicamente guardados.
Como o HDFS consiste, basicamente, em dados armazenados de forma distribuída, conseguimos utilizar esse fato como vantagem para obtermos grandes velocidades através do processamento acontecendo paralelamente em vários pontos.
Na figura a seguir, um exemplo ilustrativo de como o cluster HDFS iria armazenar um arquivo de 360MB de forma distribuída pelos nodos:
Primeiramente iria particionar o arquivo em blocos de, no máximo, 128MB (repare que o último bloco ficou com 104MB).
Em seguida, o cluster distribui o primeiro bloco e suas cópias (no nosso caso aqui, 3 cópias ao total) pelos 4 nodos, de forma aleatória, de acordo com sua política de balanceamento de armazenamento.
O processo é repetido para cada um dos blocos até que todo o arquivo tenha sido processado.
O Namenode, nesse momento, contém a localização de todos os blocos (e suas cópias) do arquivo de entrada, o que permite que possamos executar operações em paralelo (ou seja, simultâneas) em cada um dos nodos quando estivermos querendo consultar ou computar dados desse arquivo no futuro.
Impacto da tecnologia nos negócios
O HDFS tem um grande impacto nos negócios, pois é uma tecnologia que permite que empresas desenvolvam “Data Lakes“ para inicialmente preservar seus dados de forma segura e eficiente ao longo do tempo.
Em um segundo momento do desenvolvimento da cultura e base tecnológica do Data Lake, também é possível agregar informações externas e permitir que a empresa elabore pesquisas estruturadas utilizando conhecimento de negócio, ciência de dados e inteligência artificial para alavancar a descoberta de padrões dentro das operações.
Os insights gerados a partir de dados bem armazenados e organizados são valiosos para uma tomada de decisão mais assertiva, o que pode ter um impacto positivo nas operações e nos resultados das empresas.
Esta tecnologia, que vem servindo de suporte ao ecossistema Hadoop, tem um impacto considerável na capacidade das empresas de integrar informações de vários setores da empresa e torná-las acessíveis em uma estratégia de democratização da informação de gestão, impactando diretamente nos níveis de maturidade e governança de dados.
Algumas das principais empresas que utilizam o Hadoop Distributed File System em sua infraestrutura são:
A Amazon utiliza o HDFS para armazenar e processar grandes quantidades de dados de seus sites de e-commerce e de seus serviços de nuvem.
O Facebook utiliza HDFS para processar e armazenar grandes quantidades de dados gerados pelos usuários do site, incluindo publicações, curtidas e comentários.
A Yahoo foi uma das primeiras empresas a utilizar oHdfs em larga escala, e hoje o utiliza para processar e armazenar grandes quantidades de dados gerados por seus usuários, incluindo pesquisas na web, e-mails e outros dados de uso.
O eBay utiliza o HDFS para processar e analisar grandes quantidades de dados gerados pelos usuários do site, incluindo transações de compra e venda.
A Netflix utiliza o Hadoop para processar e armazenar grandes quantidades de dados de uso dos usuários, incluindo dados de streaming de vídeo.
Conclusões e recomendações sobre HDFS
Neste artigo, explicamos o que é a tecnologia HDFS, apresentamos algumas razões para sua criação, incluindo um exemplo de como funciona o armazenamento físico de um arquivo nesta modalidade de partição distribuída em rede e como isso pode impactar a operação das empresas, sendo o engenheiro de dados o profissional responsável pela definição da arquitetura, implantação e manutenção dos clusters.
Em resumo, o HDFS é uma forma inteligente de armazenar e processar grandes quantidades e variedades de dados em rede. Os computadores que utilizam o HDFS são conhecidos como nós ou nodos e são conectados entre si, formando clusters capazes de realizar armazenamento/processamento em grande escala de forma paralela e distribuída.
O HDFS é amplamente utilizado em aplicativos de análise de big data, o que o torna essencial para muitas empresas que dependem de um grande volume de dados para tomar decisões estratégicas.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Ph.D. em Ciência da Computação pela Sapienza Università di Roma (Itália). Doutor em Engenharia e Gestão do Conhecimento pela UFSC. Mestre em Engenharia Elétrica – ênfase em Inteligência Artificial. Especialista em Redes de Computadores e Aplicações para Web, Especialista em Metodologias e Gestão para EaD, Especialista em Docência no Ensino Superior e Bacharel em informática.
Possui experiência acadêmica como Professor, Coordenador, Palestrante e é Avaliador ad hoc do Ministério da Educação (INEP) bem como da Secretaria de Educação Profissional e Tecnológica (MEC) e do Conselho Estadual de Educação (SC).
Nas suas atividades profissionais, atua com de projetos nas áreas de: Ciência de Dados, Inteligência de Negócios, Posicionamento Estratégico, Empreendedorismo Digital e Inovação. Atua como Consultor na área de Projetos para Inovação e Soluções Computacionais Inteligentes utilizando Data Science e Inteligência Artificial.
No processo produtivo de uma empresa, qualquer falha pode comprometer a sua capacidade de atendimento às demandas do mercado. Por isso, a empresa precisa ter controle sobre os fatores capazes de afetar a sua produção, como a manutenção de seus equipamentos e máquinas. Nesse contexto, a manutenção preditiva torna-se imprescindível para manter o maquinário em perfeito funcionamento e assim garantir a eficiência do processo de produção.
O que é manutenção preditiva
A manutenção preditiva é uma modalidade de manutenção que indica as reais condições de máquinas e equipamentos com o objetivo de antecipar possíveis falhas, indicando o tempo de vida útil deles e as condições necessárias para estender o seu tempo de funcionamento.
Esta metodologia de manutenção pode ser aplicada em qualquer tipo de indústria. Ela possibilita prever quando será necessário consertar, trocar equipamentos ou ainda comprar outros melhores.
A manutenção preditiva acontece a partir da coleta de dados dos equipamentos em funcionamento, utilizando técnicas que envolvem a prevenção de danos e a previsibilidade de falhas. Assim, ela detecta qualquer possível falha nas máquinas antes que elas aconteçam, impedindo a propagação de danos e garantindo a eficiência no processo de produção.
Benefícios
Conforme a consultoria McKinsey & Company, a manutenção preditiva pode aumentar a vida útil de uma máquina de 20% a 40% e reduzir os custos de manutenção em até 25%. Além disso, outros benefícios são:
Aumento da produtividade
Diminuição de paradas não programadas
Aumento dos lucros
Redução de risco de acidentes de trabalho.
Economia no consumo de energia
Redução nos custos de manutenção
Como funciona a manutenção preditiva
Como citado anteriormente, a manutenção preditiva tem como base a coleta e análise de dados das máquinas e equipamentos. O maquinário é analisado em sua totalidade, suas condições, os sinais que emite e o seu desempenho.
Para obter essas informações, utilizam-se algumas ferramentas de monitoramento, como os sensores, que captam e enviam as variações para softwares de análise.
É importante destacar que se alguma irregularidade for identificada no equipamento, é feito um diagnóstico a fim de estudar a origem do problema e assim encontrar a melhor solução para ele.
Estes são alguns exemplos de aparelhos que realizam o diagnóstico de máquinas e equipamentos: termografia, ferrografia, ultrassonografia, análise de vibrações e de pressões.
Manutenção preditiva na era da Transformação Digital
Na era da transformação digital, o uso de dados vem se tornando cada vez mais presente na Indústria, não somente servindo como base para a tomada de decisão dos gestores, mas auxiliando no aumento da eficiência operacional e na otimização de processos.
A manutenção preditiva se destaca por ser uma das pioneiras em utilizar dados para otimizar processos. Ela vem se aprimorando graças ao avanço da tecnologia, tornando-se cada vez mais mais assertiva, econômica e eficiente na manutenção das máquinas e equipamentos.
Há diversas tecnologias capazes de auxiliar o processo de manutenção do maquinário, como IoT, Machine Learning, Inteligência Artificial e Big Data. A principal delas é a tecnologia IoT (Internet das coisas), que permite a identificação de padrões e o acompanhamento do desempenho dos equipamentos em tempo real por meio de sensores e de análise de dados, ajudando na previsão de falhas com alto grau de precisão. Essas tecnologias também são essenciais na manutenção prescritiva, mas isso abordaremos em outro artigo.
Como vimos, a manutenção preditiva é uma opção viável e segura de manutenção. Ela consiste em antecipar falhas nos equipamentos e máquinas, indicando o tempo de vida útil deles e as condições necessárias para estender o seu tempo de funcionamento. Assim, evita danos de produção em cadeia, reduz as paradas não programadas, garantindo a eficiência no processo de produção.
Esperamos que você tenha gostado do artigo.
Quer saber mais sobre a utilização de Inteligência Artificial e Advanced Analytics na Indústria? Então, assine a nossa Newsletter.
O que é a Mercopar e qual seu papel para a indústria do Brasil?
A Mercopar é um espaço de geração de negócios, disseminação de conhecimento sobre tendências da indústria e estímulo à economia. Ela é a maior feira de inovação e negócios da América Latina com foco na geração de conexões e negócios entre expositores e potenciais clientes.
A Feira aproxima empresas nacionais e internacionais, conectando pequenos, médios e grandes negócios da indústria, nos segmentos metalmecânico, tecnologia da informação, energia e meio ambiente, borracha, automação industrial, plástico, eletroeletrônico, movimentação e armazenagem e Startups.
Em 2020, o evento bateu recorde com R$128 milhões em negócios gerados para os segmentos metal mecânico, tecnologia da informação, energia e meio ambiente, borracha, automação industrial, plástico, eletroeletrônico, movimentação e armazenamento e Iniciantes.
A 30ª edição do evento de inovação
Realizada de 5 a 7 de outubro, no Centro de Feiras e Eventos Festa da Uva, em Caxias do Sul – RS, a 30ª Mercopar cumpriu o objetivo de ser um vetor para a retomada da atividade industrial no Brasil. Promovida pelo Serviço de Apoio às Micro e Pequenas Empresas no Rio Grande do Sul – Sebrae RS e pela Federação das Indústrias do Estado do Rio Grande do Sul – FIERGS, a feira superou as expectativas e registrou, até o momento, R$ 224 milhões em negócios gerados, um crescimento de 75% em relação ao ano anterior.
A edição que marcou os 30 anos da maior feira de inovação e negócios da América Latina contou com os patrocínios das empresas Randon, Sicredi Pioneira, Instituto Hélice, Portos RS e SIMECS. Ela reuniu 347 expositores dos segmentos metalmecânico, tecnologia da informação, energia e meio ambiente, borracha, automação industrial, plástico, eletroeletrônico, movimentação e armazenagem, sendo 44 deles startups. Além de empresas gaúchas, estiveram presentes outras do DF, ES, GO, MG, PR, RJ, SC e SP.
A Mercopar teve, em uma área de 20 mil m², um total de 13.952 visitantes presenciais, respeitando o teto de ocupação de 2.500 pessoas simultaneamente, por faixa de horário (máximo de 15.000 para todo o período da Feira), imposto pelo protocolo de segurança sanitária, e mais 6.125 acessos em sua plataforma online. Ela é, sem dúvida, um dos principais eventos industriais do país, pois é fundamental para que as inovações de processo e produtos cheguem até a realidade dos diversos setores industriais que compõem a economia brasileira.
A percepção da Aquarela Analytics sobre a Mercopar
Marcos Coimbra, Gestor de Negócios na Aquarela Analytics.
Além de uma intensa troca de informações e experiências com diversos visitantes e expositores, tivemos a oportunidade de mostrar na prática o funcionamento de nossa solução construída em parceria com o Grupo São Carlos, o SMART VAC. Na feira, foram demonstrados na prática o funcionamento da solução, a qual é capaz de predizer falhas em equipamentos HVAC.
Em nosso primeiro dia de evento, realizamos os preparativos e trocamos informações com o nosso parceiro, Grupo São Carlos. Depois de mapearmos as empresas de nosso interesse, iniciamos as visitas aos stands. As empresas foram receptivas conosco, permitindo que nos apresentássemos e compartilhássemos experiências.
Na feira, estavam presentes empresas que atendem toda a cadeia de valor da Indústria.
Um fato curioso é que, durante o evento, percebemos que muitas empresas de médio porte ainda não estão usando inteligência artificial em suas operações, o que nos trouxe uma excelente oportunidade de negócios.
A solução Smart Vac da Aquarela simplifica todo um processo de análise sobre a saúde do equipamento de refrigeração de forma preditiva, integrada e automatizada. Em outras palavras, se esta análise fosse realizada por um especialista em refrigeração, ela seria bastante manual e pouco otimizada (uma avaliação por equipamento) e ainda sim poderia ter uma taxa de acerto bastante variada com o grau e experiência de cada profissional.
Com a solução agregando todo o conhecimento da Aquarela na área de sistemas preditivos, experiência de mais de 60 anos do grupo São Carlos e conectividade dos sensores de IOT, torna-se possível ensinar os computadores sobre os sinais e as leis físicas que regem o funcionamento dos equipamentos a ponto de identificar de forma antecipada se haverá algum problema no sistema. Isso é muito relevante para a gestão de ativos críticos relacionados à temperatura.
O futuro da indústria será cada vez mais conectado, sensorizado e preditivo. A solução Smart Vac é uma inovação, mas que já está presente em mais de 350 equipamentos em 4 estados do Brasil. Nesse caminho, a previsão é de chegar a mais de 1000 equipamentos até o final de dezembro de 2021.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Gestor de Negócios e Projetos na Aquarela Analytics. É Pós-graduado em Gestão de Projetos (MBA), Bacharel em Administração de Empresas, especializado em Sistemas, Modelagem de Processos de Negócios (BPM) e Gerenciamento de Projetos. Possui trajetória profissional na área de TI no segmento de sistemas integrados de gestão e de apoio à decisão.
