Dados são ativos-chave para quaisquer negócios que queiram fazer parte da Indústria 4.0.
Encontrar indícios do que seus clientes desejam, como mudou o estoque da empresa, ou como seus indicadores evoluíram com o tempo, são fundamentais para qualquer organização se manter acima do nível da água.
Quando dados são mal interpretados, podem ocultar informações vitais e prejudicar a tomada de decisão e quando o volume de dados aumenta e se torna não administrável, a cultura de Big Data Analytics se torna chave para encontrar sentido não só no que está acontecendo, mas também o porquê de cada processo.
Por que o mercado demanda Big Data Analytics?
Para entender o que é Big Data Analytics, primeiro precisamos entender a dimensão do que é Big Data.
Exemplo na cadeia de suprimentos (logística)
Vamos imaginar uma empresa do ramo alimentício, com um portfólio de milhares de produtos e atendendo a mercados internacionais com uma vasta e complexa cadeia de suprimentos e logística que inclui múltiplos atores que vão desde o criador de animais até donos de supermercados e clientes.
Nesta cadeia de suprimento, cada item produzido, seus custos, preços, formas de distribuição e venda são mapeados dia-a-dia, gerando volumes de dados na casa dos milhões de relacionamentos de negócio.
Todas as informações poderiam ser armazenadas em planilhas, se os registros não ultrapassarem 1 milhão de linhas (entenda as limitações das planilhas). Como é de se imaginar, as informações acabam sendo fragmentadas em diversas planilhas, e com isso surgem algumas questões:
Como podemos saber quais mercados estão aquecidos?
Quais as tendências de compra de diferentes regiões?
Onde pode faltar estoque e onde está sobrando?
Por que estou perdendo market share?
Quais os gargalos da distribuição?
Quais os fatores mais impactantes na margem de lucro por produto, cidade, estado, país?
Big Data Analytics é chave para desvendar essas e muitas outras perguntas.
Dimensões do Big Data Analytics
Os 5Vs de Big Data
O que a Big Data Analytics faz, é lidar com esses grandes volumes de dados variados de forma veloz e verossímil, para transformá-los em valor para as empresas. Esses são os 5 Vs da Big Data, e entendê-los é fundamental para os aplicar no seu negócio:
Volume: Big Data lida com grandes volumes, transformando dados em informações, e informações em conhecimento. Não é incomum que nossos projetos lidem com milhões de amostras e milhares de variáveis. Fazendo um paralelo, pense em uma planilha com um milhão de linhas e mil colunas. Seria difícil entender algo sem Big Data Analytics, não?
Variedade: é comum que a aquisição de dados em empresas aconteça de forma múltipla. Pode ser necessário coletar dados de clientes, cruzar com bancos de dados geo-populacionais, dados do governo, entre outros. Claro, tudo isso respeitando a Lei Geral de Proteção de Dados (LGPD). Descobrir e agrupar dados relevantes e manter o pé na realidade é um grande desafio que exige uma cultura de dados desenvolvida;
Velocidade: claro que apenas coletar dados não é suficiente. Precisamos buscar estratégias para transformá-los em conhecimento o mais rápido possível, antes que o concorrente tome a frente. Na corrida por informações, entender dados rapidamente é poder;
Veracidade: aqui na Aquarela costumamos dizer que rodar modelos, mastigar números e chegar em resultados é a parte fácil. Difícil mesmo é ter certeza de que a análise está nos levando a conclusões coerentes, reais e com alto valor. Um modelo de Big Data é tão bons quanto os dados que entregamos a ele. Cabe a nós entender o que faz sentido e garantir que o resultado reflete a realidade;
Valor: É neste V que se encontra o principal resultado da Big Data Analytics: transformar dados em valor. Entender de verdade o que e porquê as coisas estão acontecendo é fundamental para tomarmos decisões mais conscientes e certeiras.
Dados certos + perguntas certas = respostas certas
Big Data Analytics aumenta a inteligência dos negócios. Enquanto análises tradicionais buscam desvendar o que está acontecendo (de forma bastante limitada), o uso de Advanced Analytics é capaz de encontrar os porquês, o que está oculto, ou até mesmo estimativas do que vai acontecer.
Big Data Analytics é uma grande aliada no desenvolvimento de novos produtos, na redução de custos e aumento de eficiência, além da tomada de decisão de forma rápida e assertiva.
Você já imaginou abrir uma planilha de 6 bilhões de cells no Excel? Ou, se a planilha abrir, tentar encontrar padrões de comportamento que façam sentido e ajudem a entender o que está acontecendo? Difícil, não?
Fase 1 – Aquisição dos dados
O primeiro desafio da Big Data Analytics sempre é adquirir os dados, um trabalho que os Engenheiros de Dados dominam. O desafio é, onde estão e como serão coletados.
Fase 2 – Limpeza dos dados
A limpeza dos dados tradicionalmente consome mais de 80% de todos os recursos dos projetos de analytics até se chegar aos datasets de análise (O que são Datasets?) . O desafio é, como garantir que os datasets estejam íntegros e maduros para análise. Somente os dados corretos são capazes de nos dar respostas certas mediante perguntas suficientemente assertivas.
Fase 3 – Mineração de padrões em dados
A mineração de dados, ou Data mining é fundamental (e um grande gargalo) para podermos acessar os dados e deixá-los prontos para serem analisados.
Nesse momento entram análises quantitativas com modelos matemáticos, ou mesmo modelos de Machine Learning. Isso tudo para conseguirmos utilizar dados para resolver os mais variados problemas.
Nesta fase entram os Cientistas de Dados e Engenheiros de Machine Learning, buscando soluções muitas vezes ocultas. É papel dessa equipe criar uma arquitetura que seja escalável, entender os reais problemas do cliente e atender aos 5 Vs.
Maturidade de Big Data Analytics no mercado Brasileiro
É claro que atingir essa maturidade e ter proficiência nos 5 Vs dentro de uma cultura coerente de dados e com processos bem definidos de governança não é tarefa fácil.
Para diagnosticar esse fato, realizamos em 2018 uma pesquisa que gerou um relatório revelando a realidade da maturidade de dados das empresas no Brasil. Em uma escala de 1 a 5, as empresas respondentes informaram o nível de maturidade de suas organizações.
Abaixo estão os resultados indicando que a automação de comportamentos inteligentes (nível 5) ainda é baixo, ao passo que a grande maioria já possui sistemas de BI (business Intelligence) implantados.
Resultado dos níveis de maturidade de dados das empresas Brasileiras (Aquarela 2018)
Big Data para Big Business
A projeção de receita mundial com análise de negócios e Big Data deve atingir 274.3 bilhões de dólares até 2022 (IDC), com empresas como Netflix economizando até 1 bilhão de dólares por ano com o uso de Big Data (TechJury). Para essas empresas, uma cultura de dados madura é essencial para se diferenciar e continuar crescendo. Organizações que utilizam Big Data, seja internamente ou externamente, veem um aumento entre 8 e 10% de lucro (Entrepreneur), com benefícios como (Chicago Analytics Group):
Ciclos de inovação 25% mais rápidos;
Aumento de 17% de eficiência e produtividade;
Pesquisa e Desenvolvimento 13% mais eficiente;
12% mais diferenciação de produtos e serviços. (transformar em gráfico)
Não é à toa que muitas empresas estão em busca de melhorar seu relacionamento com dados, mas infelizmente a cultura de dados ainda não é uma realidade global. Cerca de 87% das empresas ainda possui maturidade baixa quando se trata de inteligência de negócios e Analytics (Gartner). Os custos desta desinformação e da baixa qualidade dos dados chega a 3.1 trilhões de dólares por ano apenas na economia dos EUA (IBM).
O crescimento rápido associado a complexidade do tema, fica evidente que as organizações precisam do apoio de empresas especialistas em analytics para acelerar a transformação digital, principalmente nas questões de implementação rápida de soluções de dados e de inteligência artificial. Vemos que muitas empresas assumem um alto risco tecnológico ao tentar formar equipes para atividades relativamente distantes do seu core business como é o caso de Big Data Analytics.
A cultura de Advanced Analytics na Aquarela
Na Aquarela, nossa cultura de Big Data Advanced Analytics foi desenvolvida e evolui constantemente com foco em todos os Vs de Big Data Analytics, boas práticas de governança e também no aprimoramento do stack tecnológico que compõe a plataforma VORTX.
Buscamos entregar uma experiência de resultados a partir de analytics que é capaz de mudar a cultura dos clientes, da indústria e dos serviços que passam por um intenso e sério processo de transformação digital. Para atingir esse objetivo, confiamos em nossos clientes e buscamos as soluções junto a eles, com todas as partes sendo essenciais para o sucesso dos projetos. Isso tudo vai além das análises pontuais de dados, pois é um intenso processo de evolução colaborativa guiada por dados, conhecedores de processos de negócios e tecnologias de informação e comunicação.
Resultados tangíveis
Como resultados práticos, conseguimos elevar a maturidade de dados de nossos clientes, gerando por exemplo:
É uma grande gama de soluções que geram uma inteligência expandida, a qual não seria possível de ser alcançada sem todos os componentes da cultura de dados, atuando sinergicamente dentro de uma visão clara do que é inteligência artificial.
Conclusões
Big Data Analytics é um algo muito amplo, os 5vs ajudam a simplificar o conceito para os gestores promoverem mudanças práticas na realidade das organizações. Hoje muitas empresas apresentam dificuldades em se reinventarem nesta nova economia digital, seja por limitação técnica no uso intensivo de planilhas ou por limitações metodológicas/culturais relacionadas a dados.
Neste artigo, buscamos mostrar como o mercado vem apresentando sua demanda por analytics, quais os pontos de negócio mais importantes e até um pouco da maturidade de dados no cenário brasileiro. Desta forma, os principais temas que recomendamos aos gestores são:
Governança de dados
Desenvolvimento de cultura de dados
Otimização de cadeias de distribuição, logística e design de processos comerciais
Privacidade de dados – Lei Geral de Proteção de Dados (LGPD)
Nossos squads interdisciplinares trabalham dia-a-dia com tecnologias de ponta para entender os desafios, encontrar oportunidades, e resolver os seus maiores problemas. Se na indústria 4.0 dados são poder, nós buscamos empoderar nossos clientes para transformar dados em informação, informação em conhecimento, e conhecimento em valor estratégico para o seu negócio. É pela transformação digital que a Aquarela aumenta a inteligência do mundo.
Quais desafios de Big Data Analytics você enfrenta hoje? E O que estão fazendo para superar?
Cientista de Dados e Service Designer na Aquarela, especialista em Design Centrado no Usuário e doutorando em Engenharia Mecânica pela UFSC com foco em IA aplicada a criatividade e inovação em organizações. Tem experiência como consultor e palestrante em IA, criatividade, inovação e UX/Design de Serviço.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
No post I, ver aqui, falamos sobre o quanto é importante o planejamento e se preparar para a nossa guerra contemporânea, que tem como objetivo a informação certa no menor prazo possível.
Nosso soldado data scientist já tem consciência de ferramentas e possíveis estratégias para a batalha da análise de dados. Porém, o fato de ter apenas os métodos comprados e instalados na empresa nem sempre geram resultados, e por que isso acontece?
Disposição de Ferramentas
“7. Prever uma vitória que o homem comum pode prever não corresponde ao auge da habilidade.”
Sun Tzu falava da Disposição das Tropas, nós falamos da Disposição de Ferramentas. Descobrir o óbvio não agrega valor à empresa e é o principal ponto de atenção das equipes de analytics. A exceção a essa regra está nos casos onde análise tem o objetivo de testar um algoritmo ou abordagem e então saber se as ferramentas (metodologia + inteligência artificial) foram capazes de encontrar o que já se sabe e ir além.
Verificamos que a experiência dos analistas é um fator determinante no sucesso dos estudos de analytics. Isso se deve, principalmente, por prever erros estruturais nos fluxos de análise e a criatividade para desenvolver testes contra os algoritmos. Ainda, compará-los em diversas dimensões e eventualmente encontrar explicações esperadas de validação e no auge da habilidade, informações não previstas que geram oportunidades reais de melhoria.
Forças normais e extraordinárias
“5. Na batalha, valha-se da força normal para o combate e utilize a extraordinária para vencer.”
Existem forças normais que podemos usar para complementar as extraordinárias, é o exemplo das ferramentas livres e open source ou mesmo estratégias coerentes de indicadores (KPIs – Key Performance Indicators) já fazem uma diferença bastante grande no desempenho com impacto direto nos níveis de maturidade de analytics.
Agora dependendo do nível da competição, do timing e tamanho do mercado, utilizar ferramentas fechadas podem fazer a diferença do extraordinário, por isso, fique atendo a soluções fechadas disponibilizadas por APIs.
O preço da dúvida
“9. Na guerra, o perito age de maneira sutil e insubstancial, não deixa pistas; divinamente misterioso, é inaudível; torna-se, ele próprio, senhor do destino de seu inimigo.”
No mundo analytics, cases detalhados são raramente divulgados. Do que dá certo ou errado, cada um guarda para si, mais ou menos como no investimento em ações. Aparentemente, uma das formas mais plausíveis de se obter conhecimento real das tentativas e erros é pela incorporação e disseminação de processos de gestão do conhecimento e contratações estratégicas.
Conclusão: Estratégias
“4. Na guerra, tanto a vantagem quanto o perigo são inerentes às manobras.”
Há uma expectativa bastante grande com relação a qualquer iniciativa de Data Analytics dentro das organizações e isto acontece independentemente do nível de maturidade de dados em que elas se encontram. O fato é que, para chegar a modelos preditivos realmente assertivos, o caminho é tortuoso e multidisciplinar. Por tanto, projetos com poucos recursos (horas de analistas, computadores parrudos, ferramentas de análise e capacitação) tendem a ter resultados coerentes com o investimento.
Então é isso pessoal, espero que a analogia ajudou no entendimento e que gere valor no seu negócio. Um forte abraço de toda a equipe da Aquarela Advanced Analytics.
People Manager na Aquarela Advanced Analytics. Graduada em Psicologia e entusiasta em novas tecnologias e como elas podem oferecer qualidade de vida para as pessoas.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Nos últimos 4 anos, nós da Aquarela fizemos um levantamento sobre o mercado de análise de dados e sua cultura dentro das organizações. Descobrimos alguns padrões interessantes sobre os dramas mais comuns que conduzem à dificuldade de retornar os investimentos de data analytics. Menos de 4% dos projetos de analytics retornam o investimento. Como o tempo é cada vez mais curto, tanto para quem escreve como para quem lê, seguem as informações resumidas sobre esses padrões.
Padrões e dramas comuns na análise de dados dentro das empresas
Piá do Excel
O piá do Excel (guri, rapaz ou menino – dependendo da região do país), é um tipo típico nas empresas. Sua função é ser uma prótese cognitiva que concatena informação e memoriza fórmulas e processos para tornar refém todas as pessoas ao seu redor. Por isso ele é muito respeitado, admirado e conhecido. Sua saída implica, em alguns casos, em pânico, confusão e até pressão alta.
Capoeiras Cognitivas
A dança/luta física e ritmada da capoeira é uma atividade mental altamente valorizada e necessária para conseguirmos administrar tantas informações de tantas formas e em tão pouco tempo para gerar uma conclusão relevante ao final. A capoeira cognitiva é importante para administrar a parálise (paralisia por excesso de análise)
Uma andorinha não faz verão
Tipicamente se busca uma única resposta para todos os problemas. A única forma de se resolver problemas sistêmicos é atacando-os de forma sistêmica com a menor dependência possível do piá do Excel. Geralmente acontece o inverso causando problemas para ambos.
Problemas de causa e efeito
Todo analista de dados precisa validar suas hipóteses e refletir bastante sobre a relação de causa e efeito das decisões. Por exemplo, o bom analista de dados sabe que uma andorinha não faz verão. Sabe que todas elas juntas também não, pois o verão é causando por outros fatores.
Desalinhamentos entre software e software (isso mesmo Software e Software)
Compramos o melhor piano da loja e na próxima semana vamos mostrar suas composições aos clientes que já estão confirmando a presença no evento.
Altere a palavra piano por software, composições por relatório e evento por reunião imaginando que nunca houve um piano na empresa e que poucos funcionários estudaram música. Sair mudando softwares e processos sem uma orientação arquitetural de análise é um risco parecido.
Como resolver essas questões dentro da sua própria empresa?
Temos a visão que o processo de análise de dados deve ser amarrado à cultura organizacional e compartilhada com todos dos papéis e em todos os níveis da empresa.
Com a proposta de auxiliar nessa busca, de forma introdutória, mas estruturada e tangível, elaboramos a metodologia DCIM (Data Culture Introduction Metodology) a qual é apresentada no curso “Introdução à Cultura de Data Analytics com IA” com um foco bastante introdutório e didático, que faz os alunos aprenderem colocando a mão na massa e resolvendo problemas informacionais imediatamente.
Os técnicos e gestores podem se beneficiar melhorando sua comunicação sobre estratégias de dados de acordo com os níveis de maturidade de dados da gestão da empresa. A importância destas habilidades estão relatadas no artigo “O Profissional de Data Science na visão da Aquarela”.
Doutor e Mestre em Finanças pela Universidade Federal de Santa Catarina – Brasil. Pesquisador em finanças / economia comportamental e mercado de capitais. Atualmente Data Scientist aplicando estratégias de aprendizado de máquina em problemas de negócios de grandes organizações no Brasil e no exterior.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Como prometido, segue aqui nossas impressões sobre o processo de contratação de cientista de dados na Aquarela. Por que estamos fazendo isso? Porque sabemos o quão frustrante é não ter um retorno de nossas informações, ou pelo menos um feedback da submissão. Já vivemos muito disso em editais e na época de bolsas de estudo.
Este artigo é, sobretudo, para aqueles que nos confidenciaram suas informações da vida profissional em nosso processo de seleção 07 – 2017. Ainda, sendo bem transparentes, fomos surpreendidos com a quantidade de currículos enviados e isso nos causou um atraso considerável no processo. Queríamos garantir que todas as informações fossem analisadas e respondidos adequadamente. Nosso trabalho é analisar!
Principais percepções
Para vagas mais definidas, como para Back-end e Front-end, houveram candidatos com perfis muito similares, já para analista de dados, foi bem difícil encontrar parecidos pois é de fato algo ainda sem uma formação específica. Isso fez com que a tarefa de análise fosse ainda mais complexa.
Muitas vezes, o currículo que chega na nossa mão não expressa detalhadamente a vida profissional, acadêmica ou social do candidato. Assim, os perfis que mais nos chamaram a atenção foram aqueles que apresentaram claramente experiência nas tecnologias citadas e com publicações de estudos de caso reais. Também, alguns transformaram o próprio CV em um dashboard de habilidades (muito interessante).
Há uma grande tendência na migração de carreira para Data Science, mais de 85% dos candidatos se mostram dispostos a fazer este processo de troca de áreas técnicas e negócios para esse campo.
Nestes últimos anos trabalhando diretamente com Data Science, vemos que os perfis dos analistas advindos do quadrante de negócio apresentam uma curva menor para atingir o planalto de produtividade (plateau de produtividade) nas análise de dados em relação aos perfis do quadrante técnico, possivelmente pela prática de atividades de comunicação, redação de textos e apresentação de resultados e pelo salto na usabilidade das ferramentas de Analytics nos últimos meses.
Não foi possível (pelo menos ainda) afirmar algo consistente sobre uma formação (diploma) ideal para análise de dados, tivemos pessoas excelentes da engenharia, física, administração, estatística, etc. O que é mais aparente, usando uma metáfora, é que o os perfis mais desenvolvedores criam a guitarra e os perfis mais de negócio e de Data Science, tocam a guitarra e ainda cantam. Existem músicos que fazem a própria guitarra a própria músicas, mas são raros.
O inglês é um dos conhecimentos menos comuns dos candidatos, o mesmo continua sendo um diferencial. Data Science é um dos processos mais intensivos de comunicação na atualidade, sobre tudo na tangibilidade de conceitos abstratos, o inglês é necessário em todos os aspectos e um ponto chave no processo de autodidatismo.
Alguns perfis se adaptam bem à vaga de análise de dados, mas não ao perfil de empresa startup (ver na continuação).
Perfil das Startups
Além dos conhecimentos básicos profissionais já amplamente conhecidos, vale a pena um parecer sobre as diferenças dos ambientes de trabalho corporativos e das startups.
Carreiras em startup não se encaixam em modelos acadêmicos e nem corporativos, havendo dificuldade até de atribuir cargos nas mesmas. Pois, as coisas acontecem de forma tão dinâmica que as funções ficam mais amarradas as tarefas definidas para semana do que algo planejado, sequencia em estruturas.
Risco da distância geográfica. O alto grau de complexidade do trabalho e dinâmicas com dados ainda exige (pelo menos para nós) muito a interação presencial já que grande parte do conhecimento está sendo desenvolvido internamente.
Para uma startup cada novo membro representa muito para o todo do grupo, se de um lado em grandes organizações alguns profissionais se sentem apenas um número, em startups eles se tornam praticamente membros da família. Por isso levamos tão a sério esse processo aqui.
Startups são times de vôlei de praia. Se necessário é preciso sacar, bloquear, se jogar na areia, pegar sol e chuva e como os recursos nem sempre são abundantes às vezes podem parecer até futevôlei que é a expressão máxima da habilidade dos jogadores se virando com o que tem. Quem o faz, é por pura paixão. Isso pode causar muitas e severas quebras de expectativas, além da insatisfação laboral. O quanto isso é importante pode ser percebido nesta análise, por meio de Data Analytics, de otimização de gestão de pessoas.
Startups, antes da tecnologia, são essencialmente empresas gestoras de conhecimento, só que de forma muito mais dinâmica e fragmentada do que ambientes de grande porte. No caso da Aquarela, estamos trabalhando na fronteira de processos de engenharia e machine learning no país e esse padrão de necessidade de gestão do conhecimento se repete continuamente. Neste artigo aqui escrevemos como funcionam os diferentes níveis de gerenciamento de dados até à sabedoria organizacional e o diferencial competitivo.
Recomendações
Dando um sul para aqueles que querem atuar como analistas de dados, seguem algumas sugestões de atividades:
Busque dados (datasets) públicos para gerar análises, preferencialmente com informações do nosso país para aprender e a ensinar.
Foque em conceitos mais do que em ferramentas, ferramentas mudam muito rápido, conceitos ficam com vocês.
Invista no inglês para que ele se torne seu amigo no longo prazo.
Refine sua redação e gramática, tanto em português como em inglês voltado a descrição de gráficos, tendências e possíveis interpretações.
Uma forma de facilitar o aprendizado é participando das comunidades de ciência de dados. Por exemplo Data Science Floripa.
Aprimore seus conhecimentos em R, Python ou Scala. Aqui um post falando sobre R e Python.
Defina uma área dentro de ciência de dados para produzir os cases, aqui no blog já escrevemos com algumas sugestões.
Estude seriamente o Linux, por quê? porque ele é muito legal e útil, nós usamos o Ubuntu e CentOS.
Procure estar próximo, fisicamente, dos ambientes das empresas de análise, por mais virtual que seja o mundo a conversa olho no olho ainda faz e fara toda a diferença.
Busque formas de comprovar seu perfil autodidata, transforme seu CV em um dashboard criativo usando técnicas de visualização.
Caso tiver um perfil apenas acadêmico ou apenas empresarial, sugerimos mesclar, só acadêmico ou só empresarial são perfis mais fracos.
Utilizar o processo de ensino para fixar conceitos e práticas com as ferramentas, conseguir expressão o conhecimento em linguagem clara e didática é fundamental. Tornar as coisas simples é o trabalho de todos os cientistas.
O nosso muito obrigado
Foi muito difícil fazer uma escolha com tantos candidatos ninjas e dispostos a crescer conosco. Encaramos este processo não somente como um preenchimento de uma vaga, mas um primeiro contato (em muitos casos) com pessoas de diversas partes do Brasil. A vontade era de poder admitir mais umas quinze pessoas pelo menos nesta onda de contratação, contudo, encaminhamos diversos currículos para nossos parceiros e alguns até já estão sendo empregados. Sim, queremos todos trabalhando e gerando riquezas para esse país!
Caso alguém não tenha sido contactado, por gentileza entre em contato conosco (pelo email daniela.zanesco@aquare.la ou redes sociais).
Desejamos manter contato com as pessoas, abertos para direcioná-las para um caminho de desenvolvimento pessoal e profissional, bem como potencializar os indivíduos que entraram para o nosso time.
Saudações do time de Gestão de Talentos da Aquarela!
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
People Manager na Aquarela Advanced Analytics. Graduada em Psicologia e entusiasta em novas tecnologias e como elas podem oferecer qualidade de vida para as pessoas.
Nos últimos meses nós da Aquarela estivemos trabalhando pesado em uma série de projetos dentro e fora da empresa, como por exemplo, no desenvolvimento de novos cursos de capacitação, na finalização de projetos em clientes públicos/privados e até em participações voluntárias de apoio a projetos de Data Analytics como já relatei em nosso último artigo OPERAÇÃO SERENATA DE AMOR CAPÍTULO FLORIANÓPOLIS.
Este artigo é um resumo dessas atividades aos curiosos leitores interessados no desenvolvimento da Aquarela no vasto tema de Data Analytics em nosso país.
1 – Capacitação e Palestras em Data Analytics
Depois de analisar o mercado nacional de TI, participar de dezenas de reuniões e verificar artigos como este “The rise of autonomous data platforms” que revela que menos de 4% dos projetos de Data Analytics têm sucesso. Assim chegamos a duas conclusões importantes:
Conceitos bem formados, simplificados e incorporados à cultura das empresas podem reduzir o tempo, o custo e os riscos de projetos de Data Analytics. Como resultado, há uma elevação no nível de maturidade da gestão de dados.
A fase de limpeza e organização dos dados é a parte mais trabalhosa e importante do processo de análise, porém tem o menor valor percebido pela gestão. Felizmente existem diversas plataformas gratuitas e maduras para essa atividade (vide: Saindo do limitado Excel para R ou Python).
Recentemente lançamos o curso “Introdução à Cultura de Dados com Inteligência Artificial” com um foco bastante introdutório e didático (mão na massa) para técnicos e gestores, com o objetivo de ajudá-los a estruturar e comunicar a estratégia de dados de acordo com seus níveis de maturidade de gestão de dados, tecnologias e modelos de negócio.
No vídeo gravado ao vivo compartilhado via Facebook, meu sócio, Marcos Santos apresenta os fundamentos da DCIM (Data Culture Introduction Methodology) que é uma metodologia que criamos para dar foco e robustez nos projetos de Data Analytics.
2 – Aprimoramento da plataforma Aquarela VORTX Big Data Analytics
Antes de falar dos recentes aprimoramentos da plataforma VORTX, gostaria de fazer alguns esclarecimentos importantes baseado nas perguntas mais frequentes que recebemos, tais como:
De qual país é a plataforma VORTX? A Aquarela é a representante oficial do VORTX no Brasil?
Aquarela é a criadora do VORTX, plataforma que foi concebida totalmente em inglês visando o mercado internacional. Futuramente teremos ela disponibilizada em outros idiomas. Entendemos o estigma que existe em relação às ferramentas e tecnologias nacionais quase inexistentes a nível global, mas preferimos seguir a linha de pensamento e trabalho do querido Gustavo Kuerten aqui de Florianópolis. Assim, a Aquarela está se consolidando como referência e uma das poucas empresas (no Brasil e no mundo) que desenvolvem seus próprios algoritmos de base para uso geral na área de inteligência artificial. Parece um pouco complicado de entender, mas na verdade é mesmo. De maneira bem sucinta, grande parte das empresas de analytics atua na área de criação de modelos (planilhas) ou captura de dados e utilizam algoritmos open source disponibilizados em diversas plataformas de processamento como comentado no artigo anterior falando do termo “Repacking”.
Os algoritmos do VORTX são baseados em quais algoritmos?
Com os resultados de nossos testes em algoritmos open source, ainda na época das pesquisas de mestrado em 2008, verificamos uma grande incompatibilidade destes códigos abertos em relação aos problemas reais das empresas. Assim sendo, muito poucas empresas aplicam ou publicam de fato decisões tomadas a partir destes algoritmos. Quem chega de alguma forma a bons resultados de Analytics, por regra, não conta o segredo.
Nossa decisão foi então criar novos algoritmos do zero, baseados em paradigmas de Inteligência Artificial, ao invés de se basear em artefatos pré-fabricados. Também optamos por utilizar uma linguagem robusta e de alto desempenho chamada Scala que, uma vez compilada, roda na já consolidada infraestrutura do mundo Java, isso nos possibilitou ultrapassar barreiras técnicas impostas pelas limitações do paradigma de orientação a objetos que gera dois problemas importantes: i) o excesso verbosidade (burocracia na programação); e ii) a limitação de escalabilidade para processos paralelos e distribuídos (Não queria ser tão técnico, mas não tive como).
Quais paradigmas são utilizados pelo VORTX?
A plataforma usa técnicas de Swarm Intelligence, Ensemble Learning, Genetic Algorithms e IA Simbólica (falamos delas aqui), as quais permitem que um usuário com pouco ou nenhum conhecimento de Advanced Analytics consiga fazer análises avançadas de dados sem apertar muitos botões, aliás sem apertar mais do que 1 botão, chegando a resultados consistentes. Dentre os problemas que nossa plataforma resolve, estão:
Clustering – para descobrir registros gêmeos para chegar à uma segmentação ótima de mercado.
Scenario Discovering – Descobrir fatores que levam a determinados comportamentos do mercado e os caminhos que levam a determinados desfechos como a falta em um agendamento médico ou o surgimento de uma doênça como o câncer.
Datascoping – Visualização dinâmica com até mais de 400 variáveis dentro de um plano cartesiano (duas dimensões).
Prediction – Prever acontecimentos (em fase de experimentos laboratoriais)
Prescription – Sugerir ações administrativas autônomas a partir das ponderações dos dados (um conselheiro digital) (em fase de experimentos laboratoriais).
Deteção automática de outliers sistêmicos – registros que fogem da normalidade ponderando a combinação de todas suas características. Escrevemos neste link o que é um outlier.
Feedback da qualidade do dado de entrada no algoritmo, informar o usuário sobre a qualidade ou índice de previsibilidade de cada variável ajuda muito a não perder tempo com dados não relevantes.
A combinação destas técnicas permitem que a própria plataforma escolha a melhor abordagem ou algoritmo para cada análise de forma automática, bem como seus parâmetros. Essa inovações vão ao encontro da visão do senhor Thomas Davenport que relata sobre quão artesanal ainda são as análises de dados atualmente e a tendência de novos paradigmas para automação destes processos (Move Your Analytics Operation from Artisanal to Autonomous).
Vocês estão dizendo que possuem uma tecnologia que a Amazon, IBM e outras grandes não têm?
Sim, isso mesmo. Como já trabalhamos em empresas desse porte tanto eu como o Marcos, vemos que hoje grande parte destas empresas software ocupam grande parte do tempo em manutenção de processos ou fazendo pesquisas voltadas para o registro de patentes que são visões de longo prazo. As inovações de fato, hoje estão sendo bancadas pela coragem dos empreendedores mundo a fora (movimento startup). Quando uma solução sobrevive e emerge no mercado, os grandes preferem comprar ela pronta, mesmo pagando uma boa nota, acaba saindo mais barato no final.
Melhorias da plataforma
Das melhorias da plataforma em si, seguem algumas novidades importantes:
A partir de agora o VORTX permite que os conjuntos de dados (dataset) possam conter dados categóricos (campos de texto) e numéricos (escalares). Anteriormente o trabalho de transformação de dados era muito maior para gerar planilhas somente numéricas.
Integração do motor de inferência VORTX em sistemas parceiros, ou seja, já pode ser encapsulado a outras ferramentas para gerar produtos mais competitivos via API.
Aumento da velocidade de processamento com a otimização dos recursos em nuvem. Anteriormente um dataset que levava de 15 de a 24 horas para ser processado agora, o mesmo dataset está levando aproximadamente 30 minutos.
Processamento de dados georreferenciados com a criação automática de mapas.
Disponibilização do algoritmo Classifier que recebe novos registros do cliente e retorna automaticamente os cenários no qual o registro pertence.
Protótipo testado e validado aplicação da IA VORTX em redes sociais. Em breve mais informações.
Crescimento da equipe e definição da nova sede em processo.
Novos modelos de negócio de negócio sendo criados e validados.
NewsLetter implementada: Assine aqui e fique por dentro das novidades!
Diversas palestras pelo Brasil.
Bom pessoal, obrigado pelo apoio de sempre em nosso trabalho. É um trabalho de formiga, mas acreditamos muito nele. Além disso, como foi exposto, são muitas as oportunidades sendo tratadas, cada uma ao seu tempo, para trazer inovações impactantes em nosso país. Um forte abraço e até o próximo artigo!
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
