Aquarela no NASA Space Apps Challenge São Paulo

Aquarela no NASA Space Apps Challenge São Paulo

Nos dias 18, 19 e 20 de Outubro de 2019 aconteceu o maior hackathon do mundo. O NASA Space Apps Challenge, que aconteceu simultaneamente em 200 cidades de 80 países, desafiou 29 mil pessoas a desenvolver soluções para desafios propostos pela agência, tudo isso a partir dos dados públicos e gratuitos da NASA. 

Este projeto traz a oportunidade de estudarmos e desenvolvermos soluções a partir de dados altamente complexos e bem catalogados. Por isso, nós não poderíamos ficar de fora. Junto a nossos parceiros Embraer e Atech, criamos um time que reuniu engenheiros e cientistas de dados das três empresas para participar da edição que aconteceu na cidade de São Paulo. E neste artigo trazemos um pouco sobre como foi a experiência de desenvolver uma solução que pode impactar milhares de vidas, em apenas 48 horas, boa leitura!

O que é o NASA Space Apps Challenge

Criado em 2012, o Hackathon tem o intuito de estimular a utilização da grande quantidade de dados gerados pela NASA. Estes dados compreendem informações sobre a terra e o espaço, e muito disso é disponibilizado de forma pública e gratuita. 

Ao todo são 25 desafios divididos em 5 categorias, mais uma categoria livre. Cada equipe deve escolher um desafio para propor uma solução e implementar um MVP, e isso tudo deve ocorrer dentro de 48 horas. Os projetos foram avaliados da seguinte forma:

  • Nos dias 19 e 20 (sábado e domingo) devem ocorrer 3 entregas: de negócio, design e tecnologia.
  • As 10 equipes classificadas a partir destas três entregas fazem um pitch para a banca avaliadora, que então define o pódio do hackathon.

O desafio – From Curious Minds come Helping Hands

A equipe foi formada por cientistas de dados, desenvolvedores e engenheiros da Aquarela, Embraer e Atech, que escolheram trabalhar no desafio From Curious Minds Come Helping Hands (De mentes curiosas surgem mãos que ajudam).

O desafio consistia em elaborar uma plataforma que integrasse informações de satélites para identificar populações que estão em situação de risco. Diferente da maioria dos hackathons, os desafios do Space Apps Challenge são revelados antes do início da competição, devido à complexidade e grau de exigência do desafio. Dessa forma, a equipe chegou em São Paulo já sabendo qual seria o desafio a ser enfrentado. 

A partir da temática escolhida, a equipe desenvolveu o MVP de uma ferramenta que detecta e prevê enchentes em países africanos, especificamente a Tanzânia. A escolha deste país se deu pelo fato de que um dos membros da equipe tem contato com um conhecido que vive lá, e este compartilhou as dores que a população local sofre com enchentes. Inclusive, este contato havia perdido o melhor amigo em uma enchente na cidade de Arusha.

A solução – Human+AId

O projeto foi batizado de Human+AId, pois o objetivo da equipe foi criar uma plataforma para auxiliar tanto as pessoas nas áreas de risco quanto as organizações responsáveis pela execução do atendimento de emergência.

Outra funcionalidade é possibilitar que as informações geradas ao longo dos atendimentos sejam armazenadas, de modo a possibilitar que o conhecimento das pessoas que atuam nessas situações (inteligência coletiva) seja utilizado para geração de uma inteligência artificial que, futuramente, atue na recomendação de boas práticas de acordo com as circunstâncias.

Membros da equipe formada por colaboradores da Aquarela, Embraer e Atech

A ideia foi utilizar dados em tempo real sobre eventos (chuvas, tempestades, incêndios, etc.) que são detectados pelos satélites da NASA, junto com mapas sobre a superfície de água do planeta. Em outras palavras, detectar onde há uma chuva forte e, sabendo para onde a água vai a partir daquele ponto, é possível identificar se há no percurso algum local que possa inundar. Deste modo, estima-se as zonas de risco e as zonas seguras. A imagem abaixo mostra como as zonas de risco (vermelha) e de segurança (verde) são plotadas no mapa.

Áreas de risco em vermelho, áreas seguras em verde.

Mas a pergunta que fica é a seguinte: E o que fazer com as pessoas que estão na zona de risco? A solução foi: a partir do momento que a autoridade responsável pela área (prefeitura, por exemplo) quiser, é disparado via SMS (ou redes sociais) o link de um aplicativo web que indica o caminho que a pessoa deve fazer para sair da zona de perigo.  

Tela do aplicativo que indica a direção para as áreas seguras.

O esforço, empenho e qualidade das entregas da equipe foi reconhecido pelo time de jurados, e fomos classificados entre os 10 finalistas do evento, para depois do pitch, a equipe Human+AId receber o prêmio de 2º Lugar no Space Apps Challenge São Paulo. 

Equipe 27, 2º Lugar no Space Apps Challenge São Paulo. 

O clima do evento é uma mistura de Startup Weekend com Hackathon, e resulta em um ambiente de muita criatividade e empenho dos participantes, onde o maior resultado do evento é a integração entre as pessoas trabalhando para criarem a validarem ideias que podem impactar o mundo.



Da visualização à tomada de decisão: Como criar negócios mais data driven.

Da visualização à tomada de decisão: Como criar negócios mais data driven.

Novas tecnologias aliadas à redução dos custos computacionais resultam no contínuo boom de Big Data e Data Analytics que estamos presenciando. Diariamente produzimos, armazenamos e processamos grandes quantidades de informação, e estes processos trazem dois desafios:

  • Como gerir de todo este conhecimento (saiba mais sobre isso aqui); e
  • como interpretar essas informações para transformá-las em valor para os nossos negócios.

Armazenar e processar dados, por si só, pode não gerar valor. Precisamos “entendê-los”, para saber o que os números significam e “reportá-los”, para que essas informações possam ser usadas na tomada de decisão. Nesse artigo vamos mostrar como a visualização de dados pode ajudar no entendimento e na tomada de decisão dos negócios que são (ou querem se tornar) Data Driven.

O que é visualização de dados

Visualização de dados é, literalmente, mostrar de forma compreensível informações que têm alto valor agregado. Este valor se encontra no fato de que pessoas, principalmente em um ambiente Data Driven, criam argumentos e tomam decisões baseadas em informações.

Portanto, identificar de forma clara e rápida qual é a relevância de cada dado é crucial para transformá-lo em conhecimento. Por exemplo, abaixo trazemos duas formas distintas de visualizar a taxa de desemprego e a média do salário por nível de educação no segundo trimestre de 2019 no Brasil, os dados foram extraídos do IBGE.

Nìvel de EscolaridadeTx. de DesempregoRendimento médio
Ensino fundamental incompleto ou equivalente11,1R$ 1.219,00
Ensino fundamental completo ou equivalente13,9R$ 1.458,00
Ensino médio incompleto ou equivalente20,5R$ 1.349,00
Ensino médio completo ou equivalente13,6R$ 1.774,00
Ensino superior incompleto ou equivalente14,1R$ 2.222,00
Ensino superior completo ou equivalente6,1R$ 5.039,00

Perceba que, pela tabela, pessoas com nível de educação superior completo possuem maior média de renda mensal  e este grupo apresenta também menor taxa de desemprego. Mas, outras informações importantes são menos óbvias de se extrair da tabela, o que torna o gráfico muito mais interessante. 

No gráfico a disparidade entre a renda de pessoas com superior completo e as outras categorias é mais evidente. Fica também mais visual que a taxa de desemprego não segue a de nível de escolaridade, como seria de se esperar. Extrair estas e outras informações da tabela exigiria muito mais dedicação, principalmente para análises de comparação entre as diferentes categorias.

Neste exemplo simples, fica claro que se dedicar à visualização de dados ajuda na geração de insights, criando também formas mais efetivas de comunicação. Pensar em visualização de dados é pensar em como os outros terão acesso a essas informações, se será mais fácil ou mais difícil para estes dados se transformarem em conhecimento. 

As imagens geradas podem atuar como facilitadoras ou bloqueadoras na disseminação da informação, e isso depende do quanto você investe em visualizar os seus dados. Essa preocupação pode ser chave na hora de tomar decisões, ou mesmo de se comunicar com seu cliente.

Visualização de dados com Inteligência Artificial

Mas a visualização de dados não significa apenas transformar tabelas em gráficos. Imagine analisar, fazer sentido e construir gráficos com base em tabelas com milhares ou mesmo milhões de entradas, elaborar visualizações a partir de horas de audios ou mesmo gravações de vídeos. É nessas situações que abordagens de inteligência artificial (I.A) são muito úteis. Elas facilitam a extração de conhecimento de grandes volumes de dados, descobrindo informações que mesmo humanos não seriam capazes de perceber.

Com o crescimento acelerado dos negócios rumo a processos mais data driven, surgem soluções flexíveis e customizáveis para praticamente toda e qualquer operação. E o uso de I.A trás a capacidade de prototipação rápida de visualizações e a escalabilidade dessa forma de analisar os dados permite que sejam criadas diferentes formas de se observar a informação, mas sem aumentar a complexidade da análise.

Projetos de Advanced Data Analytics permitem que um grande volume de dados (por exemplo: nas áreas de logística com inúmeros SKU´s) seja processado e analisado a fim de otimizar a tomada de decisão. Integrações em tempo real entre grandes bancos de dados de operações complexas se tornam muito mais tangíveis quando abordadas com soluções de I.A.

Extraindo valor dos dados na prática

É comum que as empresas, lojas e fábricas tenham metas de venda. E há inúmeras maneiras de definir essas metas, como por exemplo por faturamento líquido ou por quantidade vendida. 

Vamos pensar no seguinte caso: o CSO (Chief Sales Officer) da South American Toys™ (uma multinacional que produz e vende brinquedos), está interessado em descobrir se há diferença entre basear as metas de vendas das lojas no faturamento e na quantidade vendida. A dúvida surgiu porque, no mercado em que a South American Toys atua, a rotatividade dos produtos é alta, devido a constantes lançamentos, e quando os produtos demoram a serem vendidos, é necessário aplicar descontos.

Para avaliar as metas, a empresa contratou duas consultorias para responder a pergunta: Basear as metas de vendas em quantidade faturada tem resultados financeiros diferentes de se basear as metas de vendas no faturamento?

Para sanar a dúvida da South American Toys, ambas as consultorias, por coincidência, fizeram o mesmo estudo e tiveram o mesmo resultado: lojas cujas metas de vendas estão atreladas a quantidade vendida geram mais descontos quando comparadas às baseadas em faturamento. Isso se dá por elas esperarem mais tempo para colocar os brinquedos nas prateleiras, de modo que vendam mais. Entretanto, cada consultoria apresentou o resultado de uma maneira diferente. 

A primeira consultoria apresentou a tabela abaixo, com resultados estatísticos indicando que metas atreladas ao faturamento diminuem o desconto dado pelas lojas. 


Resultados dos estudos da primeira consultoria

Confuso, não? Por outro lado, a segunda consultoria apresentou uma visualização do efeito que diferentes metas têm sobre o tempo que leva para as lojas venderem os brinquedos: 

  • As barras laranjas indicam fábricas;
  •  As verdes rotas;
  •  As azuis distribuidores; e
  • As vermelhas lojas. 

Número de dias em relação ao tempo total necessário para se vender dos brinquedos

Mas temos ainda mais informações ali: a largura das barras indica a quantidade de tempo que o brinquedo passou em cada etapa. Foram selecionados fábricas, rotas, distribuidores e lojas similares, sendo apenas a meta de venda diferentes. No lado esquerdo temos as lojas cuja meta de vendas eram baseadas no faturamento e, do lado direito, as baseadas na quantidade vendida.

É visível a diferença entre as duas abordagens. As lojas com metas por faturamento mantêm um fluxo bom de escoamento de mercadoria, vendendo rapidamente (e a um preço cheio) tudo o que chega em seus estoques. Perceba que a barra laranja é muito maior que a vermelha, indicando que o produto fica pouco tempo na loja. Essa capacidade de não formar estoques locais diminui o uso de descontos, pois remove a necessidade de dar descontos para fazer o estoque girar, ou seja, a oferta se equilibra com a demanda.

Em contrapartida, nas lojas com metas por quantidade há um volume muito maior de estoques locais, seja nos centros de distribuição, seja nas lojas. Com o passar do tempo, esses produtos em estoque começam a perder valor pois não é interessante para o negócio mantê-los parados por muito tempo. Assim aplicam-se descontos, pois a oferta é muito maior que a demanda. Estes descontos fazem aumentar o volume vendido, mas às custas de um ticket médio menor.

Visualização de dados e transferência de conhecimento

O exemplo acima traz uma pequena amostra de como a visualização de dados pode ajudar na tomada de decisão e entendimento dos negócios. O conhecimento, como o gerado na segunda análise, não seria impossível (ou pelo menos muito difícil) de se obter com os dados estatísticos apresentados pela primeira consultoria. O resultado é o mesmo, mas o segundo é muito mais visual, completo e intuitivo. Os métodos gráficos ofereceram mais valor neste caso, por serem capazes de abstrair milhões de transações em um esquema simples e visual. Em casos reais, uma empresa gera milhões de transações em menos de 1 mês, o que torna a análise de tabelas inviável.

Com as empresas produzindo mais e mais dados, as ferramentas tradicionais de análise de dados para tomada de decisão se tornam ineficientes, exigindo que os pessoas e processos se adaptem a trabalhar com tecnologias que expandem a capacidade de absorver informação, o uso de I.A e Advanced Data Analytics são exemplos disso. 

Dados podem esconder informações importantes, e técnicas de visualização gráfica ajudam tanto a traduzir estes em conhecimento quanto a transferi-lo de maneira suave para outros stakeholders. A capacidade de visualização de dados avançada é um pilar fundamental dentro de uma cultura Data Driven madura, pois possibilita que a intuição que vem da experiência no mercado seja cada vez melhor auxiliada pelo entendimento de padrões escondidos da percepção humana, de modo que as decisões tomadas tornam-se cada mais mais otimizadas.



Recuperação de Informação: Como a Inteligência Artificial pode melhorar a gestão de conhecimento da sua empresa

Recuperação de Informação: Como a Inteligência Artificial pode melhorar a gestão de conhecimento da sua empresa

A complexidade dos sistemas industriais das empresas e negócios têm produzido cada vez mais informações. Estas têm origens e destinos diversos, sejam manuais, bancos de dados, anotações, planilhas, dados georreferenciados, imagens, etc. A gestão do conhecimento se tornou um desafio para qualquer empresa, transformando dados em informação para a tomada de decisões.

Podemos pensar no sistema de busca do Google, no qual é possível encontrar informações sobre inúmeros conteúdos colocados na web. Ao utilizá-lo, podemos obter sem esforço resultados ranqueados de acordo com o quanto a informação é relevante para cada usuário. Você consegue imaginar um sistema de busca otimizado de todo o conteúdo importante produzido por sua organização? É isso que queremos te mostrar nos próximos parágrafos.

Sabemos que com o rápido avanço dos conceitos da indústria 4.0, todo dado é informação de alto valor agregado, criando uma necessidade latente de análise e compreensão destas informações. Para mitigar esses desafios, sistemas de recuperação de informação se tornaram indispensáveis, devido à necessidade crescente de ressignificar e extrair valor das massivas quantidades de dados que são produzidas. 

(Falta de) Disseminação do conhecimento

Um dos problemas mais comuns é a falta de retenção e disseminação do conhecimento obtido ao longo dos anos pelas organizações. Geralmente, esse aprisionamento acaba fazendo com que informações importantes não cheguem aos novos integrantes da organização, causando um retrabalho desnecessário.

Fenômenos deste tipo são comuns. Esse “gerenciamento pobre” das informações sempre impacta na produtividade das equipes e pode vir de várias formas: desde a gestão ineficiente dos recursos humanos, dos recursos de produção, dos recursos financeiros, chegando até mesmo a afetar os próprios clientes.

Um estudo publicado no relatório do M-Files 2019 Global Intelligent Information management Benchmark consultou 1500 trabalhadores de múltiplas regiões para estabelecer um benchmark de como a informação dos negócios é organizada e acessada, alguns dos resultados são:

  • 82% Afirmaram que é necessário navegar por diferentes sistemas e locais para encontrar a versão correta de um arquivo;
  • 42% Citaram que a nomenclatura incorreta dificulta as buscas;
  • 41% Dos entrevistados afirma que as informações estão frequentemente armazenadas no local errado;
  • 29% Afirmam que as informações estavam perdidas ou foram deletadas/extraviadas; e
  • 26% Encontram desafios ao determinar em qual sistema ou repositório devem pesquisar.

De forma geral, podemos concordar que: a falta de gerenciamento da informação torna o trabalho de todo mundo mais difícil, afetando a operação da organização como um todo.

Gestão do conhecimento, por onde começar?

Há diversas formas de melhorar a capacidade de recuperação de dados. A primeira delas é a quebra dos silos de informação (quando as informações são armazenadas em diferentes locais, sem nenhum tipo de ”troca” entre as fontes). Este é um passo importante que possibilita a correlação de dados de diferentes sistemas e origens. 

Nesta etapa, abordagens de Machine Learning e Inteligência Artificial (I.A.) são fundamentais para a criação de visualizações e análises, podendo ser realizadas para conectar informações até então desconexas contidas nestes silos. Uma análise aprofundada destes dados pode revelar conexões valiosas entre documentos, lugares, pessoas, testes, projetos, áreas, praticamente qualquer coisa que gere valor para o negócio em questão.

À medida que inserimos todos os dados em um sistema só (esse super sistema pode ser chamado de Data Lake – lago de dados) e aplicamos técnicas de Data Analytics, podemos capacitar esse sistema a fim de realizar pesquisas por projetos específicos, pessoas, testes e/ou resultados de testes de uma forma muito mais simplificada, otimizando o tempo dos membros envolvidos no projeto.

Inteligência Artificial (I.A.) para Recuperação de Informação.

I.A. é uma das ferramentas usadas para resolver problemas de Recuperação de Informação (RI). É possível fazer dois tipos de sistemas de RI: 

  1. Mais simples, indexando os documentos (geralmente texto) e permitindo com que sejam encontrados facilmente;
  2. Mais aprimorado, que possibilita uma pesquisa mais significativa em diversos tipos de documento: textos, imagens, resultados de sensores, conteúdos de páginas web, etc. 

Sistemas de Recuperação de Informação são geralmente construídos com base em duas etapas principais, como apresentado na figura abaixo. Em cima temos o offline, que realiza a indexação de todos os documentos e arquivos a serem pesquisados. Abaixo o online, que acontece em tempo real de busca. 

Modelo de recuperação de informação tradicional
Figura 1: Modelo de Recuperação de Informação Tradicional

Gestão do conhecimento é Inteligência Coletiva

Sistemas de Recuperação de Informação permitem a construção de uma Inteligência Coletiva mais forte, principalmente se incluirmos conhecimento humano em conjuntos. Não apenas dados gerados pela empresa devem ser armazenados, mas também conhecimento humano, as boas práticas, o know-how de anos dos funcionários. Estas experiências tácitas também podem ser explicitadas, e conectadas às bases de dados, transformando informações brutas em uma arquitetura de conhecimento.

No contexto de uma indústria 4.0, a Inteligência Coletiva desenvolvida em empresas pode ser condensada em ontologias, que são uma formalização do conhecimento, e utilizadas em um Sistema de Recuperação de Informação. Com isso, a informação pode ser conectada e recuperada de forma mais eficiente e com mais valor, ampliando imensamente a capacidade de geração de insights da organização. A implementação da cultura data-driven permite a retenção, gestão e disseminação de conhecimento para todos. Assim, podemos evitar retrabalho, erros desnecessários e perda de conhecimento, além de descomplicar o treinamento de novos funcionários, recuperação intuitiva de informação, consistência das informações e centralização das buscas.