Em nossa jornada pelo Brasil como empreendedores de Advanced Analytics e Inteligência Artificial, notamos que uma das principais dificuldades dos clientes é a estruturação de projetos de dataanalytics e compreensão da informação (natureza dos dados) pelos times envolvidos.
Estruturar = Compartilhar informações
A estruturação de projetos de data analytics depende, obrigatoriamente, de um sólido e compartilhado conhecimento entre as equipes sobre as características dos dados que serão analisados, seja em qualquer setor ( veja alguns exemplos: Setores para Aplicar Análise Dados e Dados Necessários). Sem isso, há uma grande probabilidade de que a informação fique fragmentada em bancos de dados dispersos (chamamos de BANDO de dados), confusos e com baixo valor estratégico.
Portanto, acreditamos que:
Conceitos simplificados sobre a natureza dos dados tornam as ferramentas de análise mais fáceis, integráveis e tangíveis para os perfis não técnicos.
Na figura abaixo está um esquema do entendimento da Aquarela sobre a genética de dados, a gênesis ou o gênesis (como o primeiro livro da bíblia). Para chegarmos ao consenso deste modelo houve muita discussão, muita incoerência e muitas ideias. Porém, esse processo foi muito importante, pois embasa todos os outros processos dos projetos que desenvolvemos, sejam de análise de dados e estatística até a construção das ferramentas de IA para análise.
Natureza de dados estruturados – Aquarela 2018
A natureza dos dados
Para completar (e explicar) a informação acima, segue um trecho de uma apresentação de nosso Diretor de Expansão Digital, Joni Hoppen, transmitida via Facebook pelo pessoal da Wegov no dia 5 de maio de 2017 em Florianópolis:
No final do vídeo foi comentando sobre um problema típico nos escritórios: o sequestro do trabalho ou de processo de decisão pelo “Menino do Excel”. Aqui no sul chamamos tradicionalmente de “Piá do Excel ou “Guri do Excel”, escrevemos sobre ele no artigo Os dramas da implementação da cultura de Data Analytics – confira aqui.
Quem nunca foi sequestrado e teve que ficar esperando ele (Menino do Excel) aparecer para dar uma mão com uma fórmula mágica? Isso é um tema da área de gestão do conhecimento e será abordado futuramente.
Esperamos que estas informações, embora bastante introdutórias, possam ser úteis para todos aqueles que buscam desafiar seus conhecimentos sobre a realidade do mundo a partir de análises de dados. Caso você já está com o desafio de implementar um projeto de Data Analytics, elaboramos um infográfico com 5 passos para um projeto de sucesso, aqui.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
Neste Post tocaremos no assunto mais polêmico referente ao naufrágio do Titanic: A porta flutuante tinha espaço suficiente para Jack e Rose? (rs) Brincadeiras a parte, aqui abordaremos como o uso de Inteligência Artificial pode ajudar a descobrir os perfis de sobreviventes da tragédia de 1912. Para isso, separamos um dataset com informações das pessoas que embarcaram no Titanic.
Apesar da grande tragédia da viagem, os dados disponibilizados são muito ricos em detalhes, e por isso são amplamente utilizados nas comunidades de inteligência artificial, aprendizado de máquina e mineração de dados, uma vez que podem ser processados (passando por segmentação) por diversos tipos de algoritmos.
Na conclusão deixamos algumas ideias de como essa abordagem inovadora pode otimizar e alavancar negócios.
Sumário dos dados
Segundo a Enciclopédia Titânica, o número correto de passageiros foi 2.208, dos quais 1496 morreram e 712 sobreviveram. Dos dados que tivemos acesso, os números são os seguintes:
1309 pessoas abordo, dos quais 500 sobreviveram (38%) e 809 (62%) morreram.
Média de idade estimada 29,88 anos.
466 mulheres, das quais 127 morreram e 339 sobreviveram.
843 homens, dos quais 682 morreram e 161 sobreviveram.
O preço médio da passagem foi de £53,65 libras para o feminino e £76.60 para masculino.
Para mais detalhes desses dados, sugirimos a consulta no Google pelo seguinte termo de busca : Titanic Dataset.
Fatores em análise
Infelizmente, 267 passageiros (20,39%) tiveram de ser excluídos da análise porque as idades não foram informadas. Além disso, dos 15 fatores apresentados no arquivo original, selecionamos apenas aqueles numéricos com pesos mais fortes calculados pelo VORTX. Normalmente classificamos fatores, variáveis ou atributos de dados nas 3 seguintes categorias:
Protagonista – Fatores com forte influência positiva para gerar padrão de agrupamento com clareza (alto valor).
Antagonista – Fatores com ruído e/ou influência negativa aos padrões gerados pelo fator protagonista.
Coadjuvantes – Fatores que não desempenham um papel significativo na análise, mas podem enriquecer os resultados.
De acordo com o poder de influência, os protagonistas escolhidos para esta análise foram:
Idade do passageiro = 87,85%
Valor da passagem = 72,69%
Número de pais de crianças no navio = 71,69%
Número de irmãos ou cônjuges no navio = 72,42%
Nos primeiros processamentos do conjunto de dados, o fator “Gênero” que indica se o passageiro era homem ou mulher, tendiam a ter um papel antagonista à formação do grupo. Isso significa a ausência de um padrão para formar os grupos e o índice de nitidez dos dados cai de 30% para menos de 7%, justificando a remoção desse fator da análise.
Segmentação: Resultados com o VORTX
Após o processamento, o VORTX trouxe os seguintes indicadores, dos quais não são oferecidos por outros algoritmos de agrupamento, portanto, explicamos brevemente cada um deles:
Nitidez (Sharpness) = 33,64%. Ele mostra a visibilidade do padrão nos dados ou o quão confiante a máquina está sobre a formação dos grupos. Segundo a nossa escala de qualidade, uma nitidez acima de 20% já é útil para a tomada de decisão.
Descoberta automática de segmentos (grupos) = 8. Esta é uma função que torna todo o processo muito mais fácil para o analista de dados. Ao contrário de k-means e outros algoritmos conhecidos, VORTX encontra o número certo (ideal) de grupos automaticamente, reduzindo drasticamente os erros de segmentação que acontecem quando o analista informa um determinado número não condizente a realidade. Ex. Imagine que todos os elementos são amarelos e você manda segmentar em 5? O resultado será 5 grupos amarelos. Ao contrário também é possível, existem 5 grupos sendo um de cada cor e você manda o algoritmo separar todos em 3 grupos. Resultado, haverão elementos de cores diferentes dentro do mesmo grupo.
Distinção dos grupos = O quão único é um grupo em relação a todos os demais. Neste caso, o mais distinto é o número 5 com 51,48% (cor mais escura) em contra partida, o grupo menos distinto é o 1 com 8,58%. Isto significa que os elementos do grupo 5 tendem a ser mais homogêneos do que os outros grupos.
Tela do VORTX Big Data
Ao analisar os grupos, adicionando a coluna que indica a sobrevivência ou não do passageiro após o evento, foi possível gerar a taxa de sobrevivência de cada grupo e a tarifa média de bilhetes por grupo. Em uma visualização rápida e sumarizada, aqueles que têm as características do grupo 5 ou 7 têm mais chances de sobreviver ao naufrágio.
Indicadores gerados a partir da análise de grupo – Contagem de pessoas por grupo, taxa de sobrevivência, valor médio da passagem por grupo.
Nomeação de grupos
Para operacionalizar uma estratégia de gestão em qualquer setor (saúde, indústria, varejo e etc) você precisa nomeá-los para estudar as características de cada grupo. Para isso, deve-se olhar para as características predominantes de cada grupo (persona).
Segue abaixo uma comparação visual, de apenas 4 grupos, com o fator “Idade”. Como este é um gráfico de frequência, quanto mais alto está a linha no gráfico maior é o número de passageiros com essa característica. Esses fatores podem ser facilmente estudados de forma interativa na VORTX DATASCOPE.
Ainda, uma outra forma de entender as características do grupo é olhar diretamente para os dados agrupados. Neste caso, eu tirei um screenshot dos dados do grupo 5, que tem os passageiros mais distintos e homogêneos do navio. A partir disso dá para dizer que esse grupo é dos jovens que viajam com toda a família de alta renda.
Conclusões e recomendações
O passageiro mais típico é uma pessoa jovem, com uma idade média de 21 anos e que pagou, em média, £26,35. Enquanto o passageiro outlier – leia aqui o que são outliers e como tratá-los em uma análise de dados – é um indivíduo no grupo 8, que tinha 38 anos, pagou £ 7.775, estava viajando com ambos os pais e mais 4 irmãos.
Olhando para o caso (apenas mil registros) não é um número grande o suficiente para descobrir mais perfis. Contudo, se você tem milhões de transações e clientes a ferramenta poderá servir de instrumento chave para otimizar a gestão, reduzir custos e melhorar produtos para o seu público.
Agora, pense consigo com base no que você leu aqui:
Quem é o seu cliente mais típico?
Quais são as características de cada grupo de clientes?
Qual é o custo total ou receita por grupo?
Quais grupos representam 80% do seu custo ou receita?
Quais os grupos que você deseja abordar na sua estratégia, e quais não?
Quais são os fatores protagonistas, antagonistas que mais afetam a sua estratégia?
A persona (grupo) criado pelo VORTX coincide com a persona que você tem hoje? Agora é possível comparar e aperfeiçoar!
Esperamos que esse breve estudo seja interessante e útil para que você possa planejar suas grandes decisões (ou do seu negócio) utilizando inteligência computacional.
Fundador e Diretor Comercial da Aquarela, Mestre em Business Information Technology com especialização em logística – Universiteit Twente – Holanda. Escritor e palestrante na área de Ciência e Governança de Dados para indústria e serviços 4.0.
