Imagine que você é a pessoa responsável por desvendar informações escondidas no meio de um cenário caótico. Sua missão, também, é transformar essas informações em uma história que pode mudar o curso das decisões que levaram a ações estratégicas. É nesse mundo em que nasce a Ciência de Dados.
Existem muitas maneiras de definir ciência de dados (ou data science, em inglês), mas, em resumo, ela pode ser definida tanto como um processo de usar dados (observações documentadas ou medições) para entender um problema quanto como uma técnica ou arte de revelar ideias (insights) ou tendências que estão por trás da análise de dados complexos.
Além disso, é necessário que essas informações, ou seja, o conhecimento obtido através dos dados, sejam transmitidas e traduzidas em uma narrativa que direcione ideias e decisões estratégicas. Afinal, há pessoas interessadas nessas informações preciosas.
Portanto, a ciência de dados é um campo de estudo que trata da manipulação (coleta, exploração e análise) de dados para revelar padrões, anomalias, conhecimentos ocultos e até fazer previsões do que está por vir.
Ciência de dados é também um campo interdisciplinar que tem como base dois outros campos da ciência que são acionados de forma estratégica para exploração de dados acurados: a estatística e a computação.
A estatística fornece a lógica matemática para compreender e interpretar com precisão os dados.
A computação oferece as ferramentas (códigos, programas, capacidade de armazenamento de informação cada vez maior) para processar uma quantidade massiva de dados e com velocidade.
A camada complementar da ciência de dados é o conhecimento da área do problema a ser solucionado usando os dados. Essa área pode ser a medicina, a educação, a arquitetura, a acessibilidade, os negócios e muitas outras.
Por isso, é importante o incentivo à entrada de pensadores e experts de diversas áreas para formarem um time de dados, tornando a área uma especialização de sua formação. A ideia de ciência de dados como especialização é comentada nesta live do Téo Calvo para a Tech In Rio.
Um pouco de história
Ciência de dados é um termo usado e popularizado recentemente, mas a atividade de um cientista de dados não é nova e, muitas vezes, não foi nomeada dessa forma, mas sempre esteve por aí, em especial em trabalhos de estatísticos, como o caso de Abraham Wald.
O Grupo de Pesquisa Estatística, SRG, foi a equipe encarregada de aprimorar a sobrevivência dos aviões aliados diante dos ataques nazistas, durante a Segunda Guerra Mundial. Sua tarefa crucial era determinar onde reforçar a fuselagem das aeronaves para protegê-las dos danos causados por tiros inimigos.
A equipe mapeou, nos aviões que retornaram à base, as áreas dos aviões que mais foram atingidas por tiros, como na foto abaixo.
Fonte: https://www.researchgate.net/figure/Walds-airplane-A-hypothetical-diagram-of-known-bullet-holes-in-returning-airplanes_fig1_333336968 – 19/10/2023.
Enquanto a lógica inicial sugeriria reforçar as áreas com mais marcas de balas, Wald, estatístico integrante do SRG, percebeu que a análise deveria levar em conta a ausência de dados sobre os aviões derrubados.
Ao desafiar a ideia convencional de reforçar as áreas mais atingidas por tiros, Wald percebeu que a ausência de dados sobre os aviões derrubados era a chave para a solução. Ele apontou que as áreas críticas eram aquelas onde os aviões sobreviventes não apresentavam danos, como a cabine do piloto e o motor. Isso ocorreu porque os aviões que não retornaram para a base foram os que foram atingidos nesses pontos e derrubados, enquanto os atingidos em outros pontos puderam retornar.
A análise de Wald iluminou a importância de olhar além dos dados evidentes e considerar o que não estava disponível, sendo uma parte essencial do arsenal de um cientista de dados, ajudando a identificar os insights valiosos em meio à complexidade dos dados.
Como uma disciplina dinâmica, a ciência de dados se baseia em técnicas estatísticas e vai além delas para desvendar os segredos dos dados. É um campo que oferece oportunidades emocionantes para aqueles que desejam explorar o vasto universo de informações que nos cerca.
Um dos usos mais famosos da ciência de dados é quando ela é aplicada em esportes, como foi retratado no filme O homem que mudou o jogo (Moneyball, 2011), que conta a história de como Billy Beane e Peter Brand usaram a análise estatística dos jogadores do time de beisebol do Oakland Athletics para superar o déficit financeiro da equipe na época, relacionando rebatidas, home runs, arremessos, etc., e a relação custo-benefício por membro da equipe a ser montada.
Ciência de dados hoje
Os dados estão em toda parte, e a tecnologia nos permite acessá-los e analisá-los como nunca.
A análise de dados não é algo novo, mas o que torna a Ciência de Dados diferente é a combinação de uma quantidade imensurável de dados (Big Data), que, além de serem armazenados em nuvem, também são produzidos e fornecidos em tempo real, e a soma com o poder computacional.
Para se envolver em um projeto de Ciência de Dados, a primeira pergunta fundamental é: qual é o problema que queremos resolver?
Em 2020, enquanto o mundo enfrentava a pandemia do Coronavírus, um problema a ser resolvido foi o monitoramento da expansão da doença, traçar o perfil dos infectados e, com essas informações, projetar soluções como a priorização da fila de vacinação, uma vez que os recursos eram limitados. Um exemplo é a parceria do Estado do Rio de Janeiro com a UFRJ Analytica na criação de um dashboard (painel visual) para resolver o problema de monitoramento da Covid-19 com as informações de milhares de infectados registrados no sistema de saúde.
O problema, então, se torna o núcleo do projeto, orientando a coleta de dados e sua origem, que podem ser estruturados (como tabelas de bancos de dados, como os infectados pela Covid) ou não estruturados (como texto livre e voz, como é feito ao conversarmos em texto com ChatGPT ou falarmos algo à Siri).
Cientistas de dados: O que fazem? O que comem? Onde vivem?
A beleza da Ciência de Dados é que ela não está limitada a um campo de estudo específico. Muitas vezes requer treinamento interdisciplinar para abordar problemas complexos com as ferramentas adequadas.
Reunir uma grande quantidade de dados, limpá-los e prepará-los são etapas fundamentais antes da análise, que revelará os insights necessários para desenvolver melhores soluções para as empresas modernas.
Assim, segundo Murtaza Haider, professor de Ciência de Dados da Toronto Metropolitan University, um cientista de dados precisa ser essencialmente curioso, argumentativo e crítico. O segredo está em ter paixão pelo aprendizado contínuo de novas ferramentas e paciência para limpar e analisar dados.
É necessário também que um cientista de dados domine ferramentas analíticas (Estatística, Python e suas bibliotecas, R, Julia, SQL etc.), desenvolva a habilidade de contar histórias com dados (chamada comumente de storytelling), seja capaz de identificar e destacar suas vantagens competitivas e habilidades em áreas específicas para resolver problemas reais.
A rotina de um cientista de dados é dinâmica e desafiadora: o número de maneiras de obter dados está em constante crescimento, com fontes de dados em tempo real, como o Uber, e até mesmo dados de sonda espacial. Cada dia pode trazer novos problemas para resolver, desde questões antigas até problemas inéditos que exigem soluções criativas.
Inteligência Artificial e Machine Learning
Na área da ciência de dados, os conceitos de inteligência artificial e aprendizado de máquina (machine learning, em inglês) são popularmente usados de forma intercambiável, em especial quando relacionados a Big Data e soluções digitais, porém, apesar da relação, são tecnologias de diferentes escopos.
A inteligência artificial (IA) é um conjunto de tecnologias que utiliza dados de diversos tipos para criar máquinas que imitam capacidades humanas, como a visão (usando imagens como dados), a fala (usando a voz/som como dado), a escrita (usando texto produzido por humanos como dado), a criação, a interpretação, a resposta adequada às interações, dentre outras.
A inteligência artificial é um termo guarda-chuva de um campo amplo de um sistema de tecnologias.
Já o aprendizado de máquina é um subconjunto da IA, que dá autonomia às máquinas para extrair conhecimento usando dados fornecidos. Isso significa que, usando essa tecnologia, podemos identificar relações e tendências em um grande volume de dados, o que antes não era possível por não ser identificável.
Em machine learning (ML), algoritmos (sequências de instruções que executam cálculos e processamento de dados) são usados para produzir modelos preditivos (uma função matemática que utiliza dados para prever comportamentos). Além disso, os sistemas de ML são dependentes de modelos estatísticos e parametrizações para fazer correções automáticas quando alimentados com novos dados.
Cientista X Engenheiro X Analista
Algumas profissões e funções surgiram com o avanço da Ciência de Dados como um campo de estudo. Separei aqui uma breve explicação sobre as profissões mais conhecidas. Tenha em mente que cada uma dessas funções é responsável por uma parte dos estudos dos dados:
Cientista de dados: profissional responsável por todo o processo de ciência de dados, desde a coleta dos dados até a comunicação de ideias e desenvolvimento de soluções.
Engenheiro de dados: profissional responsável pela infraestrutura de dados, incluindo coleta, limpeza, armazenamento e preparação dos dados para análise.
Analista de dados: profissional responsável por interpretar os dados e comunicar as ideias geradas para o público-alvo.
Engenheiro de machine learning: profissional responsável pelo desenvolvimento de modelos de aprendizado de máquina, que são usados para prever resultados futuros.
Existem ainda outras profissões relacionadas à área de dados, como o gerente de dados, o arquiteto de dados, o desenvolvedor de aplicativos de dados (software engineer), o analista de BI (Business Intelligence) e o especialista em visualização de dados.