Por que um modelo pode ter uma pontuação excelente e ainda ser inútil?
Um modelo pode ter uma pontuação excelente e ainda assim ser inútil quando é testado com os mesmos dados usados no treinamento, porque pode ter memorizado esses exemplos em vez de ter aprendido algo que se aplique a novos clientes.
Imagine uma empresa fictícia de assinatura de kits de refeições com 120 pessoas, a Pantrybox. Um analista, Kofi, cria um modelo para prever quais assinantes vão cancelar no próximo mês, para que a equipe de retenção possa ligar para eles primeiro. Sua atualização para a responsável pela área de clientes, Sian, diz: 'Modelo A: 99% de acurácia!! usa 85 colunas, incluindo ID do cliente, código postal e todas as datas de pedidos anteriores. Modelo B (simples, 2 colunas): 69% no treino, 68% no teste. Modelo A nos dados novos do mês passado: 71%. Cerca de 30% dos clientes cancelam todo mês.' Sian quer saber qual modelo usar e por que o de 99% teve um desempenho tão ruim no mês passado.
| Modelo | Acurácia no treinamento | Teste a precisão | O que sugere |
|---|---|---|---|
| Modelo A, 85 colunas | 99% | 71% | Sobreajuste: memorizou os clientes dos dados de treinamento |
| Modelo B, 2 colunas | 69% | 68% | Subajuste: mal supera a estratégia de sempre prever 'permanece' |
Como você identifica sobreajuste e subajuste passo a passo?
Diagnostique os dois problemas comparando o desempenho nos dados de treinamento com o desempenho em dados que o modelo nunca viu e comparando ambos com uma referência simples. O padrão desses três números indica qual é o problema.
1. Não compartilhe os dados
Antes do treinamento, reserve um conjunto de teste ao qual o modelo nunca tenha acesso. Testar um modelo com os dados usados no treinamento é um erro básico, porque um modelo que apenas repete o que já viu recebe uma pontuação perfeita sem prever nada.
2. Estabeleça uma referência inicial
Calcule qual seria a pontuação de uma regra trivial. Na Pantrybox, cerca de 70% dos clientes permanecem a cada mês, então prever 'permanece' para todos resulta em uma pontuação de cerca de 70%. Um modelo útil precisa superar esse resultado com folga.
3. Compare treino e teste
Uma pontuação alta no treinamento e muito menor no teste indica sobreajuste. Pontuações baixas em ambos, próximas da referência de comparação, indicam subajuste. Pontuações boas e semelhantes em ambos sugerem um ajuste razoável.
4. Verifique a estabilidade
A validação cruzada treina e testa o modelo várias vezes em diferentes partes dos dados de treinamento e calcula a média dos resultados. Se as pontuações variarem muito entre as partes, o modelo é frágil.
5. Escolha uma correção adequada ao problema
Sobreajuste e subajuste exigem soluções opostas, então identifique o problema antes de mudar qualquer coisa.
Como corrigir o sobreajuste e o subajuste?
Corrija o sobreajuste simplificando o modelo ou tornando seus dados mais representativos, e corrija o subajuste fornecendo ao modelo informações mais úteis ou mais flexibilidade. Em termos simples:
Para o sobreajuste
Remova colunas que identifiquem pessoas em vez de comportamentos, como o identificador do cliente; use dados de treinamento que representem os clientes que você realmente vai pontuar; prefira um modelo mais simples; e aplique regularização, que penaliza a complexidade durante o treinamento para que o modelo favoreça padrões mais simples.
Para o subajuste
Adicione variáveis que possam ter relação com o cancelamento, como entregas puladas, reclamações recentes ou uma mudança de preço; permita o uso de um modelo mais flexível; e verifique se os dados não têm tanto ruído ou tantos rótulos incorretos que nenhum modelo conseguiria aprender com eles.
Para ambos
Mantenha o conjunto de teste intacto até o final. Se você ajustar o modelo repetidamente com base no conjunto de teste, informações dele vazam para o modelo e a pontuação do teste deixa de ser uma estimativa fiel.
Como é uma decisão sobre um modelo de previsão de cancelamento fraca e uma aprimorada?
A decisão mal fundamentada escolhe o Modelo A porque 99% é o maior número no slide. Na prática, ele é pouco melhor do que um palpite, e a equipe de retenção desperdiça ligações com clientes que nunca pretendiam sair.
A decisão aprimorada diz: 'O modelo A memorizou clientes individuais: ele inclui o ID do cliente e as datas exatas dos pedidos, então reconheceu pessoas que já tinha visto em vez de aprender por que elas cancelam. O modelo B é simples demais para superar a referência de 70%. Próxima etapa: o modelo C usa seis características de comportamento, incluindo entregas puladas no último mês, chamados de suporte e semanas desde a última mudança de cardápio, sem o ID do cliente e o código postal. Meta: uma pontuação de teste claramente acima de 70% e a poucos pontos da pontuação de treinamento, verificada por validação cruzada com cinco partições, antes que a equipe de retenção passe a confiar nele.' Agora Sian sabe por que o modelo de 99% falhou e o que caracteriza um bom resultado.
Como você verifica se um modelo não está com sobreajuste nem com subajuste?
Verifique um modelo confirmando que sua pontuação no teste é próxima da pontuação no treinamento, claramente superior à referência e estável entre as partições da validação cruzada e em um novo mês de dados. Pergunte também se alguma variável só seria conhecida após o resultado, como o motivo de um cancelamento; isso é vazamento de dados e faz as duas pontuações parecerem melhores do que o modelo realmente é.
Quais são os erros comuns ao lidar com sobreajuste e subajuste?
O erro mais comum é apresentar a acurácia no treinamento como se fosse a acurácia no mundo real. Outros: ignorar a referência básica, fazendo 70% parecer impressionante quando é o que um palpite consegue; adicionar todas as colunas disponíveis na esperança de melhorar a pontuação; consultar o conjunto de teste durante os ajustes; e tratar o sobreajuste como motivo para aumentar a complexidade, quando ele geralmente exige o contrário.
Onde esta aula se encaixa na Tosheo.ai?
Esta aula está na categoria Aprendizado de máquina e vem após a introdução aos modelos no curso de aprendizado de máquina. No Tosheo.ai, a tarefa prática apresenta um relatório de modelo fictício para você analisar, e o retorno da avaliação verifica se você comparou os resultados de treinamento, teste e referência antes de recomendar uma correção. É uma base profissional para trabalhar com equipes de dados; a trilha opcional de Programação aborda o treinamento e a avaliação de modelos em código.
Fontes e escopo
Curso intensivo de aprendizado de máquina do Google: sobreajuste (verificado em 19 October 2026) ↗
Guia do usuário do scikit-learn: validação cruzada (verificado em 19 October 2026) ↗