Cada conjunto responde a uma pergunta distinta. Treino mede ajuste; validação orienta decisões de desenvolvimento; teste estima o desempenho final. Misturar esses papéis produz uma avaliação otimista e enganosa.
O que a diferença entre treino e validação indica
Erro de treino baixo, validação próxima
- O modelo capturou regularidades que também aparecem em dados não vistos.
- A capacidade do modelo está adequada ao problema e à quantidade de dados.
Erro de treino baixo, validação alta
- O modelo se ajustou a particularidades dos exemplos de treino.
- Parte do que foi aprendido não se transfere para dados novos.
O conjunto de teste só preserva seu valor se for consultado poucas vezes. Cada consulta usada para escolher entre modelos consome parte de sua independência.