O aprendizado de um modelo não acontece de uma vez. Ele ocorre em um ciclo que se repete muitas vezes, e cada volta tem três momentos bem definidos.
No primeiro, o modelo faz uma previsão. Ele recebe um exemplo, aplica os parâmetros que possui naquele instante e produz uma saída. No início do treinamento, esses parâmetros são valores iniciais arbitrários, então a previsão costuma estar bem distante do esperado.
No segundo momento, a diferença entre a previsão e o valor esperado é medida e transformada em um número único, chamado perda. Esse número é a única informação que o processo tem sobre o quanto o modelo errou naquele exemplo.
No terceiro momento, os parâmetros são corrigidos. A correção é sempre pequena: o objetivo não é acertar de imediato, mas reduzir a perda um pouco a cada passagem. Depois disso, o ciclo recomeça.
A consequência dessa estrutura é que o aprendizado é gradual. Um modelo não passa de errado a correto em um passo; ele passa por muitos estados intermediários, em que a perda cai aos poucos. Se a perda para de cair, o ajuste não está mais produzindo melhora — e isso é um sinal de que algo precisa ser revisto, não de que o modelo já aprendeu tudo.