O treino de um modelo é a repetição contínua do mesmo ciclo: o modelo recebe um exemplo, faz uma previsão, compara com a resposta esperada, mede o erro e ajusta os pesos na direção que reduz esse erro. Em seguida, passa para o próximo exemplo e repete tudo.
O ponto importante é que cada volta do ciclo produz uma correção pequena. Nenhum exemplo isolado conserta o modelo. O que acontece é um acúmulo: depois de muitas voltas, os pesos já não estão tão longe do que deveriam. A melhora não vem de um salto, mas de centenas ou milhares de pequenos ajustes que se somam.
Se imaginarmos o erro total do modelo como uma medida que queremos diminuir, cada volta do ciclo empurra essa medida um pouco para baixo. O gráfico dessa medida ao longo do treino não desce em linha reta: ele cai rápido no começo, quando os erros são grandes, e depois desacelera, porque os ajustes ficam cada vez mais finos.