Com o erro medido, o modelo ajusta cada peso um pouco na direção que diminui a diferença. Se um peso contribuiu para uma previsão alta demais, ele é reduzido; se contribuiu para uma previsão baixa demais, é aumentado. O ajuste é proporcional ao erro: erros grandes geram correções maiores, erros pequenos geram correções menores. Mas o passo é sempre modesto, porque um salto brusco poderia fazer o modelo pular por cima da resposta certa e piorar.
Esse movimento é repetido para cada exemplo. Cada exemplo empurra os pesos um pouco na direção que reduz o erro daquele exemplo. O resultado é uma caminhada gradual, em que os pesos vão se aproximando de valores que produzem previsões melhores para o conjunto todo.