O modelo produz uma previsão, mas existe uma resposta esperada — aquilo que deveria ter sido dito. O erro é a diferença entre essas duas coisas. Se o modelo previu 0,3 e a resposta esperada era 1, o erro é 0,7. Se previu 0,9, o erro é 0,1. Quanto maior a diferença, mais longe o modelo está da resposta certa. O erro não é um fracasso a ser escondido: é a única informação que diz ao modelo o quanto ele precisa mudar. Sem comparar previsão e resposta esperada, não há como saber se os pesos estão bons ou ruins.
O sinal do erro também importa. Quando a previsão fica abaixo da resposta esperada, o modelo precisa aumentar a influência de certas informações. Quando fica acima, precisa diminuir. O erro carrega, portanto, duas informações ao mesmo tempo: o tamanho da distância e o lado para onde corrigir.