Prever a próxima palavra

A tarefa que sustenta o treinamento de um modelo de linguagem é escolher a próxima palavra de um trecho. Dado "o céu está", o modelo produz uma lista de candidatos com probabilidades: "azul" pode receber 40%, "nublado" 25%, "escuro" 15%, e assim por diante. A palavra que realmente aparece no texto original serve como resposta esperada, então o modelo pode comparar sua previsão com ela e ajustar seus pesos. Isso é aprendizado com exemplos rotulados, mas com uma diferença importante: o rótulo não é anotado por uma pessoa, ele já está no próprio texto. Cada frase de um livro, de um site ou de uma conversa gera dezenas de exemplos prontos. A previsão nunca é uma certeza, é sempre uma distribuição de probabilidades sobre o vocabulário. Quando o contexto é ambíguo, várias continuações são plausíveis, e o modelo precisa distribuir suas apostas entre elas. A qualidade dessas apostas é o que o treinamento vai melhorando aos poucos.