Uma tarefa simples, um efeito profundo
Prever a próxima palavra é uma tarefa local, mas para fazê-la bem em textos variados o modelo precisa representar relações de longo alcance entre ideias. A pressão para reduzir o erro de previsão é o que força essa representação a se formar.
Por que o volume importa
Com poucos exemplos, o modelo tende a decorar. Com enormes volumes de texto, os padrões que aparecem em contextos diferentes se reforçam, enquanto as coincidências isoladas perdem força. O resultado é um conhecimento mais geral e menos preso a frases específicas.
Onde fica o conhecimento
Não há uma gaveta de fatos dentro do modelo. O que ele aprendeu está espalhado pelos pesos, como tendências que influenciam cada previsão. Isso explica por que ele pode acertar muito e, ao mesmo tempo, errar de formas estranhas.