Por que a invenção parece tão convincente
O modelo aprendeu que, depois de certas expressões, certos tipos de resposta costumam vir. Ele reproduz esse formato com naturalidade, mesmo quando o conteúdo é inventado. A forma está certa; o fato, não.
A referência que não existe
Peça a um modelo de linguagem uma lista de artigos científicos sobre um tema muito específico. Ele pode devolver títulos, autores e revistas com aparência totalmente plausível, e ainda assim nenhum desses artigos existir. O formato de uma referência é um padrão que o modelo domina; o conteúdo real de cada referência, não.
Fluência não é prova
Uma resposta bem escrita e segura não indica que o conteúdo foi verificado. O modelo não sinaliza quando está inventando.