LLM-er har ikke kunnskap
Store språkmodeller er altså statistiske modeller som genererer tekst basert på mønstre de har lært. De er trent til å generere tekst som er troverdig, og som ligner på tekstene de er trent opp på. Språkmodellene har ikke sikker kunnskap om hva som er sant, de regner bare på hvilke ord som er mest sannsynlige.
Hvis en språkmodell skal fullføre setningen «Jeg vil ha et glass…», så er noen mulige fortsettelser «vann» og «melk». Men det fins ikke nødvendigvis bare ett riktig svar, bare sannsynligheter. Og hvis en setning bare har én riktig fortsettelse, så har ikke språkmodeller sikker kunnskap om det. Språkmodeller har ikke noe forhold til sannhet [Hicks].