Hvordan fungerer språkmodeller?

I denne delen av kurset skal du lære mer om hvordan store språkmodeller (LLM-er) fungerer, og hvorfor denne forståelsen er viktig når du bruker dem.

En type enkle språkmodeller som mange har brukt, er smarte tastaturer på mobiltelefoner. De foreslår neste ord basert på teksten du har skrevet så langt. Modellene er trent opp på tekster hentet fra internett, og forslagene er de mest sannsynlige ordene utfra sannsynlighetene som modellen har lært fra tekstene. Vi kan si at forslaget er betinget av konteksten, altså teksten du har skrevet.

Selv om store språkmodeller er mye mer avanserte enn smarte tastaturer, fungerer de grunnleggende sett på samme måte. De bygger opp teksten et ord av gangen, betinget av konteksten du gir den. Konteksten kan være en instruksjon eller spørsmål. Men ofte legger vi til ekstra kontekst, for eksempel ved å laste opp filer. Mange språkmodeller kan også hente relevant informasjon fra internett, som kan brukes som kontekst.

Store språkmodeller trenes altså på tekster fra internett. Men det er mange tekster de ikke har tilgang til. For eksempel har de ikke tilgang til informasjon som krever innlogging, altså bak en betalingsmur. De har også begrenset tilgang til trykte kilder. Det betyr at de har tilgang til lite eller ingen informasjon på mange områder.

Læringsmål

Etter denne episoden vil du kunne:

Forstå at LLM-er konstruerer tekst basert på statistiske mønstre
Forklare hvorfor LLM-er ikke er pålitelige kunnskapsbaser
Gjenkjenne når en LLM kan gi feil informasjon
Forstå betydningen av tilfeldighet i KI-svar