Ein Large Language Model (LLM) ist ein neuronales Netz, das auf sehr großen Textmengen trainiert wurde, um natürliche Sprache zu verstehen und zu erzeugen. Technisch basieren LLMs auf der Transformer-Architektur, die Wortfolgen parallel verarbeitet und mithilfe von Aufmerksamkeitsmechanismen (Attention) statistische Zusammenhänge zwischen Wörtern erfasst.
Im Kern ist ein LLM eine Wahrscheinlichkeitsmaschine: Es sagt wiederholt das nächste Token in einer Sequenz voraus und erzeugt so Text, der den im Training gelernten Mustern folgt. Der Trainingsprozess läuft überwiegend selbstüberwacht auf unmarkierten Daten; anschließend werden Modelle häufig per Fine-Tuning und Ausrichtung an menschlichem Feedback für konkrete Aufgaben verfeinert.
LLMs beherrschen ein breites Aufgabenspektrum – Zusammenfassen, Übersetzen, Klassifizieren, Codegenerierung und Dialog – ohne dafür je Aufgabe neu programmiert zu werden. Ihre Antworten sind jedoch nicht faktengeprüft: Fehlt Wissen im Modell, können Halluzinationen entstehen. Die Leistungsfähigkeit skaliert typischerweise mit Modellgröße, Datenmenge und Rechenaufwand.