Inferenz bezeichnet in der KI die Phase, in der ein bereits trainiertes Modell auf neue, ungesehene Daten angewendet wird, um eine Ausgabe – etwa eine Vorhersage, Klassifikation oder generierten Text – zu erzeugen. Sie steht im Gegensatz zur Trainingsphase, in der das Modell aus Daten lernt und seine Parameter anpasst. Inferenz ist damit der Produktivbetrieb eines Modells: Das trainierte Modell wird bereitgestellt und auf reale Anfragen angewendet.
Bei einem Sprachmodell ist jede Antwort auf einen Prompt ein Inferenzvorgang: Das Modell verarbeitet die Eingabe-Token und sagt Schritt für Schritt die Ausgabe-Token voraus. Im Unterschied zum einmaligen, rechenintensiven Training findet Inferenz millionenfach im laufenden Betrieb statt.
Deshalb sind bei der Inferenz Latenz, Durchsatz und Kosten pro Anfrage entscheidend. Ein großer Teil der Betriebskosten produktiver KI-Systeme entfällt auf Inferenz, weshalb sie durch spezialisierte Hardware (GPUs, KI-Beschleuniger) und Optimierungen beschleunigt wird.