Fine-Tuning (Feinabstimmung) ist der Prozess, ein bereits vortrainiertes Modell mit einem kleineren, spezialisierten Datensatz weiter zu trainieren, um es an eine bestimmte Aufgabe oder Domäne anzupassen. Während das Vortraining überwiegend selbstüberwacht breites Allgemeinwissen vermittelt, ist Fine-Tuning typischerweise ein überwachtes Verfahren mit gelabelten Beispielen.
Dabei erhält das Modell Eingabe-Prompts aus den Trainingsdaten, erzeugt Ausgaben, vergleicht sie mit den erwarteten Antworten und passt seine internen Gewichte anhand des Fehlers an. So wird aus einem allgemeinen Basismodell ein Spezialist – etwa ein auf juristische Fragen abgestimmter Assistent oder ein Modell für medizinische Textklassifikation.
Neben vollständigem Fine-Tuning haben sich ressourcenschonende Verfahren etabliert (parameter-effizientes Fine-Tuning wie LoRA), die nur einen kleinen Teil der Gewichte anpassen. Fine-Tuning ist eine Alternative oder Ergänzung zu Prompt Engineering und RAG, wenn ein Modell konsistent einem bestimmten Stil, Format oder Fachgebiet folgen soll.