Ein Embedding ist eine Darstellung von Daten – etwa Wörtern, Sätzen oder Bildern – als Vektor reeller Zahlen in einem kontinuierlichen, mehrdimensionalen Raum. Die zentrale Eigenschaft: Semantisch ähnliche Objekte liegen in diesem Raum nahe beieinander, unähnliche weit entfernt. So kann ein Modell Bedeutung und Beziehungen numerisch verarbeiten, denn Algorithmen benötigen Zahlen statt roher Zeichenketten.
Bekannt wurde das Konzept durch Word2Vec (Mikolov et al., 2013), das effiziente Verfahren zur Berechnung kontinuierlicher Wortvektoren aus großen Datenmengen vorstellte. Berühmt sind die dabei entstehenden Vektor-Analogien wie „König − Mann + Frau ≈ Königin". Moderne, transformerbasierte Modelle wie BERT erzeugen dagegen kontextabhängige Embeddings, bei denen dasselbe Wort je nach Kontext einen anderen Vektor erhält.
Embeddings sind die Grundlage semantischer Suche, von Empfehlungssystemen und von RAG: Dort werden Dokumente als Embeddings in einer Vektordatenbank abgelegt und über Ähnlichkeit zur Anfrage gefunden.