Multimodalität bezeichnet die Fähigkeit eines KI-Systems, Informationen aus mehreren Datentypen (Modalitäten) – etwa Text, Bild, Audio und Video – gemeinsam zu verarbeiten und zu integrieren. Im Gegensatz zu unimodalen Modellen, die auf einen Datentyp beschränkt sind, kann ein multimodales Modell verschiedene Eingaben kombiniert verstehen und Ausgaben in unterschiedlichen Formaten erzeugen.
Technisch werden die verschiedenen Modalitäten meist in einen gemeinsamen Repräsentationsraum (Embeddings) überführt, sodass das Modell Bezüge zwischen ihnen herstellen kann – etwa ein Bild beschreiben, aus Text ein Bild erzeugen oder eine Frage zu einem Diagramm beantworten. Ein Modell kann so beispielsweise das Foto eines Tellers Kekse entgegennehmen und ein passendes Rezept ausgeben.
Multimodalität erweitert den Anwendungsbereich generativer KI erheblich – von der Analyse medizinischer Bilder über Dokumentenverständnis bis zu autonomen Systemen, die Kamera-, Sensor- und Textdaten verbinden. Aktuelle Spitzenmodelle sind zunehmend nativ multimodal ausgelegt.