Multimodale Modelle sind KI-Systeme, die verschiedene Datentypen wie Text, Bilder, Audio, Video oder strukturierte Tabellen in einem gemeinsamen Repräsentationsraum verarbeiten und miteinander verknüpfen.
Erklärung
Technisch überführen spezialisierte Encoder für Bildausschnitte (Vision-Patches), Audiosignale und Text-Tokens die jeweiligen Eingaben in kompatible Vektoren, sodass Transformer-Schichten Bezüge über Modalitätsgrenzen hinweg direkt berechnen können. Im Unterschied zu mehrstufigen Alt-Pipelines, bei denen erst ein separates OCR- oder Spracherkennungstool reinen Text erzeugt und dabei Layout-, Tabellen- oder Tonfallinformationen verliert, wertet ein nativ multimodales Modell die Originaldatei im Zusammenhang aus. Im B2B-Einsatz lesen solche Systeme komplexe PDF-Angebote, technische Zeichnungen, Diagramme und gescannte Lieferscheine samt Tabellenstruktur direkt in strukturierte ERP- oder CRM-Felder ein. Im technischen Support und Vertrieb verknüpfen sie beispielsweise eingesandte Schadensfotos mit Ticketbeschreibungen oder fassen Produktdemos anhand der gesprochenen Tonspur und des geteilten Bildschirminhalts zusammen.