Einfach erklärt
Multimodale Modelle – Text+Bilder, Video+Audio. Multimodale Modelle können mehrere Arten von Daten gleichzeitig verstehen und verknüpfen – zum Beispiel Text mit Bildern, Video mit Audio oder Sensor‑Daten mit Sprache. So beantworten sie Fragen zu einem Bild, beschreiben ein Video in Text oder suchen passende Bilder zu einer Textanfrage.
Kurz: Verschiedene „Sinne“ kombinieren → gemeinsames Verständnis → passende Ausgabe erzeugen.
Ganz einfache Beispiele
• Kinderbuch ansehen: Du liest den Text und siehst die Bilder – zusammen verstehst du die Geschichte.
• Kochvideo mit Ton: Video zeigt Handgriffe, Audio erklärt die Schritte – zusammen lernst du das Rezept.
• Museums‑Guide: Du fotografierst ein Gemälde und fragst per Text – das System erklärt dir, was du siehst.
Professionelle Definition
Ein multimodales Modell verarbeitet mindestens zwei Modalitäten (z. B. Text, Bild, Audio, Video, 3D, Sensorik) und bildet sie in gemeinsamen Repräsentationen ab. Typisch sind Encoder pro Modalität (z. B. Vision‑Encoder für Bilder, Text‑Encoder für Sprache) und ein gemeamer oder gekoppelter Embedding‑Raum. Für generative Aufgaben wird häufig ein Decoder/LLM mit Cross‑Attention genutzt, der Informationen modalitätsübergreifend verknüpft.
Architekturmuster (Fusion):
- Early Fusion: Roh‑/Feature‑Ebenen werden früh zusammengeführt.
- Intermediate Fusion: Cross‑Attention verbindet Modalitäten mittig im Modell.
- Late Fusion: Einzel‑Scores/Entscheidungen werden am Ende kombiniert.
Ziele/Trainingsaufgaben:
- Kontrastives Lernen (Alignment): Text ↔ Bild ins gleiche Semantik‑Koordinatensystem (z. B. CLIP).
- Matching/Ranking/Retrieval: Passende Bild–Text‑Paare erkennen.
- Generativ: Bildbeschriftung (Captioning), VQA (Visuelle Frage‑Antwort), Video‑Beschreibung, Audio‑Transkription.
- Instruktions‑Tuning: Multimodale Anweisungen + Beispiele bringen das Modell dazu, folgerichtige Antworten zu geben (z. B. VQA‑Dialoge).
Daten & Tokenisierung:
- Gepaarten (Bild–Text, Video–Untertitel) und schwach gepaarten Web‑Daten.
- Bilder/Videos werden zu Patch/Frame‑Sequenzen, Audio zu Spektrogrammen; Text bleibt Token‑Sequenz.
- Projektionslayer mappen Nicht‑Text‑Features in LLM‑kompatible Einbettungen.
Aufgabenklassen:
- Verstehen (Discriminativ): Klassifikation, Retrieval, grounding.
- Erzeugen (Generativ): Captioning, Schritt‑für‑Schritt‑Erklärungen, Dialog über Medien, Code/Texte aus Medien ableiten.
Evaluation (Beispiele):
- VQA/GQA für Bild‑Fragen, COCO‑Caption (CIDEr/BLEU), Retrieval@k für Bild↔Text, AudioSet/ESC‑50 für Audio, MSR‑VTT für Video.
Abgrenzungen und Praxisfälle
- Unimodal vs. Multimodal: Eine Modalität (nur Text) vs. mehrere Modalitäten kombiniert.
- Cross‑modal: Eingang A, Ausgabe B (z. B. Bild → Text‑Caption).
- Vision‑Language vs. Audio‑Text vs. Audio‑Video: Spezifische Unterfamilien je Modalität.
- Grounding: Sprache wird auf Bildregionen/Objekte verankert (Bbox/Segmente).
- Produkt‑Suche/Empfehlung: Text → Bild‑Retrieval; Bild → Text‑Suche.
- Barrierefreiheit: Bild‑Beschreibungen, Untertitel und Audiodeskription.
- Industrie: Visuelle Qualitätsprüfung + Sensor‑Signale; Dokument‑Verständnis mit Layout + Text.
Warum wichtig
- Die meisten realen Aufgaben sind multimodal – Systeme werden dadurch nützlicher und robuster.
- Neue Fähigkeiten wie Bild‑Dialog, Video‑Verstehen oder Audio‑Analyse.
- Eröffnet Edge‑/Industrie‑Anwendungen, Assistenzsysteme und barrierefreie Nutzung.
Quellen
Radford, A. et al. (2021) – Learning Transferable Visual Models From Natural Language Supervision (CLIP) https://arxiv.org/abs/2103.00020
Alayrac, J.‑B. et al. (2022) – Flamingo: a Visual Language Model for Few‑Shot Learning https://arxiv.org/abs/2204.14198
Li, J. et al. (2023) – BLIP‑2: Bootstrapping Language‑Image Pre‑training with Frozen Image Encoders and Large Language Models https://arxiv.org/abs/2301.12597
Liu, H. et al. (2023) – Visual Instruction Tuning (LLaVA) https://arxiv.org/abs/2304.08485