Aktuelle KI Kurse & Schulungen
Startseite > Definitionen Künstliche Intelligenz – KI Glossar, Lexikon & Begriffe > Multimodal Embeddings
6 A B C D E F G H I K L M N O P Q R S T U V W Z
Ma Md Me Mi Mo Mu
Multi‑ Multim

Multimodal Embeddings

—

von

Philipp: Schweizer KI Akademie

1) Einfach erklärt

Multimodale Embeddings sind gemeinsame Vektordarstellungen für verschiedene Datenarten (z. B. Bild, Text, Audio, Video). Ziel: Inhalte modalitätsübergreifend vergleichbar machen – sodass z. B. ein Foto und die passende Textbeschreibung nah beieinander im selben Vektorraum liegen. So werden Zero-shot-Klassifikation, Bild↔Text-Suche, Audio↔Text-Suche oder Cross-Modal-RAG möglich.

Warum nützlich?

  • Ein einziger gemeinsamer Bedeutungsraum erlaubt Suche, Clustering, Klassifikation über Modalitätsgrenzen hinweg.
  • Modelle können Wissen aus einer Modalität auf neue Aufgaben in einer anderen Modalität übertragen (z. B. Text-Prompts → Bildkategorien).

Weiterführende Basis-Einträge:
Multimodale KI ·
Embedding/Vektorraum ·
Große Sprachmodelle (LLMs) ·
Prompt ·
Zero-shot ·
Hybride KI / RAG

2) Professionelle Definition

Multimodale Embeddings entstehen durch gemeinsames Repräsentationslernen über zwei oder mehr Modalitäten. Häufige Paradigmen:

  • Dual-Encoder + kontrastives Ziel (InfoNCE-ähnlich): je ein Encoder pro Modalität (z. B. Bild/Text). Passende Paare werden zusammengezogen, unpassende auseinander gedrückt (oft Kosinus-Ähnlichkeit mit Temperatur-Skalierung). Beispiele: CLIP, ALIGN.
  • Gemeinsamer, erweiterter Vektorraum für mehr als zwei Modalitäten (z. B. ImageBind: Bild, Text, Audio, Tiefe, Wärmebild, IMU).
  • Hybride Ansätze (z. B. BLIP/BLIP-2): kombinieren kontrastive Ziele (für robuste Embeddings/Retrieval) mit generativen Zielen (Captioning, VQA), teils mit LLM-Kopplung.

Die resultierenden Embeddings ermöglichen Zero-/Few-shot-Transfer, Retrieval (Bild↔Text, Audio↔Text, Video↔Text), Evaluation/Scoring (z. B. Ähnlichkeitsscores) und dienen als Baustein in Agenten- und RAG-Pipelines.

Beispiele multimodaler Architekturen (Auswahl)

  • CLIP (OpenAI, 2021): Bild-/Text-Dual-Encoder; trainiert auf Web-Bild-Text-Paaren; stark in Zero-shot-Klassifikation und Retrieval.
  • ALIGN (Google, 2021): skaliertes Dual-Encoder-Training auf > 1 Mrd. Alt-Text-Paaren; starke Retrieval/Zero-shot-Ergebnisse.
  • ImageBind (Meta, 2023): ein gemeinsamer Raum für sechs Modalitäten (Bild, Text, Audio, Tiefe, Wärmebild, IMU) durch Bild-gebundene Kopplung.
  • AudioCLIP (2021): erweitert CLIP auf Bild+Text+Audio; tri-modaler Raum für Audio-/Bild-/Text-Aufgaben.
  • CLAP (2022): Contrastive Language-Audio Pretraining; gemeinsamer Audio↔Text-Raum für Retrieval und Klassifikation (auch Musik/Sound-Events).
  • VideoCLIP (2021): kontrastives Video↔Text-Pretraining für Zero-shot Video-Verstehen.
  • BLIP / BLIP-2 (2022/23): kombiniert Dual-Encoder-Retrieval mit (Instruction-)Generierung; BLIP-2 koppelt gefrorenen Vision-Encoder an LLM (Q-Former).
  • OpenCLIP / SigLIP / LiT: offene/alternative oder abgewandelte Dual-Encoder und Loss-Varianten für robuste, skalierte Bild↔Text-Embeddings.

Verwandte Begriffe:
CLIP ·
ViT (Vision Transformer) ·
Retrieval-Augmented Generation (RAG) ·
Chain-of-Thought

Quellen (externe Belege; kopierbare, klickbare Links)

Überblick & Repräsentationslernen
Baltrušaitis et al. (2017): Multimodal Machine Learning: A Survey and Taxonomy –
https://arxiv.org/abs/1705.09406 ·
PDF: https://arxiv.org/pdf/1705.09406

Bild↔Text (Dual-Encoder, kontrastiv)
CLIP (Radford et al., 2021) – arXiv: https://arxiv.org/abs/2103.00020 ·
PDF: https://arxiv.org/pdf/2103.00020 ·
PMLR: https://proceedings.mlr.press/v139/radford21a/radford21a.pdf
ALIGN (Jia et al., 2021) – arXiv: https://arxiv.org/abs/2102.05918 ·
PDF (PMLR): https://proceedings.mlr.press/v139/jia21b/jia21b.pdf

> 2 Modalitäten (gemeinsamer Raum)
ImageBind (Girdhar et al., 2023) – arXiv: https://arxiv.org/abs/2305.05665 ·
PDF: https://arxiv.org/pdf/2305.05665 ·
Meta-Blog: https://ai.meta.com/blog/imagebind-six-modalities-binding-ai/

Audio↔Text
CLAP (Elizalde et al., 2022) – arXiv: https://arxiv.org/abs/2206.04769 ·
GitHub (LAION): https://github.com/LAION-AI/CLAP
AudioCLIP (Guzhov et al., 2021) – arXiv: https://arxiv.org/abs/2106.13043 ·
PDF: https://www.dfki.de/fileadmin/user_upload/import/12157_2106.13043.pdf ·
GitHub: https://github.com/AndreyGuzhov/AudioCLIP

Video↔Text
VideoCLIP (Xu et al., 2021) – arXiv: https://arxiv.org/abs/2109.14084 ·
PDF: https://arxiv.org/pdf/2109.14084

Weitere Dual-Encoder-Varianten
OpenCLIP (2022) – arXiv: https://arxiv.org/abs/2212.07143 ·
PDF: https://arxiv.org/pdf/2212.07143 ·
Repo: https://github.com/mlfoundations/open_clip
SigLIP (2023) – arXiv: https://arxiv.org/abs/2303.15343 ·
ICCV PDF: https://openaccess.thecvf.com/content/ICCV2023/papers/Zhai_Sigmoid_Loss_for_Language_Image_Pre-Training_ICCV_2023_paper.pdf
LiT (2022) – arXiv: https://arxiv.org/abs/2111.07991 ·
CVPR PDF: https://openaccess.thecvf.com/content/CVPR2022/papers/Zhai_LiT_Zero-Shot_Transfer_With_Locked-Image_Text_Tuning_CVPR_2022_paper.pdf

 

KI Kurse und Workshops für Weiterbildung