Einfach erklärt
Rombach et al., 2022 – Latent Diffusion Models (LDM)
Worum geht’s? Das Paper von Rombach et al. (2022) zeigt, wie man realistische Bilder mit Diffusions‑KI erzeugen kann – schneller und speichersparender als frühere Methoden. Der Trick: Man erzeugt das Bild nicht direkt im Pixelraster, sondern in einem komprimierten „Latentraum“ (so ähnlich wie eine kleine, schlaue Bild‑Zwischendarstellung). Erst am Ende wird das Ergebnis zurück in ein normales Bild umgewandelt.
Was kann man damit machen?
- Text → Bild: Ein kurzer Text‑Prompt beschreibt das Motiv; das Modell erzeugt ein passendes Bild. Einstieg & Praxisformate: Kurs‑ & Schulungs‑Hub.
- Inpainting: Bereiche austauschen/auffüllen (z. B. ein Objekt aus dem Foto entfernen und plausibel ersetzen). Umsetzung in Projekten über KI‑Workflows & Automatisierung.
- Super‑Resolution: Vergrößern mit Detailergänzung. Ideen & Branchenbeispiele: KI‑Use‑Cases.
Warum wichtig? Durch den Latentraum‑Trick brauchen die Modelle weniger Speicher und sind schneller, bleiben aber hochqualitativ. Darauf basieren viele heutige Bild‑Generatoren.
Professionelle Definition
Latent Diffusion Models (LDM) (Rombach, Blattmann, Lorenz, Esser, Ommer; CVPR 2022) formulieren Text‑konditionierte und bildkonditionierte Diffusion im komprimierten Repräsentationsraum eines variationalen Autoencoders (VAE). Statt im Pixelraum wird das Denoising in einem niedrigdimensionalen Latentraum gelernt; ein U‑Net mit Cross‑Attention koppelt Konditionen (z. B. Text‑Embeddings via CLIP‑Textencoder) an den Generationsprozess. Die Rausch‑Vorhersage (ε‑Prediction) wird über Zeit‑Schritte trainiert; zur Guidance werden u. a. Classifier‑Free Guidance‑Techniken genutzt. LDMs zeigen state‑of‑the‑art Qualität bei Text‑zu‑Bild, Inpainting und Super‑Resolution bei deutlich reduziertem Rechen‑ und Speicherbedarf im Vergleich zu Pixel‑Diffusion.
Quellen
- CVPR 2022 (OpenAccess) – High‑Resolution Image Synthesis with Latent Diffusion Models (Volltext):
https://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf - arXiv – High‑Resolution Image Synthesis with Latent Diffusion Models (Preprint):
https://arxiv.org/abs/2112.10752 - CompVis – Projekt/Code (latent‑diffusion):
https://github.com/CompVis/latent-diffusion - CompVis – Model Card (Stable Diffusion v1‑4; LDM‑basiert, Text‑zu‑Bild/Inpainting/Super‑Resolution):
https://huggingface.co/CompVis/stable-diffusion-v1-4