Einfach erklärt
Model Collapse bezeichnet einen degenerativen Prozess in generativen KI-Modellen, bei dem die Modellleistung nach und nach immer schlechter und einseitiger wird, wenn Modelle wiederholt auf von KI erzeugten Daten (synthetic data) trainiert werden – insbesondere auf ihren eigenen früheren Outputs.
Mit jeder „Generation“ wird weniger echte Vielfalt aus der ursprünglichen Datenverteilung abgedeckt. Zuerst verschwinden vor allem Randbereiche und Minderheitenmuster („Tails“ der Verteilung), später werden die Ausgaben immer homogener, verzerrter oder sogar unbrauchbar. Das Modell „verliert den Bezug zur Realität“ und kollabiert im Extremfall zu stark eingeschränkten oder sinnlosen Outputs.
Kurz: Model Collapse = Wenn KI-Modelle sich zu lange selbst „rezitieren“, werden sie blind, einfältig und unzuverlässig.
Beispiele
- Sprachmodell, das auf KI-Text trainiert wird
Ein LLM wird zuerst auf viel menschlich geschriebenem Text trainiert. Spätere Versionen werden zunehmend mit Texten trainiert, die ältere Modelle erzeugt haben. Nach mehreren Runden dominiert synthetischer Text: Das Modell verliert seltene Formulierungen und Perspektiven, Antworten werden immer gleichförmiger, Fehler und Halluzinationen verstärken sich. - Bildmodell mit rekursivem Training
Ein Bildgenerator (z. B. Diffusionsmodell) wird im nächsten Schritt stark auf Bilder trainiert, die er selbst generiert hat. Nach mehreren Generationen sehen die Bilder zwar noch „modelltypisch“ aus, decken aber nur noch einen kleinen Teil der ursprünglichen Bildvielfalt ab; Details und seltene Strukturen verschwinden, Artefakte häufen sich. - Einfache Spielzeugmodelle
Studien zeigen Model Collapse bereits bei einfachen Modellen (z. B. Gauß-Modellen oder Variational Autoencoders), wenn sie wiederholt auf ihren eigenen Samples nachtrainiert werden: Die geschätzte Verteilung driftet von der ursprünglichen ab und kann schließlich stark zusammenfallen (z. B. auf einen zu engen Bereich).
Professionelle Definition
In der aktuellen Forschung wird Model Collapse beschrieben als ein
degenerativer Prozess, der Generationen gelernter generativer Modelle betrifft, bei dem von Modellen generierte Daten (synthetic data) die Trainingsdaten der nächsten Generation verschmutzen und dadurch zu einer schrittweisen Verfälschung der gelernten Verteilung und zum Leistungsabfall führen.
Kernpunkte der formalen Beschreibung:
- Generative Modelle werden wiederholt auf Daten trainiert, die sowohl echte (human-generated) als auch synthetische (model-generated) Anteile enthalten.
- Es entsteht eine Feedback-Schleife: Fehler und Vereinfachungen früherer Modelle werden in die Trainingsdaten späterer Modelle eingebaut und verstärkt.
- Die Modelle verlieren nach und nach ihre Fähigkeit, die ursprüngliche, echte Datenverteilung adäquat zu repräsentieren.
Die einflussreichen Arbeiten von Shumailov et al. definieren Model Collapse explizit als degenerativen Prozess, der alle Arten gelernter generativer Modelle (LLMs, VAEs, GMMs usw.) betreffen kann, wenn sie rekursiv auf eigenen Outputs trainiert werden.
Early vs. Late Model Collapse
In der Literatur wird häufig zwischen frühem und spätem Model Collapse unterschieden:
- Early Model Collapse
- Late Model Collapse
- Starker qualitativer Einbruch: Das Modell verliert einen großen Teil seiner Varianz, verwechselt Konzepte, produziert sich wiederholende oder unsinnige Ausgaben.
- Die Ausgaben ähneln immer mehr einer degenerierten Verteilung (z. B. „klumpen“ um wenige Muster).
Diese Stadien wurden sowohl theoretisch (Spielzeugmodelle) als auch empirisch (LLMs, Bildmodelle) beschrieben.
Mechanismus und Ursachen
Wiederholtes Training auf synthetischen Daten führt durch mehrere Fehlerquellen zur Verschlechterung des Modells:
- Approximationsfehler
Jedes Modell ist nur eine Annäherung an die wahre Verteilung; kleine Verzerrungen werden bei rekursivem Training verstärkt. - Sampling-Fehler
Die vom Modell generierten Daten decken die wahre Vielfalt nicht vollständig ab (insb. in den Tails). Beim erneuten Training fehlen wichtige Beispiele. - Lernfehler
Die Optimierung selbst (z. B. begrenzte Trainingszeit, begrenzte Kapazität) fügt zusätzliche Abweichungen hinzu.
Wenn Modelle über Generationen hinweg immer wieder auf einem Mix trainiert werden, in dem der Anteil synthetischer Daten steigt und echte, vielfältige Daten fehlen oder unterrepräsentiert sind, kumulieren diese Fehler. Das führt zu
- Verlust von Diversität,
- Verstärkung von Biases,
- und schließlich zu stark degradierten Modellen (Collapse).
Verhältnis zu verwandten Begriffen
- Mode Collapse (z. B. bei GANs)
Mode Collapse bezeichnet typischerweise, dass ein generatives Modell nur noch wenige „Moden“ (Varianten) der Verteilung erzeugt. Model Collapse ist ein breiterer Prozess, der ganze Modellgenerationen betrifft und u. a. durch rekursives Training auf synthetischen Daten verursacht wird – Mode Collapse kann ein Symptom davon sein. - AI slop
AI slop beschreibt die Masse minderwertiger KI-Inhalte, die u. a. durch generative Modelle erzeugt werden. Wenn diese Inhalte ungefiltert wieder als Trainingsdaten genutzt werden, kann dies Model Collapse verstärken, weil das Trainingsset zunehmend aus qualitativ schlechten, redundanten oder verzerrten Daten besteht. - Data Pollution / Data Poisoning
Model Collapse wird in mehreren Arbeiten explizit als Form von „data pollution“ bzw. „self-pollution“ beschrieben: Das Modell vergiftet seine eigenen Trainingsdaten, indem es gefälschte oder verarmte Daten in den Datenpool einträgt.
Folgen und Risiken
- Verlust von Modellqualität
Reduzierte Genauigkeit, weniger robuste und weniger vielfältige Ausgaben, schlechtere Generalisierung. - Benachteiligung von Minderheiten
Früher Model Collapse trifft insbesondere seltene oder unterrepräsentierte Gruppen und Phänomene – wichtige Informationen können unbemerkt verschwinden. - „Verarmung“ des KI-Ökosystems
Wenn viele Modelle in einem Ökosystem auf denselben, zunehmend synthetischen Daten trainieren, kann das gesamte System in Richtung verarmter, homogener Outputs driften. - Langfristige Abhängigkeit von menschlichen Daten
Forschung und Medien betonen, dass hochwertige menschliche Daten extrem wichtig bleiben, um Model Collapse zu vermeiden. Erste Trainingswellen, die auf „sauberem“ menschlichen Web-Content basierten, könnten langfristige Qualitätsvorteile haben.
Gegenmaßnahmen (hohe Ebene)
Die Forschung diskutiert verschiedene Strategien, um Model Collapse vorzubeugen oder abzumildern, z. B.:
- Begrenzung und Kontrolle synthetischer Daten im Training (z. B. Filter, Kennzeichnung, Wasserzeichen).
- Datenakkumulation statt Datenersetzung: echte Daten werden nicht durch synthetische ersetzt, sondern ergänzt; echtes Feedback bleibt erhalten.
- Human-in-the-loop: Einsatz menschlicher Annotator:innen und Kurator:innen zur Qualitätskontrolle von Trainingsdaten.
- Explizite Robustheits- und Diversitätsziele im Training.
Diese Punkte sind aktive Forschungsgebiete; es gibt keine endgültige, universell bestätigte Lösung.
Quellen
- Wikipedia – „Model collapse“
https://en.wikipedia.org/wiki/Model_collapse - Shumailov et al. – „AI models collapse when trained on recursively generated data“ (Nature, 2024)
https://www.nature.com/articles/s41586-024-07566-y - Shumailov et al. – „The Curse of Recursion: Training on Generated Data Makes Models Forget“ (arXiv, 2023)
https://arxiv.org/abs/2305.17493 - IBM – „What Is Model Collapse?“
https://www.ibm.com/think/topics/model-collapse - Datacamp – „What Is Model Collapse?“
https://www.datacamp.com/blog/what-is-model-collapse - Gerstgrasser et al. – „Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data“
https://openreview.net/forum?id=5B2K4LRgmz - Kazdan et al. – „Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World“