Foundation Models

Okt. 9, 2025

—

von

Philipp: Schweizer KI Akademie

Einfach erklärt

Basismodelle (engl. Foundation Models) sind sehr große KI‑Modelle, die mit riesigen Mengen an Daten vortrainiert werden. Danach kann man sie für viele Aufgaben anpassen (z. B. Fragen beantworten, Bilder beschreiben, Code vorschlagen) – oft mit wenig Zusatztraining.

Wie funktioniert das grob?

Zuerst lernt das Modell allgemeine Muster in Text, Bildern, Audio usw. (z. B. Sprache, Weltwissen, Stile).
Danach wird es feinabgestimmt (Finetuning/Instruction‑Tuning) für konkrete Einsätze.

Beispiele:

Ein Sprach‑Basismodell wird zu einem Kundenservice‑Assistenten angepasst.
Ein Bild‑Basismodell hilft bei der Qualitätsprüfung (Fehler auf Bauteilen finden).
Ein Audio‑Basismodell wird für Transkription und Übersetzung genutzt.

Vorteile: Wiederverwendbar, vielseitig, spart Zeit/Daten bei neuen Aufgaben.
Herausforderungen: Kosten/CO₂, Bias/Fehler, Urheberrecht/Datenschutz, Erklärbarkeit.

Professionelle Definition

Ein Foundation Model ist ein breit vortrainiertes (meist selbstüberwachtes) großskaliges Modell (f_\theta), das aus massiven, heterogenen Datensätzen repräsentations‑übergreifendes Wissen lernt und sich mittels Anpassung (z. B. Finetuning, Prompting, Instruction‑/Alignment‑Tuning) auf zahlreiche nachgelagerte Aufgaben und Domänen transferieren lässt.
Typische Ausprägungen sind Transformer‑basierte Modelle (Text, Vision, Audio, Multimodal). Charakteristische Phänomene: Skalierungseffekte (Leistung ~ Modell/Daten/Compute), emergente Fähigkeiten, In‑Context‑Learning.
Risiken/Governance‑Punkte: Verzerrungen und toxische Inhalte aus Trainingsdaten, Halluzinationen, Sicherheitsfragen, Konzentration von Rechenressourcen, Rechts‑/Compliance‑Themen (z. B. GPAI‑Pflichten im EU‑AI‑Act‑Kontext).