Einfach erklärt
(LLMs – Large Language Models) Große Sprachmodelle sind KI‑Programme, die mit sehr viel Text trainiert wurden. Sie lernen Muster der Sprache und können dadurch Texte verstehen und erzeugen – z. B. fragen beantworten, zusammenfassen, übersetzen, Code vorschlagen oder E‑Mails schreiben.
Wie funktioniert das grob? Das Modell sagt Wort für Wort (genauer: Token für Token) voraus, was als Nächstes wahrscheinlich kommt. Weil es so viel gesehen hat, kann es kontextbezogen antworten und Beispiele im Prompt nutzen (In‑Context‑Learning).
Beispiele:
- Chat‑Assistent: beantwortet Fragen in ganzen Sätzen.
- Dokument‑Helfer: fasst lange Texte in Stichpunkten zusammen.
- Programmier‑Hilfe: schlägt Code‑Snippets vor oder erklärt Fehler.
Wichtig: LLMs klingen oft sehr sicher, können aber Fehler/Halluzinationen machen. Gute Nutzung heißt Quellen prüfen und geeignete Grenzen setzen.
Professionelle Definition
Ein Large Language Model (LLM) ist ein großskaliges, meist Transformer‑basiertes Sprachmodell (f_\theta), das über Selbstüberwachung (z. B. Next‑Token‑Prediction) auf massiven Textkorpora vortrainiert wird. LLMs lernen verteilte Repräsentationen und zeigen Skalierungseffekte (Leistung steigt mit Modell‑/Daten‑/Compute‑Größe).
Charakteristika & Methoden:
- Architektur: Transformer (Self‑Attention, Positionskodierung), meist Decoder‑only; Varianten Encoder‑Decoder für seq2seq.
- Anpassung: Instruction/Supervised Fine‑Tuning (SFT), RLHF/RLAIF (Präferenzabgleich), PEFT/LoRA; RAG für Quellenbezug.
- Fähigkeiten: In‑Context‑Learning, Ketten‑von‑Gedanken‑Prompting, Werkzeug‑/API‑Aufrufe (Agent‑Muster), Multimodalität (Text↔Bild/Audio) bei erweiterten Modellen.
- Evaluation (Beispiele): MMLU, HELLASWAG, GSM8K, BIG‑bench; zusätzlich Domänen‑Benchmarks und kalibrierte Human‑Evals.
Risiken & Governance: Halluzinationen, Bias/faire Behandlung, Datenschutz/Urheberrecht, Sicherheit/Prompt‑Injection; Dokumentation (Datasheets/Model Cards), Monitoring, Sicherheits‑/Red‑Team‑Tests und – in der EU – AI‑Act‑Anforderungen (insb. bei GPAI/Basismodellen).
Quellen
Stanford CS224n – Natural Language Processing with Deep Learning
https://web.stanford.edu/class/cs224n/
Bommasani et al. (2021) – „On the Opportunities and Risks of Foundation Models“ (Stanford CRFM)
https://arxiv.org/abs/2108.07258
Vaswani et al. (2017) – „Attention Is All You Need“ (Transformer)
https://arxiv.org/abs/1706.03762
Kaplan et al. (2020) – „Scaling Laws for Neural Language Models“
https://arxiv.org/abs/2001.08361
EU – AI Act (Überblick der Europäischen Kommission; Bezug zu General‑Purpose AI/Basismodellen)
https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
IBM – What are large language models (LLMs)?
https://www.ibm.com/topics/large-language-models