Einfach erklärt
Transferlernen heißt: Ein bereits vortrainiertes Modell nutzt sein Vorwissen, um eine neue, verwandte Aufgabe schneller und besser zu lösen. Statt bei Null zu starten, baut es auf dem, was es schon kann, auf.
Warum ist das nützlich?
- Spart Daten, Zeit und Rechenleistung.
- Liefert oft bessere Ergebnisse bei kleinen, passenden Datensätzen.
- Macht Modelle anpassungsfähig für viele ähnliche Aufgaben.
Ganz einfache Beispiele:
- Fotos: Ein Modell erkennt schon viele Tiere. Mit wenigen Bildern lernt es zusätzlich neue Tierarten.
- Texte: Ein Sprachmodell versteht allgemeines Deutsch. Mit wenigen Beispielen schreibt es Firmen‑E‑Mails im gewünschten Stil.
- Töne: Ein Modell, das Musikinstrumente erkennt, lässt sich leicht auf neue Instrumente erweitern.
Professionelle Definition
Transferlernen nutzt Wissen aus Quell‑Domäne/Aufgabe ((\mathcal D_S,\mathcal T_S)) zur Verbesserung des Lernens in Ziel‑Domäne/Aufgabe ((\mathcal D_T,\mathcal T_T)) mit (\mathcal D_S\ne\mathcal D_T) und/oder (\mathcal T_S\ne\mathcal T_T). Wichtige Formen sind Merkmals‑/Repräsentations‑Transfer (Vortrainierte Einbettungen/Merkmals‑Extraktoren), Parameter‑Transfer (Gewichte weiterverwenden), Beispiel‑Transfer (Gewichtungen/Selektion) und Beziehungen/Strukturen (z. B. gemeinsame Ontologien). Domänenanpassung ist ein Sonderfall mit gleicher Aufgabe, aber unterschiedlicher Datenverteilung (z. B. Quelle: Web‑Fotos, Ziel: Industriokamera). In der Praxis wird oft ein vortrainiertes Modell feinabgestimmt (Fine‑Tuning) oder eingefroren + neuer Kopf trainiert.
Quellen
- Pan & Yang (2010) – A Survey on Transfer Learning (klassische Taxonomie/Definitionen)
https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf - Weiss, Khoshgoftaar, Wang (2016) – A Survey of Transfer Learning (Übersicht, Anwendungen)
https://journalofbigdata.springeropen.com/articles/10.1186/s40537-016-0043-6 - Torrey & Shavlik (2010) – Transfer Learning (Kapitel im Handbuch „Handbook of ML“)
https://ftp.cs.wisc.edu/machine-learning/shavlik-group/torrey.handbook09.pdf - Ruder (2019) – The State of Transfer Learning in NLP (Überblick zu NLP‑Praxis)
https://www.ruder.io/state-of-transfer-learning-in-nlp/