Transfer Learning ist ein Verfahren des maschinellen Lernens, bei dem ein auf einem großen Basisdatensatz vortrainiertes Modell als Ausgangspunkt dient und für eine spezifische Zielaufgabe weiterverwendet oder feinjustiert wird.
Erklärung
Beim Training eines tiefen neuronalen Netzes von Grund auf sind Millionen annotierter Beispiele und hohe GPU-Rechenzeit nötig, bis das System allgemeine Merkmale wie Bildkanten oder sprachliche Syntax und Semantik erfasst. Beim Transfer Learning bleiben die unteren Netzwerkschichten mit diesem Basiswissen weitgehend erhalten (häufig mit eingefrorenen Gewichten), während lediglich die obersten Klassifikationsschichten oder kompakte Adapter-Module wie LoRA (Low-Rank Adaptation) mit wenigen hundert bis tausend domänenspezifischen Datensätzen nachtrainiert werden. In B2B-Projekten nutzen Entwicklungsteams diesen Ansatz unter anderem, um ein allgemeines Sprachmodell auf juristische Vertragsklauseln und branchenspezifische Support-Kategorien anzupassen oder ein vortrainiertes Computer-Vision-Modell für die optische Fehlerprüfung eigener Industriebauteile zu kalibrieren.