LoRA (Low-Rank Adaptation)
Definition
LoRA (Low-Rank Adaptation) ist ein parametereffizientes Fine-Tuning-Verfahren (PEFT), bei dem die ursprünglichen Gewichte eines vortrainierten Modells eingefroren bleiben und Anpassungen ausschließlich über kleine Zusatzmatrizen mit niedrigem Rang gelernt werden.Erklärung
Beim klassischen Voll-Fine-Tuning müssen sämtliche Gewichtsmatrizen der Dimensiond × k aktualisiert und samt zugehöriger Optimizer-Zustände im Grafikspeicher (VRAM) vorgehalten werden. LoRA stellt die Gewichtsänderung als Produkt zweier schmaler Matrizen B (d × r) und A (r × k) dar, wobei der Rang r (meist zwischen 8 und 64) um Größenordnungen kleiner ist als die ursprünglichen Matrixdimensionen. Da während des Trainings nur A und B Gradienten benötigen, sinkt die Zahl der trainierbaren Parameter oft auf unter ein Prozent des Gesamtmodells; kombiniert mit einer 4-Bit-Quantisierung des Basismodells (QLoRA) lassen sich große Sprachmodelle auf einzelnen GPUs nachtrainieren. Für SaaS-Anbieter bringt diese Trennung auch im Betrieb Vorteile: Die wenigen Megabyte großen Adapter werden vor der Inferenz ohne zusätzliche Antwortlatenz in die Basisgewichte eingerechnet oder pro Mandant und Aufgabe (etwa Vertragsanalyse, E-Mail-Entwürfe oder Ticket-Klassifikation) dynamisch auf demselben Basismodell gewechselt.