Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe L

LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation)

Definition

LoRA (Low-Rank Adaptation) ist ein parametereffizientes Fine-Tuning-Verfahren (PEFT), bei dem die ursprünglichen Gewichte eines vortrainierten Modells eingefroren bleiben und Anpassungen ausschließlich über kleine Zusatzmatrizen mit niedrigem Rang gelernt werden.

Erklärung

Beim klassischen Voll-Fine-Tuning müssen sämtliche Gewichtsmatrizen der Dimension d × k aktualisiert und samt zugehöriger Optimizer-Zustände im Grafikspeicher (VRAM) vorgehalten werden. LoRA stellt die Gewichtsänderung als Produkt zweier schmaler Matrizen B (d × r) und A (r × k) dar, wobei der Rang r (meist zwischen 8 und 64) um Größenordnungen kleiner ist als die ursprünglichen Matrixdimensionen. Da während des Trainings nur A und B Gradienten benötigen, sinkt die Zahl der trainierbaren Parameter oft auf unter ein Prozent des Gesamtmodells; kombiniert mit einer 4-Bit-Quantisierung des Basismodells (QLoRA) lassen sich große Sprachmodelle auf einzelnen GPUs nachtrainieren. Für SaaS-Anbieter bringt diese Trennung auch im Betrieb Vorteile: Die wenigen Megabyte großen Adapter werden vor der Inferenz ohne zusätzliche Antwortlatenz in die Basisgewichte eingerechnet oder pro Mandant und Aufgabe (etwa Vertragsanalyse, E-Mail-Entwürfe oder Ticket-Klassifikation) dynamisch auf demselben Basismodell gewechselt.