Was ist LoRA (Low-Rank Adaptation)

Définition

LoRA (Low-Rank Adaptation) est une méthode de fine-tuning efficace qui consiste à geler les poids originaux d'un modèle pré-entraîné et à n'entraîner qu'un petit ensemble de paramètres additionnels, compressés mathématiquement.

Explication

Grâce à LoRA, les besoins en espace de stockage et en puissance de calcul pour le fine-tuning des modèles linguistiques sont drastiquement réduits, car au lieu de milliards, seuls quelques millions de paramètres nécessitent un ajustement. Cela permet même aux PME B2B et aux entreprises SaaS de taille plus modeste d'entraîner de grands modèles sur leurs propres serveurs ou sur des instances cloud économiques pour des tâches très spécifiques. De plus, les modules LoRA peuvent être interchangés dynamiquement : un même modèle de base peut ainsi être chargé avec différents petits poids LoRA pour générer alternativement des e-mails, analyser des conversations clients ou examiner des contrats. Ainsi, des solutions d'IA sur mesure peuvent être intégrées de manière extrêmement flexible, rentable et évolutive dans les systèmes de vente et de CRM existants.