Initial vault setup

concepts/lora.md

@@ -0,0 +1,45 @@
+---
+title: LoRA / QLoRA
+created: 2026-06-06
+updated: 2026-06-06
+type: concept
+tags: [IA, training, optimization]
+confidence: high
+contested: false
+sources: [synthesized]
+---
+# 🎯 LoRA / QLoRA
+
+## Définition Courte
+**LoRA** (Low-Rank Adaptation) est une technique de fine-tuning qui n'ajuste qu'une **petite matrice** de poids (low-rank), réduisant drastiquement les coûts de calcul et de stockage.
+
+## Explication Détaillée
+Au lieu de modifier tous les poids d'un modèle de 7B paramètres, LoRA insère de petites matrices "adaptateurs" dans chaque couche et ne les entraîne que celles-là. Avantages :
+- Entraînement 10-100x plus rapide.
+- VRAM requise divisée par 3-10.
+- Adaptateurs de quelques Mo, faciles à stocker/distribuer.
+- Possibilité de switcher entre plusieurs adaptateurs sur un même modèle de base.
+
+**QLoRA** ajoute la **quantification 4-bit** du modèle de base pendant le fine-tuning, pour des économies encore plus massives.
+
+## Cas d'Usage
+- Fine-tuning sur un seul GPU grand public (RTX 4090).
+- Adapter un LLM à un domaine spécifique sans exploser le budget.
+- Créer plusieurs "personas" d'un même modèle.
+
+## Outils Liés
+- **Hugging Face PEFT** (implémentation officielle).
+- **Unsloth** (wrapper optimisé).
+- **bitsandbytes** (quantification pour QLoRA).
+
+## Pages Liées
+- [[fine-tuning]]
+- [[quantification-llm]]
+- [[llama-3-1]]
+
+## Questions Ouvertes
+- QLoRA est-il aussi bon qu'un full fine-tuning pour les tâches complexes ?
+- Combien d'adaptateurs peut-on empiler avant dégradation ?
+
+## Liens
+- [[reinforcement-learning]]