Initial vault setup

concepts/fine-tuning.md

@@ -0,0 +1,50 @@
+---
+title: Fine-Tuning
+created: 2026-06-06
+updated: 2026-06-06
+type: concept
+tags: [IA, training, model]
+confidence: high
+contested: false
+sources: [synthesized]
+---
+# 🎓 Fine-Tuning
+
+## Définition Courte
+Processus d'entraînement **additionnel** d'un modèle pré-entraîné sur un dataset spécifique pour le spécialiser dans une tâche ou un domaine.
+
+## Explication Détaillée
+Le fine-tuning ajuste les poids d'un modèle en partant d'un modèle de base (ex: Llama 3.1 8B) et en l'entraînant sur des données ciblées (ex: jurisprudence française, code Python interne, ton d'une marque).
+
+Techniques modernes :
+- **Full Fine-Tuning** : ajuste tous les poids (coûteux).
+- **LoRA / QLoRA** : ne modifie qu'une petite partie, beaucoup plus léger.
+- **PEFT** : Parameter-Efficient Fine-Tuning (famille de techniques).
+
+Alternative : le **RAG** qui ajoute des connaissances à la volée, sans modifier le modèle.
+
+## Cas d'Usage
+- Adapter un LLM à un jargon métier (médical, juridique).
+- Modifier le ton et le style de réponse.
+- Apprendre un format de sortie strict (JSON, SQL).
+
+## Outils Liés
+- **Hugging Face Transformers / TRL**.
+- **Unsloth** (fine-tuning rapide, optimise VRAM).
+- **Axolotl**, **LLaMA-Factory**.
+- **Replicate**, **Modal** (inférence fine-tunée en SaaS).
+
+## Pages Liées
+- [[lora]]
+- [[rag]]
+- [[llama-3-1]]
+- [[glossaire-ia]]
+
+## Questions Ouvertes
+- À partir de quelle taille de dataset le fine-tuning devient rentable vs RAG ?
+- Le fine-tuning va-t-il devenir accessible au grand public (UI no-code) ?
+
+## Liens
+- [[reinforcement-learning]]
+- [[outils-nocode-solo-dev]]
+- [[hermes-agent]]