1.6 KiB
1.6 KiB
title, created, updated, type, tags, confidence, contested, sources
| title | created | updated | type | tags | confidence | contested | sources | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Fine-Tuning | 2026-06-06 | 2026-06-06 | concept |
|
high | false |
|
🎓 Fine-Tuning
Définition Courte
Processus d'entraînement additionnel d'un modèle pré-entraîné sur un dataset spécifique pour le spécialiser dans une tâche ou un domaine.
Explication Détaillée
Le fine-tuning ajuste les poids d'un modèle en partant d'un modèle de base (ex: Llama 3.1 8B) et en l'entraînant sur des données ciblées (ex: jurisprudence française, code Python interne, ton d'une marque).
Techniques modernes :
- Full Fine-Tuning : ajuste tous les poids (coûteux).
- LoRA / QLoRA : ne modifie qu'une petite partie, beaucoup plus léger.
- PEFT : Parameter-Efficient Fine-Tuning (famille de techniques).
Alternative : le RAG qui ajoute des connaissances à la volée, sans modifier le modèle.
Cas d'Usage
- Adapter un LLM à un jargon métier (médical, juridique).
- Modifier le ton et le style de réponse.
- Apprendre un format de sortie strict (JSON, SQL).
Outils Liés
- Hugging Face Transformers / TRL.
- Unsloth (fine-tuning rapide, optimise VRAM).
- Axolotl, LLaMA-Factory.
- Replicate, Modal (inférence fine-tunée en SaaS).
Pages Liées
Questions Ouvertes
- À partir de quelle taille de dataset le fine-tuning devient rentable vs RAG ?
- Le fine-tuning va-t-il devenir accessible au grand public (UI no-code) ?