51 lines
1.6 KiB
Markdown
51 lines
1.6 KiB
Markdown
---
|
|
title: Fine-Tuning
|
|
created: 2026-06-06
|
|
updated: 2026-06-06
|
|
type: concept
|
|
tags: [IA, training, model]
|
|
confidence: high
|
|
contested: false
|
|
sources: [synthesized]
|
|
---
|
|
# 🎓 Fine-Tuning
|
|
|
|
## Définition Courte
|
|
Processus d'entraînement **additionnel** d'un modèle pré-entraîné sur un dataset spécifique pour le spécialiser dans une tâche ou un domaine.
|
|
|
|
## Explication Détaillée
|
|
Le fine-tuning ajuste les poids d'un modèle en partant d'un modèle de base (ex: Llama 3.1 8B) et en l'entraînant sur des données ciblées (ex: jurisprudence française, code Python interne, ton d'une marque).
|
|
|
|
Techniques modernes :
|
|
- **Full Fine-Tuning** : ajuste tous les poids (coûteux).
|
|
- **LoRA / QLoRA** : ne modifie qu'une petite partie, beaucoup plus léger.
|
|
- **PEFT** : Parameter-Efficient Fine-Tuning (famille de techniques).
|
|
|
|
Alternative : le **RAG** qui ajoute des connaissances à la volée, sans modifier le modèle.
|
|
|
|
## Cas d'Usage
|
|
- Adapter un LLM à un jargon métier (médical, juridique).
|
|
- Modifier le ton et le style de réponse.
|
|
- Apprendre un format de sortie strict (JSON, SQL).
|
|
|
|
## Outils Liés
|
|
- **Hugging Face Transformers / TRL**.
|
|
- **Unsloth** (fine-tuning rapide, optimise VRAM).
|
|
- **Axolotl**, **LLaMA-Factory**.
|
|
- **Replicate**, **Modal** (inférence fine-tunée en SaaS).
|
|
|
|
## Pages Liées
|
|
- [[lora]]
|
|
- [[rag]]
|
|
- [[llama-3-1]]
|
|
- [[glossaire-ia]]
|
|
|
|
## Questions Ouvertes
|
|
- À partir de quelle taille de dataset le fine-tuning devient rentable vs RAG ?
|
|
- Le fine-tuning va-t-il devenir accessible au grand public (UI no-code) ?
|
|
|
|
## Liens
|
|
- [[reinforcement-learning]]
|
|
- [[outils-nocode-solo-dev]]
|
|
- [[hermes-agent]]
|