---
title: Fine-Tuning
created: 2026-06-06
updated: 2026-06-06
type: concept
tags: [IA, training, model]
confidence: high
contested: false
sources: [synthesized]
---
# 🎓 Fine-Tuning

## Définition Courte
Processus d'entraînement **additionnel** d'un modèle pré-entraîné sur un dataset spécifique pour le spécialiser dans une tâche ou un domaine.

## Explication Détaillée
Le fine-tuning ajuste les poids d'un modèle en partant d'un modèle de base (ex: Llama 3.1 8B) et en l'entraînant sur des données ciblées (ex: jurisprudence française, code Python interne, ton d'une marque).

Techniques modernes :
- **Full Fine-Tuning** : ajuste tous les poids (coûteux).
- **LoRA / QLoRA** : ne modifie qu'une petite partie, beaucoup plus léger.
- **PEFT** : Parameter-Efficient Fine-Tuning (famille de techniques).

Alternative : le **RAG** qui ajoute des connaissances à la volée, sans modifier le modèle.

## Cas d'Usage
- Adapter un LLM à un jargon métier (médical, juridique).
- Modifier le ton et le style de réponse.
- Apprendre un format de sortie strict (JSON, SQL).

## Outils Liés
- **Hugging Face Transformers / TRL**.
- **Unsloth** (fine-tuning rapide, optimise VRAM).
- **Axolotl**, **LLaMA-Factory**.
- **Replicate**, **Modal** (inférence fine-tunée en SaaS).

## Pages Liées
- [[lora]]
- [[rag]]
- [[llama-3-1]]
- [[glossaire-ia]]

## Questions Ouvertes
- À partir de quelle taille de dataset le fine-tuning devient rentable vs RAG ?
- Le fine-tuning va-t-il devenir accessible au grand public (UI no-code) ?

## Liens
- [[reinforcement-learning]]
- [[outils-nocode-solo-dev]]
- [[hermes-agent]]