30 lines
970 B
Markdown
30 lines
970 B
Markdown
---
|
|
title: Quantification LLM
|
|
created: 2026-06-06
|
|
updated: 2026-06-06
|
|
type: concept
|
|
tags: [architecture, tech, automation]
|
|
sources: [raw/articles/fiches-modeles-llm.md]
|
|
confidence: high
|
|
contested: false
|
|
---
|
|
# 💻 Quantification LLM
|
|
|
|
La quantification est le processus de réduction de la précision des poids d'un modèle (ex: passer de FP16 à INT4) pour diminuer l'empreinte mémoire et augmenter la vitesse d'inférence.
|
|
|
|
## Formats Principaux
|
|
|
|
### GGUF (llama.cpp)
|
|
Format universel permettant l'exécution sur CPU et GPU.
|
|
- **Commande type** : `./quantize model.fp16.gguf model.q4_k_m.gguf q4_k_m`
|
|
- **Avantage** : Compatibilité maximale (Ollama, llama.cpp).
|
|
|
|
### EXL2 (ExLlamaV2)
|
|
Format optimisé pour la VRAM des GPU Nvidia.
|
|
- **Commande type** : `python convert.py -m model_dir -o quant_dir -q 4.0`
|
|
- **Avantage** : Vitesse d'inférence extrêmement élevée.
|
|
|
|
## Liens
|
|
- Modèles compatibles : [[llama-3-1]], [[mistral]], [[phi-3-5]]
|
|
- [[fiches-modeles-llm]]
|