38 lines
1.4 KiB
Markdown
38 lines
1.4 KiB
Markdown
---
|
|
title: Changements Modèles Open Weights
|
|
created: 2026-06-06
|
|
updated: 2026-06-06
|
|
type: query
|
|
tags: [IA, timeline, open-source]
|
|
confidence: high
|
|
contested: false
|
|
sources: [synthesized]
|
|
---
|
|
# 📅 Changements Importants dans les Modèles Open Weights
|
|
|
|
Veille sur les évolutions majeures des modèles publiés en open-weights.
|
|
|
|
## Types de Changements Importants
|
|
- 🔄 **Architecture** : passage d'un Transformer classique à un MoE, par exemple.
|
|
- 📏 **Taille** : nouvelle échelle de paramètres.
|
|
- 📚 **Contexte** : augmentation de la fenêtre de tokens (ex: 8k $\rightarrow$ 128k).
|
|
- 🎯 **Spécialisation** : modèle fine-tuné pour le code, le multilingue, la médecine, etc.
|
|
- ⚖️ **Licence** : changement de licence (cas de Llama Community License).
|
|
|
|
## Modèles Phares à Surveiller
|
|
- **[[llama-3-1]]** (Meta) : évolution vers Llama 4 attendue.
|
|
- **[[mistral]]** (Mistral AI) : nouveaux modèles "Large" et "NeMo".
|
|
- **[[phi-3-5]]** (Microsoft) : série "Mini" et "MoE".
|
|
- **Qwen (Alibaba)** : excellente série pour le code.
|
|
- **DeepSeek** : modèles de raisonnement (R1) très performants.
|
|
|
|
## Impacts à Mesurer
|
|
- **Performance** : gains sur les benchmarks (MMLU, HumanEval, GSM8K).
|
|
- **Coût** : taille du modèle $\times$ tokens/seconde.
|
|
- **Compatibilité** : Ollama, llama.cpp, exllamav2, vLLM.
|
|
- **Quantification** : facilité à quantifier sans perte majeure.
|
|
|
|
## Liens
|
|
- [[llama-3-1]], [[mistral]], [[phi-3-5]]
|
|
- [[quantification-llm]]
|