title, created, updated, type, tags, confidence, contested, sources
| title |
created |
updated |
type |
tags |
confidence |
contested |
sources |
| Changements Modèles Open Weights |
2026-06-06 |
2026-06-06 |
query |
|
high |
false |
|
📅 Changements Importants dans les Modèles Open Weights
Veille sur les évolutions majeures des modèles publiés en open-weights.
Types de Changements Importants
- 🔄 Architecture : passage d'un Transformer classique à un MoE, par exemple.
- 📏 Taille : nouvelle échelle de paramètres.
- 📚 Contexte : augmentation de la fenêtre de tokens (ex: 8k
\rightarrow 128k).
- 🎯 Spécialisation : modèle fine-tuné pour le code, le multilingue, la médecine, etc.
- ⚖️ Licence : changement de licence (cas de Llama Community License).
Modèles Phares à Surveiller
- llama-3-1 (Meta) : évolution vers Llama 4 attendue.
- mistral (Mistral AI) : nouveaux modèles "Large" et "NeMo".
- phi-3-5 (Microsoft) : série "Mini" et "MoE".
- Qwen (Alibaba) : excellente série pour le code.
- DeepSeek : modèles de raisonnement (R1) très performants.
Impacts à Mesurer
- Performance : gains sur les benchmarks (MMLU, HumanEval, GSM8K).
- Coût : taille du modèle
\times tokens/seconde.
- Compatibilité : Ollama, llama.cpp, exllamav2, vLLM.
- Quantification : facilité à quantifier sans perte majeure.
Liens
