---
title: Changements Modèles Open Weights
created: 2026-06-06
updated: 2026-06-06
type: query
tags: [IA, timeline, open-source]
confidence: high
contested: false
sources: [synthesized]
---
# 📅 Changements Importants dans les Modèles Open Weights

Veille sur les évolutions majeures des modèles publiés en open-weights.

## Types de Changements Importants
- 🔄 **Architecture** : passage d'un Transformer classique à un MoE, par exemple.
- 📏 **Taille** : nouvelle échelle de paramètres.
- 📚 **Contexte** : augmentation de la fenêtre de tokens (ex: 8k $\rightarrow$ 128k).
- 🎯 **Spécialisation** : modèle fine-tuné pour le code, le multilingue, la médecine, etc.
- ⚖️ **Licence** : changement de licence (cas de Llama Community License).

## Modèles Phares à Surveiller
- **[[llama-3-1]]** (Meta) : évolution vers Llama 4 attendue.
- **[[mistral]]** (Mistral AI) : nouveaux modèles "Large" et "NeMo".
- **[[phi-3-5]]** (Microsoft) : série "Mini" et "MoE".
- **Qwen (Alibaba)** : excellente série pour le code.
- **DeepSeek** : modèles de raisonnement (R1) très performants.

## Impacts à Mesurer
- **Performance** : gains sur les benchmarks (MMLU, HumanEval, GSM8K).
- **Coût** : taille du modèle $\times$ tokens/seconde.
- **Compatibilité** : Ollama, llama.cpp, exllamav2, vLLM.
- **Quantification** : facilité à quantifier sans perte majeure.

## Liens
- [[llama-3-1]], [[mistral]], [[phi-3-5]]
- [[quantification-llm]]