30 lines
932 B
Markdown
30 lines
932 B
Markdown
---
|
|
title: Phi-3.5
|
|
created: 2026-06-06
|
|
updated: 2026-06-06
|
|
type: entity
|
|
tags: [model, architecture]
|
|
sources: [raw/articles/fiches-modeles-llm.md]
|
|
confidence: high
|
|
contested: false
|
|
---
|
|
# 🧠 Phi-3.5
|
|
|
|
Série de Small Language Models (SLM) développée par Microsoft, prouvant que la qualité des données d'entraînement prime sur la quantité de paramètres.
|
|
|
|
## Variantes
|
|
- **Phi-3.5 Mini** : Modèle compact ultra-performant.
|
|
- **Phi-3.5 MoE** : Mixture of Experts avec ~6.6B de paramètres actifs. Excellent en maths et code.
|
|
|
|
## Anatomie
|
|
- **Contexte** : Jusqu'à 128k tokens.
|
|
- **Méthode d'entraînement** : Focus sur des données synthétiques de haute qualité ("textbooks").
|
|
- **Cas d'usage** : On-device AI, tâches spécialisées, faible empreinte RAM.
|
|
|
|
## Liens
|
|
- Créateur : [[microsoft]]
|
|
- Concept : [[quantification-llm]]
|
|
- [[transformer-architecture]]
|
|
- [[changements-modeles-open-weights]]
|
|
- [[fiches-modeles-llm]]
|