MoE (Mixture of Experts) : architecture des LLMs modernes

Le MoE (Mixture of Experts), traduit en français par mélange d’experts, désigne une architecture d’intelligence artificielle dans laquelle un grand modèle de langage (LLM) n’est plus constitué d’un seul réseau de neurones dense activé en totalité à chaque requête, mais d’un ensemble de plusieurs sous-réseaux spécialisés — les experts — dont seul un petit nombre est sélectionné dynamiquement par une couche de routage (le gating network ou router) pour traiter chaque token d’entrée. Devenue le paradigme dominant des LLMs frontières depuis 2023-2024 (Mixtral 8x7B, DeepSeek V3, GPT-4 selon les fuites, Gemini 1.5 Pro, Llama 4), cette technique permet de multiplier les paramètres totaux d’un modèle (jusqu’à plusieurs centaines de milliards, voire trillions) tout en maintenant un coût d’inférence comparable à celui d’un modèle dense beaucoup plus petit.

Origine et principe fondateur du Mixture of Experts

L’idée de combiner plusieurs modèles spécialisés sous le contrôle d’un arbitre n’est pas nouvelle. Elle remonte à l’article fondateur de Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan et Geoffrey Hinton, publié en 1991 dans la revue Neural Computation sous le titre « Adaptive Mixtures of Local Experts ». Les auteurs y proposaient déjà de diviser un problème complexe en sous-problèmes plus simples, chacun confié à un réseau de neurones « expert », l’ensemble étant orchestré par un réseau de routage chargé d’attribuer les entrées au bon spécialiste.

Cette intuition est restée marginale pendant près de trois décennies, jusqu’à ce que les équipes de Google Brain — notamment Noam Shazeer — la ressuscitent en 2017 avec le papier « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer ». C’est cette publication qui pose les bases modernes du MoE appliqué au deep learning à très grande échelle, en introduisant la notion cruciale d’activation parcimonieuse (sparse activation) : seuls les k meilleurs experts sont activés par token, au lieu de l’ensemble.

Architecture interne d’un modèle MoE

Dans un Transformer classique (architecture sur laquelle reposent la quasi-totalité des LLMs modernes), chaque bloc est composé d’un mécanisme d’attention multi-têtes suivi d’un réseau Feed-Forward (FFN) dense. Dans un Transformer MoE, ce FFN dense est remplacé — totalement ou partiellement, suivant les couches — par une couche MoE, qui se décompose en trois éléments interdépendants.

Les experts

Chaque expert est lui-même un petit réseau Feed-Forward, structurellement identique à ses voisins mais doté de poids appris indépendamment. Un modèle peut en compter de 8 (Mixtral 8x7B) à 256 ou plus (DeepSeek V3 dispose de 256 experts routés plus 1 expert partagé par couche). Au fil de l’entraînement, chaque expert tend spontanément à se spécialiser sur certains types de tokens, de langues, de domaines de connaissance ou de motifs syntaxiques — sans qu’on lui ait jamais explicitement assigné ce rôle.

Le routeur (gating network)

Pour chaque token reçu, le routeur — généralement une simple couche linéaire suivie d’un Softmax — calcule un score d’affinité pour chacun des experts disponibles, puis sélectionne les top-k experts les mieux notés. La valeur de k est typiquement très faible :

k = 1 dans les architectures « Switch Transformer » (Google, 2021)
k = 2 dans Mixtral 8x7B et Mixtral 8x22B (Mistral AI)
k = 8 dans DeepSeek V3 (parmi 256 experts routés)

La combinaison pondérée des sorties

Les sorties des k experts sélectionnés sont ensuite pondérées par les scores du routeur, puis sommées pour produire la sortie finale de la couche MoE. Le reste du Transformer (attention, normalisation, résiduels) demeure inchangé.

Paramètres totaux vs paramètres activés : la clé de l’efficience

C’est ici que réside la révolution du MoE. Un modèle dense de N paramètres active N paramètres à chaque token. Un modèle MoE de N paramètres totaux n’en active qu’une fraction — typiquement entre 10 % et 30 % — grâce à la sparsité.

Mixtral 8x7B : 46,7 milliards de paramètres totaux, mais seulement 12,9 milliards activés par token. Performances comparables à un modèle dense de 70B, pour un coût d’inférence proche d’un modèle de 13B.
DeepSeek V3 : 671 milliards de paramètres totaux, 37 milliards activés par token. Performances frontières (niveau GPT-4o, Claude 3.5 Sonnet) à un coût d’entraînement réduit de plus de 90 % par rapport aux modèles denses équivalents.
Llama 4 Maverick : 400 milliards de paramètres totaux, 17 milliards activés, 128 experts.

Cette dissociation entre capacité de stockage des connaissances (les paramètres totaux) et coût computationnel par token (les paramètres activés) est exactement ce qui a permis aux LLMs d’atteindre l’échelle du trillion de paramètres sans rendre l’inférence économiquement insoutenable.

Avantages décisifs du MoE

Efficience d’inférence : à qualité égale, un MoE coûte 3 à 5 fois moins cher à servir qu’un modèle dense.
Spécialisation émergente : les experts se spécialisent sur des sous-domaines (code, mathématiques, langues, dialogue) sans supervision explicite.
Scaling vertical : il devient possible d’augmenter la capacité du modèle sans alourdir proportionnellement le coût d’inférence.
Entraînement plus rapide : pour un budget de calcul donné, un MoE converge généralement plus vite qu’un modèle dense de capacité équivalente.

Limites et défis techniques

Une empreinte mémoire massive

Même si seuls quelques experts sont actifs à un instant donné, tous les experts doivent résider en VRAM ou être chargés très rapidement. Un Mixtral 8x7B exige ainsi près de 90 Go de VRAM en FP16, là où un modèle dense de 13B se contente de 26 Go. C’est l’inconvénient direct de la sparsité d’activation : pas de gain sur la mémoire, uniquement sur le calcul.

L’équilibrage de charge entre experts

Le routeur tend naturellement à privilégier les mêmes experts les plus performants, créant un déséquilibre : certains experts deviennent surchargés tandis que d’autres restent sous-utilisés. Pour contrer ce phénomène, l’entraînement intègre une auxiliary load-balancing loss (perte auxiliaire d’équilibrage), une régularisation qui pénalise les distributions trop asymétriques.

La complexité du fine-tuning

Affiner un modèle MoE est notoirement plus délicat qu’un dense. Le routeur peut « oublier » son équilibrage initial, certains experts peuvent perdre leur spécialisation, et les techniques classiques comme LoRA doivent être adaptées (LoRA-MoE, MixLoRA).

Les modèles MoE de référence en 2026

Mixtral 8x7B et 8x22B (Mistral AI) — les premiers MoE open-weights à frapper fort sur les benchmarks publics.
DeepSeek V3 et R1 (DeepSeek AI) — référence du rapport qualité/coût en 2025, démocratisation du MoE à très grande échelle.
Llama 4 Scout, Maverick et Behemoth (Meta) — la première génération MoE de la famille Llama, sortie en 2025.
Gemini 1.5 Pro et 2.5 Pro (Google DeepMind) — architecture MoE confirmée par Google.
GPT-4 et successeurs (OpenAI) — architecture MoE largement supposée, non confirmée publiquement.

Pourquoi le MoE compte pour les créateurs et les entreprises

Comprendre le MoE, c’est comprendre pourquoi les coûts d’API des grands modèles ont chuté de plus de 90 % entre 2023 et 2026, pourquoi l’open-source peut désormais rivaliser avec les modèles propriétaires sur un PC haut de gamme, et pourquoi les modèles « plus grands » ne sont plus forcément « plus chers ». Pour un créateur de contenu, un home-studiste utilisant des assistants IA pour la production, un développeur exploitant des LLMs en local ou un dirigeant d’entreprise comparant des fournisseurs d’inférence, la question n’est plus « combien de paramètres » mais « combien de paramètres activés » — et c’est précisément ce que le MoE a rendu pertinent.