Mélange d'experts

Un mélange d'experts (en anglais mixture of experts, abrégé MoE) est une technique d'apprentissage automatique dans laquelle plusieurs réseau de neurones artificiels dits « experts » sont utilisés afin de diviser l'espace des variables d'entrée d'un système en régions homogènes. Le mélange d'experts constitue une forme d'apprentissage ensembliste. Ces systèmes ont également été appelés « machines à comité » (committee machines).

Principes généraux

Un mélange d'experts comporte toujours les éléments suivants, bien que leur mise en œuvre et leur combinaison diffèrent selon le problème traité :

• Des experts $f_{1},...,f_{n}$, qui reçoivent tous la même entrée $x$ et produisent respectivement les sorties $f_{1}(x),...,f_{n}(x)$.
• Une fonction de pondération, également appelée fonction de routage ou fonction de porte (gating function), notée $w$, qui reçoit $x$ et produit un vecteur $(w(x)_{1},...,w(x)_{n})$. Ce vecteur peut ou non définir une loi de probabilité, mais ses composantes sont dans tous les cas positives ou nulles.
• Un ensemble de paramètres $\theta =(\theta _{0},\theta _{1},...,\theta _{n})$. Le paramètre $\theta _{0}$ correspond à la fonction de pondération, tandis que les paramètres $\theta _{1},\dots ,\theta _{n}$ correspondent aux experts.
• Pour une entrée $x$, le mélange d'experts produit une sortie unique en combinant $f_{1}(x),...,f_{n}(x)$ selon les poids $w(x)_{1},...,w(x)_{n}$. La combinaison la plus courante est

$f(x)=\sum _{i}w(x)_{i}f_{i}(x)$.

Les experts comme la fonction de pondération sont entraînés en minimisant une fonction de coût, généralement par descente de gradient. Il existe une grande liberté dans le choix de la forme exacte des experts, de la fonction de pondération et de la fonction de coût.

Réseau méta-pi

Le réseau méta-pi, présenté par Hampshire et Waibel, utilise

$f(x)=\sum _{i}w(x)_{i}f_{i}(x)$

comme sortie. Le modèle est entraîné par descente de gradient sur l'erreur quadratique moyenne

$L:={\frac {1}{N}}\sum _{k}\|y_{k}-f(x_{k})\|^{2}$.

Les experts peuvent être des fonctions arbitraires.

Dans leur publication initiale, les auteurs cherchaient à classer des phonèmes dans des signaux de parole produits par six locuteurs japonais, deux femmes et quatre hommes. Ils entraînèrent six experts, chacun constitué d'un « réseau neuronal à délais temporels », c'est-à-dire, pour l'essentiel, d'un réseau de neurones convolutif multicouche appliqué à un spectrogramme de Mel. Le mélange obtenu attribuait cinq experts à cinq des locuteurs. Le sixième locuteur, un homme, ne disposait pas d'expert propre : sa voix était classée au moyen d'une combinaison linéaire des experts correspondant aux trois autres locuteurs masculins.

Mélanges adaptatifs d'experts locaux

Les mélanges adaptatifs d'experts locaux utilisent un modèle de mélange gaussien. Chaque expert prédit simplement une loi gaussienne et ignore entièrement l'entrée. Plus précisément, le $i$-ème expert prédit

$y\sim N(\mu _{i},I)$,

où $\mu _{i}$ est un paramètre appris. La fonction de pondération est une fonction linéaire suivie d'un softmax :

$$w(x)_{i}={\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}$$

Le mélange d'experts prédit que la sortie est distribuée selon la densité logarithmique :

$$\ln f_{\theta }(y|x)=\ln \left[\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}N(y|\mu _{i},I)\right]=\ln \left[(2\pi )^{-d/2}\sum _{i}{\frac {e^{k_{i}^{T}x+b_{i}}}{\sum _{j}e^{k_{j}^{T}x+b_{j}}}}e^{-{\frac {1}{2}}\|y-\mu _{i}\|^{2}}\right]$$

Le modèle est entraîné par maximum de vraisemblance, c'est-à-dire par montée de gradient sur $f(y|x)$. Le gradient relatif au $i$-ème expert est :

$$\nabla _{\mu _{i}}\ln f_{\theta }(y|x)={\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}\;(y-\mu _{i})$$

et le gradient relatif à la fonction de pondération est :

$$\nabla _{[k_{i},b_{i}]}\ln f_{\theta }(y|x)={\begin{bmatrix}x\\1\end{bmatrix}}{\frac {w(x)_{i}}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}(f_{i}(x)-f_{\theta }(y|x))$$

Pour chaque couple entrée-sortie $(x,y)$, la fonction de pondération est modifiée de façon à accroître le poids des experts ayant obtenu une performance supérieure à la moyenne et à réduire celui des experts moins performants. Elle apprend ainsi à sélectionner les experts qui prédisent correctement chaque type d'entrée.

Le $i$-ème expert est modifié pour rapprocher sa prédiction de $y$, mais l'amplitude de cette modification est proportionnelle à $w(x)_{i}N(y|\mu _{i},I)$. Cette quantité admet une interprétation bayésienne. Pour une entrée $x$, la probabilité a priori que l'expert $i$ soit le bon vaut $w(x)_{i}$, tandis que $N(y|\mu _{i},I)$ est la vraisemblance de l'observation $y$. La quantité

${\frac {w(x)_{i}N(y|\mu _{i},I)}{\sum _{j}w(x)_{j}N(y|\mu _{j},I)}}$

est donc la probabilité a posteriori de l'expert $i$. La vitesse d'apprentissage de cet expert est proportionnelle à cette probabilité.

Autrement dit, les experts qui apparaissent rétrospectivement comme les plus pertinents pour un exemple donné sont entraînés sur cet exemple, tandis que les autres sont peu ou pas modifiés.

L'effet combiné de ce mécanisme conduit à la spécialisation des experts. Si deux experts prédisent correctement un certain type d'entrée, mais que l'un est légèrement meilleur, la fonction de pondération finit par favoriser ce dernier. L'expert moins performant reçoit alors un signal de gradient plus faible et se spécialise progressivement dans d'autres catégories d'entrées. Cette rétroaction positive éloigne les experts les uns des autres et amène chacun d'eux à prendre en charge une région locale de l'espace des données, d'où l'expression « experts locaux ».

Mélange d'experts hiérarchique

Les mélanges d'experts hiérarchiques utilisent plusieurs niveaux de fonctions de routage organisés en arbre. Chaque fonction de routage définit une distribution de probabilité sur les fonctions du niveau suivant, tandis que les experts se trouvent aux feuilles de l'arbre. Leur structure est proche de celle des arbres de décision.

Par exemple, un mélange hiérarchique à deux niveaux possède une fonction de routage de premier niveau $w_{i}$, des fonctions de second niveau $w_{j|i}$ et des experts $f_{j|i}$. La prédiction totale est alors :

$\sum _{i}w_{i}(x)\sum _{j}w_{j|i}(x)f_{j|i}(x)$.

Variantes

Comme les modèles de mélange gaussien, les mélanges d'experts peuvent être entraînés au moyen de l'algorithme espérance-maximisation. Lors de l'étape d'espérance, la responsabilité d'expliquer chaque donnée est répartie entre les experts. Lors de l'étape de maximisation, chaque expert améliore l'explication des données dont il porte une responsabilité élevée, tandis que la fonction de routage améliore l'attribution de ces responsabilités. Cette méthode peut converger plus rapidement qu'une montée de gradient directe sur la log-vraisemblance.

La fonction de routage est souvent un softmax. Elle peut aussi reposer sur des lois gaussiennes ou, plus généralement, sur des familles exponentielles.

Dans un mélange d'experts « dur » (hard MoE), seule la sortie de l'expert le mieux classé est retenue, au lieu d'effectuer une somme pondérée de tous les experts :

$f(x)=f_{\arg \max _{i}w_{i}(x)}(x)$.

Cette méthode peut réduire le coût de l'entraînement et de l'inférence.

Les experts peuvent utiliser des formes plus générales de lois gaussiennes multivariées. Jordan et Jacobs proposent par exemple

$f_{i}(y|x)=N(y|A_{i}x+b_{i},\Sigma _{i})$,

où $A_{i}$, $b_{i}$ et $\Sigma _{i}$ sont appris. Chaque expert réalise ainsi une régression linéaire accompagnée d'une estimation apprise de l'incertitude.

D'autres distributions que la loi gaussienne peuvent être utilisées, notamment la loi de Laplace, ou la loi de Student. Pour la classification binaire, il est également possible d'employer des experts de régression logistique :

$$f_{i}(y|x)={\begin{cases}{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=0\\1-{\frac {1}{1+e^{\beta _{i}^{T}x+\beta _{i,0}}}},&y=1\end{cases}}$$

où $\beta _{i}$ et $\beta _{i,0}$ sont appris. Cette approche a ensuite été généralisée à la classification multiclasse au moyen d'experts de régression logistique multinomiale.

Une autre variante, appelée « mélange de softmax », a été proposée pour la modélisation autorégressive du langage. Dans un modèle de langue, un texte antérieur $c$ est encodé sous la forme d'un vecteur $v_{c}$, puis la probabilité du mot suivant est prédite par $\mathrm {Softmax} (v_{c}W)$, où $W$ est une matrice de plongement. Dans un mélange de softmax, le modèle produit plusieurs vecteurs $v_{c,1},\dots ,v_{c,n}$ et prédit le mot suivant selon

$\sum _{i=1}^{n}p_{i}\,\mathrm {Softmax} (v_{c,i}W_{i})$,

où $p_{i}$ est une distribution de probabilité obtenue par une opération linéaire suivie d'un softmax sur les activations cachées du modèle. L'article d'origine montre l'efficacité de cette méthode pour les réseaux de neurones récurrents. Elle s'est ensuite révélée applicable aux transformeurs.

Apprentissage profond

La section précédente décrit les mélanges d'experts tels qu'ils étaient utilisés avant le développement de l'apprentissage profond. Dans ce dernier domaine, les mélanges d'experts ont notamment servi à faire fonctionner des modèles de très grande taille par le recours au « calcul conditionnel » : seule une partie du modèle est activée, cette partie étant choisie en fonction de l'entrée.

L'un des premiers articles appliquant les mélanges d'experts à l'apprentissage profond date de 2013. Il propose d'utiliser un réseau de routage différent à chaque couche d'un réseau neuronal profond. Chaque routeur est constitué d'une succession linéaire–ReLU–linéaire–softmax, et chaque expert d'un réseau linéaire–ReLU. Comme la sortie du routeur n'est pas creuse, toutes les sorties d'experts doivent être calculées : il n'y a donc pas de calcul conditionnel.

L'objectif principal de l'usage des mélanges d'experts en apprentissage profond est de réduire le coût de calcul. Pour chaque requête, seul un petit sous-ensemble des experts doit donc être sollicité. C'est ce qui distingue ces architectures des mélanges d'experts classiques, dans lesquels la sortie est une somme pondérée des sorties de tous les experts. Dans les architectures profondes, la sortie ne dépend que de quelques experts. Le choix de la méthode de routage devient alors central : pour un lot de requêtes donné, il faut diriger chaque requête vers les experts les plus appropriés.

Couche de mélange d'experts à routage parcimonieux

La couche de mélange d'experts à routage parcimonieux, publiée par des chercheurs de Google Brain, emploie des réseaux à propagation avant comme experts et un routage linéaire suivi d'un softmax. Comme dans les mélanges d'experts « durs », la parcimonie est obtenue en effectuant une somme pondérée des seuls $k$ experts les mieux classés.

Une couche MoE contient des experts $f_{1},\dots ,f_{n}$ et un réseau de routage $w$. Celui-ci est défini par

$w(x)=\mathrm {softmax} (\mathrm {top} _{k}(Wx+{\text{bruit}}))$,

où $\mathrm {top} _{k}$ conserve les $k$ plus grandes composantes d'un vecteur et remplace toutes les autres par $-\infty$. L'ajout de bruit contribue à équilibrer la charge entre les experts.

Le choix de $k$ est un hyperparamètre dépendant de l'application. Les valeurs usuelles sont $k=1$ ou $k=2$. La variante $k=1$ est également appelée Switch Transformer. Le premier Switch Transformer a été appliqué à un modèle de langue T5.

À titre de démonstration, les auteurs entraînèrent plusieurs modèles de traduction automatique alternant couches MoE et couches LSTM, puis les comparèrent à des modèles LSTM profonds. Les modèles MoE demandaient moins de calcul lors de l'inférence malgré un nombre de paramètres environ trente fois supérieur.

Ce module architectural a été publié en janvier 2017, quelques mois avant l'architecture Transformeur en juin 2017. Les deux furent combinés dans une architecture multimodale appelée MultiModel, publiée quatre jours après l'article fondateur sur les transformeurs.

Équilibrage de charge

Les mélanges d'experts simples rencontrent souvent un problème d'équilibrage : certains experts sont très fréquemment sollicités, tandis que d'autres le sont rarement, voire jamais. Pour encourager le routeur à sélectionner chaque expert à fréquence comparable dans un lot, les couches MoE peuvent inclure des fonctions de coût auxiliaires. Le Switch Transformer regroupe ce mécanisme en une seule fonction auxiliaire.

Soit $n$ le nombre d'experts et $\{x_{1},\dots ,x_{T}\}$ un lot de requêtes. La perte auxiliaire vaut :

$$n\sum _{i=1}^{n}f_{i}P_{i}$$

où

$f_{i}={\frac {1}{T}}\#({\text{requêtes envoyées à l'expert }}i)$

est la proportion de jetons ayant choisi l'expert $i$, et

$P_{i}={\frac {1}{T}}\sum _{j=1}^{T}{\frac {w_{i}(x_{j})}{\sum _{i'\in {\text{experts}}}w_{i'}(x_{j})}}$

est la proportion de poids attribuée à cet expert. Cette fonction atteint son minimum, égal à $1$, lorsque tous les experts reçoivent le même poids $1/n$ dans toutes les situations.

Architecture MoE de DeepSeek. La figure représente aussi l'attention latente multi-têtes, une variante du mécanisme d'attention des transformeurs.

Les chercheurs de DeepSeek ont conçu une variante comprenant des « experts partagés », toujours sollicités, et des « experts routés », qui ne le sont que lorsque le routeur les sélectionne. Selon eux, l'équilibrage standard pousse les experts à reproduire des capacités fondamentales identiques, par exemple la grammaire anglaise. Les experts partagés sont donc chargés d'apprendre les capacités générales fréquemment utilisées, tandis que les experts routés apprennent des capacités plus périphériques ou spécialisées.

DeepSeek a également proposé une stratégie d'équilibrage sans perte auxiliaire. Chaque expert $i$ reçoit un biais supplémentaire $b_{i}$. Si un expert est trop peu utilisé, ce biais augmente ; dans le cas contraire, il diminue. Pour l'affectation des jetons, chaque jeton choisit les $k$ experts obtenant les plus grands scores après ajout de ce biais :

$$f(x)=\sum _{i{\text{ appartient au top-}}k{\text{ de }}\{w(x)_{j}+b_{j}\}_{j}}w(x)_{i}f_{i}(x)$$

Le biais intervient dans le choix des experts, mais pas dans la pondération de leurs sorties.

Facteur de capacité

Supposons qu'une couche comporte $n$ experts et qu'un lot contienne $T$ requêtes. Si chaque requête est envoyée vers un expert, comme dans le Switch Transformer, et si la charge est parfaitement équilibrée, chaque expert reçoit en moyenne $T/n$ requêtes. En pratique, l'équilibrage n'est jamais parfait : un expert peut être peu sollicité dans certains lots et surchargé dans d'autres.

Comme les entrées ne peuvent quitter la couche qu'une fois tous les experts terminés, l'équilibrage est important. Un facteur de capacité peut imposer une contrainte stricte : chaque expert ne peut traiter que

$c\cdot T/n$

requêtes au maximum par lot. Le rapport ST-MoE indique que des valeurs de $c$ comprises entre $1{,}25$ et $2$ fonctionnent bien en pratique.

Routage

Dans le mélange d'experts parcimonieux d'origine, seuls les $k$ experts les mieux classés sont interrogés et leurs sorties sont additionnées avec pondération. D'autres méthodes existent. Le routage est un problème d'affectation : il s'agit d'associer les jetons aux experts tout en respectant différentes contraintes, notamment le débit de calcul et l'équilibrage de charge.

On distingue généralement trois familles :

• les experts choisissent les jetons (expert choice) ;
• les jetons choisissent les experts, comme dans le mélange parcimonieux d'origine ;
• un algorithme global apparie experts et jetons.

Lors de l'inférence, un mélange d'experts traite simultanément un grand lot de jetons. Si les jetons choisissent les experts, certains experts peuvent recevoir très peu de jetons tandis que d'autres dépassent leur capacité maximale, ce qui oblige à ignorer une partie des jetons. Inversement, lorsque les experts choisissent les jetons, certains jetons peuvent n'être sélectionnés par aucun expert. Ce phénomène est appelé « abandon de jetons » (token drop). Dans un transformeur, il n'est pas nécessairement catastrophique : en raison des connexions résiduelles, un jeton abandonné ne disparaît pas ; sa représentation traverse simplement la couche à propagation avant sans modification.

D'autres méthodes traitent le routage comme un problème de programmation linéaire sous contraintes, ou utilisent l'apprentissage par renforcement pour apprendre l'algorithme de routage, le choix d'un expert étant une action discrète. L'appariement peut aussi ne comporter aucun apprentissage : ce « routage statique » repose alors sur une fonction de hachage déterministe ou sur un générateur aléatoire.

Applications aux transformeurs

Les couches MoE sont employées dans les plus grands modèles transformeurs, pour lesquels entraîner et exécuter l'ensemble des paramètres serait trop coûteux. Elles sont généralement parcimonieuses, avec un ou deux experts activés par jeton. Dans les transformeurs, les couches MoE servent souvent à remplacer ou sélectionner les couches à propagation avant, généralement de type linéaire–ReLU–linéaire, situées après l'attention multi-têtes dans chaque bloc. Ces couches représentent une part croissante du coût de calcul lorsque la taille des modèles augmente. Dans PaLM-540B, par exemple, environ 90 % des paramètres appartiennent aux couches à propagation avant.

Un transformeur dense déjà entraîné peut être converti en mélange d'experts en dupliquant ses couches à propagation avant, en initialisant aléatoirement le routeur, puis en poursuivant l'entraînement. Cette technique est appelée sparse upcycling.

Les transformeurs MoE présentent de nombreux choix de conception influant sur la stabilité de l'entraînement et les performances finales. Le rapport OLMoE en propose une analyse détaillée.

À partir de 2023, les modèles suffisamment grands pour recourir à des mélanges d'experts sont le plus souvent de grands modèles de langage, chaque expert pouvant comporter de l'ordre de dix milliards de paramètres. La méthode a aussi été appliquée à la vision : Vision MoE est un transformeur doté de couches MoE, dont une version à 15 milliards de paramètres a été entraînée. Des transformeurs MoE ont également été employés dans des modèles de diffusion.

Plusieurs grands modèles de langue de Google reposent sur cette architecture. GShard active jusqu'à deux experts par couche. Le premier expert est toujours sélectionné, tandis que le second l'est avec une probabilité proportionnelle au poids que lui attribue le routeur. GLaM a ensuite atteint 1,2 billion de paramètres, chaque couche MoE activant deux experts parmi 64. Les Switch Transformers n'en activent qu'un seul.

NLLB-200, développé par Meta AI, est un modèle de traduction automatique couvrant 200 langues. Chaque couche MoE utilise une hiérarchie à deux niveaux. Au premier niveau, le routeur choisit entre une couche à propagation avant partagée et un ensemble d'experts. Dans ce second cas, un autre routeur calcule les poids et sélectionne les deux meilleurs experts.

Les grands modèles de langue MoE peuvent être adaptés à des tâches en aval au moyen de l'ajustement par instructions.

En décembre 2023, Mistral AI publie Mixtral 8x7B sous licence Apache 2.0. Ce modèle de langue MoE comporte 46,7 milliards de paramètres, huit experts et une parcimonie de deux experts actifs par jeton. Une version ajustée pour le suivi d'instructions est également publiée.

En mars 2024, Databricks publie DBRX, un modèle MoE de 132 milliards de paramètres, comportant seize experts et une parcimonie de quatre experts actifs. Une version ajustée pour le suivi d'instructions est également proposée.

Voir aussi

• Produit d'experts
• Modèle de mélange
• Modèle de mélange gaussien
• Apprentissage ensembliste
• Réseau neuronal modulaire

Bibliographie complémentaire

Avant l'apprentissage profond

• Geoffrey J. McLachlan et David Peel, Finite mixture models, New York Chichester Weinheim Brisbane Singapore Toronto, John Wiley & Sons, Inc, coll. « Wiley series in probability and statistics applied probability and statistics section », 2000 (ISBN 978-0-471-00626-8)
• S. E. Yuksel, J. N. Wilson et P. D. Gader, « Twenty Years of Mixture of Experts », IEEE Transactions on Neural Networks and Learning Systems, vol. 23, n^o 8,‎ août 2012, p. 1177–1193 (ISSN 2162-237X, PMID 24807516, DOI 10.1109/TNNLS.2012.2200299, Bibcode 2012ITNNL..23.1177Y, S2CID 9922492)
• Saeed Masoudnia et Reza Ebrahimpour, « Mixture of experts: a literature survey », Artificial Intelligence Review, vol. 42, n^o 2,‎ 12 mai 2012, p. 275–293 (DOI 10.1007/s10462-012-9338-y, S2CID 3185688)
• (en) Hien D. Nguyen et Faicel Chamroukhi, « Practical and theoretical aspects of mixture-of-experts modeling: An overview », WIREs Data Mining and Knowledge Discovery, vol. 8, n^o 4,‎ juillet 2018 (ISSN 1942-4787, DOI 10.1002/widm.1246, S2CID 49301452, lire en ligne )

Techniques pratiques pour les transformeurs MoE

• (en) Barret Zoph, Irwan Bello, Sameer Kumar, Nan Du, Yanping Huang et al., « ST-MoE: Designing Stable and Transferable Sparse Expert Models », 2022.
• (en) Niklas Muennighoff, Luca Soldaini, Dirk Groeneveld, Kyle Lo, Jacob Morrison et al., « OLMoE: Open Mixture-of-Experts Language Models », 2024.
• (en) Samyam Rajbhandari, Conglong Li, Zhewei Yao, Minjia Zhang, Reza Yazdani Aminabadi et al., « DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale », 2022.
• (en) DeepSeek-AI, « DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model », 2024.
• (en) DeepSeek-AI, « DeepSeek-V3 Technical Report », 2024.
• (en) Chao Jin, Ziheng Jiang, Zhihao Bai, Zheng Zhong et Juncai Liu, « MegaScale-MoE: Large-Scale Communication-Efficient Training of Mixture-of-Experts Models in Production », 2025.

Revues de littérature sur l'apprentissage profond

• (en) William Fedus, Jeff Dean et Barret Zoph, « A Review of Sparse Expert Models in Deep Learning », 2022.
• Xue Fuzhao, « XueFuzhao/awesome-mixture-of-experts », sur GitHub, 21 juillet 2024 (consulté le 21 juillet 2024)
• Arpita Vats, « arpita8/Awesome-Mixture-of-Experts-Papers », sur GitHub, 2 septembre 2024 (consulté le 6 septembre 2024)
• Weilin Cai, Juyong Jiang, Fan Wang, Jing Tang, Sunghun Kim et Jiayi Huang, « A Survey on Mixture of Experts in Large Language Models », IEEE Transactions on Knowledge and Data Engineering, vol. 37, n^o 7,‎ 2025, p. 3896 (DOI 10.1109/TKDE.2025.3554028, Bibcode 2025IDSO...37.3896C, arXiv 2407.06204)