Mixture of Experts (MoE) ist eine spärlich aktivierte (sparse) Netzwerkarchitektur, bei der ein Routing-Netzwerk für jedes einzelne Eingabe-Token nur eine kleine Auswahl spezialisierter Teilnetzwerke („Experten“) berechnet.
Erklärung
In modernen Transformer-Sprachmodellen ersetzt eine MoE-Schicht das einzelne dichte Feed-Forward-Netzwerk durch mehrere parallele Experten-Netzwerke und ein vorgeschaltetes Gating-Netzwerk (Router). Für jedes Token berechnet der Router Wahrscheinlichkeitsgewichte und leitet den Vektor nur an die Top-k-Experten weiter, typischerweise ein bis zwei von acht, sechzehn oder mehr verfügbaren Modulen, während ein zusätzlicher Load-Balancing-Verlust im Training für eine gleichmäßige Auslastung sorgt. Dadurch entkoppelt MoE die Gesamtkapazität eines Modells vom Rechenaufwand pro Token: Ein Modell mit über 100 Milliarden Gesamtparametern nutzt pro Vorwärtsdurchlauf oft nur einen kleinen Teil aktiver Parameter und erreicht damit Antwortzeiten und Token-Kosten auf dem Niveau eines deutlich kleineren dichten Modells. Beim Betrieb auf eigener Infrastruktur müssen Teams allerdings einplanen, dass trotz geringer Rechenlast pro Anfrage sämtliche Expertengewichte gleichzeitig im Grafikspeicher (VRAM) liegen müssen.