Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe M

Mixture of Experts (MoE)

Mixture of Experts (MoE)

Definition

Mixture of Experts (MoE) ist eine spärlich aktivierte (sparse) Netzwerkarchitektur, bei der ein Routing-Netzwerk für jedes einzelne Eingabe-Token nur eine kleine Auswahl spezialisierter Teilnetzwerke („Experten“) berechnet.

Erklärung

In modernen Transformer-Sprachmodellen ersetzt eine MoE-Schicht das einzelne dichte Feed-Forward-Netzwerk durch mehrere parallele Experten-Netzwerke und ein vorgeschaltetes Gating-Netzwerk (Router). Für jedes Token berechnet der Router Wahrscheinlichkeitsgewichte und leitet den Vektor nur an die Top-k-Experten weiter, typischerweise ein bis zwei von acht, sechzehn oder mehr verfügbaren Modulen, während ein zusätzlicher Load-Balancing-Verlust im Training für eine gleichmäßige Auslastung sorgt. Dadurch entkoppelt MoE die Gesamtkapazität eines Modells vom Rechenaufwand pro Token: Ein Modell mit über 100 Milliarden Gesamtparametern nutzt pro Vorwärtsdurchlauf oft nur einen kleinen Teil aktiver Parameter und erreicht damit Antwortzeiten und Token-Kosten auf dem Niveau eines deutlich kleineren dichten Modells. Beim Betrieb auf eigener Infrastruktur müssen Teams allerdings einplanen, dass trotz geringer Rechenlast pro Anfrage sämtliche Expertengewichte gleichzeitig im Grafikspeicher (VRAM) liegen müssen.