Inferenz (Inference) bezeichnet die Ausführungsphase, in der ein bereits trainiertes Machine-Learning-Modell neue Eingabedaten verarbeitet, um Vorhersagen, Klassifikationen oder generierte Inhalte zu berechnen.
Erklärung
Während der Inferenz bleiben die Modellgewichte unverändert; es finden nur Vorwärtsberechnungen (Forward Passes) ohne Gradientenberechnung und Backpropagation statt. In produktiven SaaS-Anwendungen unterscheidet man zwischen Echtzeit-Inferenz mit strengen Latenzvorgaben, etwa bei interaktiven Assistenten oder Live-Scoring im Checkout, und Batch-Inferenz, bei der große Datenmengen wie nächtliche Churn-Prognosen gebündelt verarbeitet werden. Bei Sprachmodellen bestimmen Kennzahlen wie die Zeit bis zum ersten Token (Time to First Token, TTFT), der Durchsatz in Tokens pro Sekunde und die Kosten pro Million Tokens die Wirtschaftlichkeit. Um Speicherbedarf und Antwortzeiten im laufenden Betrieb zu senken, setzen Entwickler Techniken wie Quantisierung (etwa die Reduktion von 16-Bit- auf 8- oder 4-Bit-Zahlenformate), Key-Value-Caching (KV-Cache) und Continuous Batching ein.