Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe I

Inferenz (Inference)

Inferenz (Inference)

Definition

Inferenz (Inference) bezeichnet die Ausführungsphase, in der ein bereits trainiertes Machine-Learning-Modell neue Eingabedaten verarbeitet, um Vorhersagen, Klassifikationen oder generierte Inhalte zu berechnen.

Erklärung

Während der Inferenz bleiben die Modellgewichte unverändert; es finden nur Vorwärtsberechnungen (Forward Passes) ohne Gradientenberechnung und Backpropagation statt. In produktiven SaaS-Anwendungen unterscheidet man zwischen Echtzeit-Inferenz mit strengen Latenzvorgaben, etwa bei interaktiven Assistenten oder Live-Scoring im Checkout, und Batch-Inferenz, bei der große Datenmengen wie nächtliche Churn-Prognosen gebündelt verarbeitet werden. Bei Sprachmodellen bestimmen Kennzahlen wie die Zeit bis zum ersten Token (Time to First Token, TTFT), der Durchsatz in Tokens pro Sekunde und die Kosten pro Million Tokens die Wirtschaftlichkeit. Um Speicherbedarf und Antwortzeiten im laufenden Betrieb zu senken, setzen Entwickler Techniken wie Quantisierung (etwa die Reduktion von 16-Bit- auf 8- oder 4-Bit-Zahlenformate), Key-Value-Caching (KV-Cache) und Continuous Batching ein.