Was ist Inferenz (Inference)

Definition

Inferenz (Inference) bezeichnet im Machine Learning die Phase, in der ein fertig trainiertes Modell auf neue, unbekannte Echtzeitdaten angewendet wird, um Vorhersagen zu treffen oder Entscheidungen zu fällen. Im Gegensatz zur Trainingsphase bleiben die internen Modellgewichte während der Inferenz unverändert.

Erklärung

Während das Training eines Modells hohe Rechenleistung erfordert und meist im Hintergrund abläuft, stellt die Inferenz den Moment dar, in dem die KI ihren geschäftlichen Nutzen entfaltet. Im B2B-SaaS-Kontext findet Inferenz beispielsweise statt, wenn eine Software in Echtzeit die Conversion-Wahrscheinlichkeit eines neu erfassten Leads berechnet oder ein KI-Assistent eine E-Mail-Antwort generiert. Da Endnutzer sofortige Reaktionen erwarten, sind geringe Latenzzeiten und hohe Effizienz in dieser Phase von entscheidender Bedeutung. Um die Infrastrukturkosten für den Live-Betrieb gering zu halten, werden Modelle vor dem Deployment oft optimiert, beispielsweise durch Modellkomprimierung oder Quantisierung. Eine performante Inferenz-Pipeline ist somit die Grundvoraussetzung dafür, dass KI-Funktionen in Software-Lösungen nahtlos und wirtschaftlich skalieren.