Plattform
Plattform-ÜbersichtAI Adoption & Multi-ModellSelbstbefüllendes KI-CRMSales & Branchen CRMSales CRM Use CasesRecruiting CRM Use CasesB2B Kontakt-SucheMulti-Channel-KampagnenProjekte & AufgabenTeam-MessengerSocial Media StudioFunnel & NewsletterMeetings & Terminbuchung
Beratung, Preise & Ressourcen
KI-Transformation & StrategieManaged ServicesAlexander Weltzsch · Executive AdvisoryDennis Hilger · B2B Growth AdvisoryPreise & LizenzrechnerÜber unsKI im UnternehmenTech und KI GlossarLeitfaden für erfolgreiche LandingpagesGeschäftsbedingungen und RichtlinienKontakt & Live-Demo
← Zurück zum Tech und KI Glossar (A–Z)
Tech und KI Glossar · Buchstabe · Buchstabe T

Token

Token

Definition

Ein Token ist die kleinste Texteinheit, etwa ein ganzes Wort, ein Wortbestandteil, ein Satzzeichen oder ein Leerzeichen, in die ein Sprachmodell Eingabe- und Ausgabetexte vor der mathematischen Verarbeitung zerlegt.

Erklärung

Vor der eigentlichen Modellberechnung übersetzt ein Tokenizer (häufig nach Verfahren wie Byte-Pair Encoding) den Rohtext in eine Folge numerischer Token-IDs. Im Englischen entspricht ein durchschnittliches Wort rund 1,3 Token; im Deutschen entstehen durch zusammengesetzte Substantive und Flexionsendungen für dieselbe Informationsmenge meist mehr Token. Für B2B-Anwendungen wirkt sich diese Einheit an drei Stellen unmittelbar technisch und kaufmännisch aus: Kommerzielle Modell-APIs rechnen Eingabe- und Ausgabe-Token getrennt pro Million Token ab, das Kontextfenster begrenzt die Gesamtzahl der pro Anfrage verarbeitbaren Token inklusive System-Prompt und abgerufener Dokumente, und die Menge der erzeugten Ausgabe-Token bestimmt direkt die Antwortlatenz. Wer Systemanweisungen strafft und bei Suchabfragen (RAG) nur relevante Textabschnitte übergibt, senkt dadurch sowohl API-Kosten als auch Antwortzeiten.