Ein Token ist die kleinste Texteinheit, etwa ein ganzes Wort, ein Wortbestandteil, ein Satzzeichen oder ein Leerzeichen, in die ein Sprachmodell Eingabe- und Ausgabetexte vor der mathematischen Verarbeitung zerlegt.
Erklärung
Vor der eigentlichen Modellberechnung übersetzt ein Tokenizer (häufig nach Verfahren wie Byte-Pair Encoding) den Rohtext in eine Folge numerischer Token-IDs. Im Englischen entspricht ein durchschnittliches Wort rund 1,3 Token; im Deutschen entstehen durch zusammengesetzte Substantive und Flexionsendungen für dieselbe Informationsmenge meist mehr Token. Für B2B-Anwendungen wirkt sich diese Einheit an drei Stellen unmittelbar technisch und kaufmännisch aus: Kommerzielle Modell-APIs rechnen Eingabe- und Ausgabe-Token getrennt pro Million Token ab, das Kontextfenster begrenzt die Gesamtzahl der pro Anfrage verarbeitbaren Token inklusive System-Prompt und abgerufener Dokumente, und die Menge der erzeugten Ausgabe-Token bestimmt direkt die Antwortlatenz. Wer Systemanweisungen strafft und bei Suchabfragen (RAG) nur relevante Textabschnitte übergibt, senkt dadurch sowohl API-Kosten als auch Antwortzeiten.