Token

Sprachmodelle zerlegen Texte in kleine Einheiten, sogenannte Tokens, damit sie Sprache rechnerisch verarbeiten können. Diese Einheiten bilden die Grundlage für Eingabe, Ausgabe und Kostenberechnung.

Warum Tokens wichtig sind

Die Anzahl der Tokens beeinflusst, wie viel ein Modell gleichzeitig verarbeiten kann und wie teuer eine Anfrage wird. Sie spielt daher für Kontextfenster, Leistung und Nutzungskosten eine zentrale Rolle.

Bezug zur praktischen Nutzung

Lange Dokumente, ausführliche Prompts oder große Antworten erhöhen die Tokenzahl. Wer mit KI arbeitet, sollte deshalb ein Grundverständnis dafür haben, wie Texte intern verarbeitet werden.

KI-Glossar