Der Transformer ist eine Modellarchitektur, die Informationen nicht nur Schritt für Schritt, sondern im Gesamtzusammenhang eines Textes verarbeitet. Dadurch kann das System Beziehungen zwischen Wörtern und Sätzen deutlich besser erfassen.
Diese Architektur war ein entscheidender Durchbruch für moderne Sprach-KI. Viele heutige Modelle, darunter GPT-Systeme und andere große Sprachmodelle, basieren auf diesem Prinzip.
Transformer verarbeiten Kontext effizienter, skalieren besser und ermöglichen leistungsfähigere Anwendungen in Sprache, Übersetzung, Zusammenfassung und multimodaler KI. Sie prägen daher weite Teile der heutigen KI-Landschaft.