Attention (Aufmerksamkeitsmechanismus)

Attention beschreibt ein Verfahren, mit dem KI-Modelle innerhalb einer Eingabe gezielt relevante Informationen hervorheben. So kann ein Modell besser verstehen, welche Wörter, Zusammenhänge oder Inhalte für eine Aufgabe besonders wichtig sind.

Grundlage moderner Sprachmodelle

Attention ist ein zentrales Element der Transformer-Architektur und damit der technischen Basis heutiger Sprachmodelle. Sie ermöglicht es, große Textzusammenhänge gleichzeitig zu betrachten, statt Informationen nur nacheinander zu verarbeiten.

Nutzen für die Qualität von Antworten

Durch Attention werden Bezüge in langen Texten besser erkannt. Das verbessert unter anderem Zusammenfassungen, Übersetzungen und die Verarbeitung komplexer Eingaben, weil relevante Informationen gezielter berücksichtigt werden.

KI-Glossar