Scaling Laws

Scaling Laws sind Gesetzmäßigkeiten, die zeigen, wie sich die Leistungsfähigkeit von Modellen mit zunehmender Größe und Trainingsmenge verändert. Sie helfen dabei, Fortschritte in der KI-Entwicklung besser vorherzusagen.

Warum sie so bedeutsam sind

Die Beobachtung, dass größere Modelle und mehr Daten oft bessere Ergebnisse liefern, hat die Entwicklung moderner KI stark geprägt. Viele Fortschritte beruhen darauf, diese Skalierung gezielt auszunutzen.

Grenzen der Skalierung

Mehr Größe führt jedoch nicht unbegrenzt zu besseren Ergebnissen. Kosten, Energieverbrauch, Datenqualität und praktische Einsetzbarkeit setzen der Skalierung wirtschaftliche und technische Grenzen.

KI-Glossar