Distillation (Wissensdestillation)

Bei der Wissensdestillation wird ein leistungsstarkes Modell als Lehrmodell genutzt, um ein kleineres und effizienteres Modell zu trainieren. Das kleinere Modell soll dabei möglichst viel von der Qualität übernehmen, aber günstiger und schneller arbeiten.

Warum Distillation wichtig ist

Große Modelle sind oft teuer, langsam und ressourcenintensiv. Distillation hilft dabei, KI in Umgebungen einsetzbar zu machen, in denen Rechenleistung, Kosten oder Speicher begrenzt sind.

Praktische Relevanz

Die Methode ist besonders nützlich für mobile Anwendungen, eingebettete Systeme oder schlankere Unternehmenslösungen. So können leistungsfähige Funktionen bereitgestellt werden, ohne immer auf ein sehr großes Modell angewiesen zu sein.

KI-Glossar