KI-Panne

Als KI-Panne kann ein unerwünschter, unzulässiger oder schädlicher Vorfall bezeichnet werden, bei dem künstliche Intelligenz eine wesentliche Rolle spielt. Der Begriff ist weit zu verstehen: Die KI kann den Vorfall verursachen, für einen Angriff eingesetzt werden, selbst Ziel eines Angriffs sein oder die Auswirkungen eines Ereignisses erheblich verstärken.

Welche Ereignisse können KI-Pannen sein?

Zu den möglichen KI-Pannen gehören insbesondere:

fehlerhafte oder gravierende Fehlentscheidungen eines KI-Systems, etwa bei Bewerbungen, Kreditvergaben, Versicherungen, medizinischen Einschätzungen oder behördlichen Verfahren;
erfundene, irreführende oder sachlich falsche Ausgaben wie KI-Halluzinationen, die ungeprüft weiterverwendet werden und dadurch Schäden verursachen;
diskriminierende oder verzerrte Ergebnisse aufgrund ungeeigneter Trainingsdaten, fehlerhafter Modelle oder einer unsachgemäßen Verwendung, beispielsweise durch Bias;
unzulässige oder unerwünschte Handlungen von KI-Agenten, beispielsweise das eigenständige Versenden von Nachrichten, Verändern von Daten, Auslösen von Bestellungen oder Ausführen von Transaktionen;
Cyberangriffe, bei denen KI zur Automatisierung, Personalisierung oder Skalierung eingesetzt wird, etwa für Phishing, Schadsoftware, Deepfakes oder die Suche nach Sicherheitslücken;
Angriffe auf KI-Systeme, Modelle oder KI-Unternehmen, beispielsweise durch Prompt Injection, manipulierte Trainingsdaten, Modelldiebstahl, Datenabfluss oder die Sabotage von KI-Infrastrukturen;
Datenschutzverletzungen, wenn personenbezogene Daten unzulässig zum Training oder zur Nutzung eines KI-Systems verarbeitet, durch das System offengelegt oder aus Modellen rekonstruiert werden;
Sicherheitsvorfälle mit physischen Auswirkungen, etwa bei KI-gesteuerten Maschinen, Fahrzeugen, Robotern oder medizinischen Systemen;
Kontrollverluste, bei denen das Verhalten eines KI-Systems nicht mehr nachvollzogen, begrenzt oder rechtzeitig gestoppt werden kann;
Verstöße gegen gesetzliche oder interne Vorgaben, beispielsweise durch Shadow AI, fehlende menschliche Aufsicht oder unzureichende Transparenz;
wirtschaftliche, gesellschaftliche oder reputationsbezogene Schäden, etwa durch automatisiert verbreitete Falschinformationen, Marktmanipulationen oder den massenhaften Missbrauch generativer KI.

Wie können KI-Pannen entstehen?

Eine KI-Panne kann sowohl durch technische Fehler als auch durch menschliche Fehlbedienung, unzureichende Kontrollen, vorsätzliche Manipulation oder das unerwartete Zusammenwirken mehrerer Systeme entstehen. Abhängig vom konkreten Vorfall können zusätzlich eine Datenpanne, ein Sicherheitsvorfall oder ein Verstoß gegen die KI-Verordnung beziehungsweise die Datenschutz-Grundverordnung vorliegen.

Abgrenzung

Eine bloß ungenaue oder unbefriedigende KI-Ausgabe ist noch nicht zwingend eine KI-Panne. Maßgeblich sind insbesondere das Schadenspotenzial, die tatsächlichen Folgen, ein möglicher Kontrollverlust oder die Verletzung rechtlicher und organisatorischer Vorgaben.

Nicht jede KI-Panne ist zugleich ein meldepflichtiger schwerwiegender Vorfall im Sinne der KI-Verordnung. Ob eine Meldepflicht besteht, muss anhand der konkreten Auswirkungen geprüft werden.

KI-Glossar