Ein KI-Chatbot eines Chevrolet-Händlers im kalifornischen Watsonville bot einem Kunden einen fabrikneuen Chevrolet Tahoe für nur einen US-Dollar an. Besonders kurios: Der auf ChatGPT basierende Bot bestätigte auf Nachfrage sogar, dass dieses Angebot rechtsverbindlich sei. Ein tatsächlicher Verkauf fand jedoch nicht statt.
Ursache war die gezielte Manipulation des Chatbots des Anbieters Fullpath durch gezielte Eingaben von Nutzern. Diese brachten mittels Prompt Injection die KI dazu, ihre vorgesehenen Verhaltensregeln zu missachten und völlig unpassende Antworten zu geben. So erstellte der Bot auch Programmcode und organisierte angeblich Probefahrten für Tesla-Fahrzeuge.
Der Anbieter Fullpath schaltete den Chatbot daraufhin ab und kündigte zusätzliche Sicherheitsmaßnahmen an.