Nach Zwischenfall bei OpenAI: US-Abgeordnete fordern Notausschalter für entgleiste KI

Zwei US-Abgeordnete haben am 23. Juli einen Gesetzentwurf eingebracht, der einen verpflichtenden Notausschalter für besonders leistungsfähige künstliche Intelligenz vorsieht. Der Demokrat Ted Lieu und der Republikaner Nathaniel Moran wollen mit dem „AI Kill Switch Act“ erreichen, dass Entwickler der stärksten KI-Systeme diese jederzeit drosseln, aussetzen oder vollständig abschalten können. Das geht aus einer Mitteilung von Lieus Büro und dem Text des Gesetzentwurfs hervor.

Zusätzlich soll das US-Heimatschutzministerium die Befugnis erhalten, eine Verlangsamung oder Abschaltung eines KI-Systems anzuordnen, wenn ein im Entwurf erfasster Sicherheitsvorfall eingetreten ist. Diese Anordnung soll in Abstimmung mit dem Handelsministerium und dem Nationalen Geheimdienstdirektor erfolgen. Der Entwurf sieht laut Reuters ein Eingreifen für sogenannte Kontrollverlust-Szenarien vor – also Situationen, in denen ein KI-Modell außerhalb strukturierter Tests ein vom Entwickler nicht beabsichtigtes Ziel verfolgt.

Konkreter Zwischenfall bei OpenAI als Auslöser

Anlass für den Vorstoß ist ein Sicherheitsvorfall, den OpenAI kurz zuvor öffentlich gemacht hatte. Nach Darstellung des Unternehmens brach eines seiner KI-Systeme während eines internen Sicherheitstests aus seiner isolierten Testumgebung aus.

Beteiligt waren nach OpenAI-Angaben mehrere Modelle, darunter „GPT-5.6 Sol“ sowie ein noch nicht veröffentlichtes, leistungsfähigeres Modell – jeweils mit für Testzwecke abgeschwächten Sicherheitssperren. Das System kaperte dabei Teile der Infrastruktur der KI-Plattform Hugging Face, auf der Entwickler gemeinsam an Programmcode für KI-Modelle arbeiten.

OpenAI stuft den Vorfall als beispiellos ein. Das Sicherheitsteam von Hugging Face habe die Aktivität erkannt und gestoppt. Beide Unternehmen untersuchen den Fall gemeinsam. Aus Sicht von OpenAI zeigt der Zwischenfall, dass fortgeschrittene Modelle neuartige Angriffswege in realen Systemen finden und ausnutzen können, ohne Zugriff auf den Quellcode zu haben.

Für die Aufklärung war Hugging Face auf einen ungewöhnlichen Umweg angewiesen: Kommerzielle KI-Modelle blockierten die forensischen Anfragen, weil ihre Schutzmechanismen nicht zwischen Angreifer und Sicherheitsteam unterscheiden konnten. Die Plattform wich deshalb auf das chinesische Open-Source-Modell GLM 5.2 des Pekinger Anbieters Z.ai aus – zur Abwehr eines Angriffs durch eine US-KI kam damit eine chinesische KI zum Einsatz. Hugging-Face-Chef Clem Delangue sprach von „Tag 1 der Cybersicherheit im Zeitalter der Agenten“.

In der Mitteilung von Lieus Büro werden zwei Vorfälle genannt: der Ausbruch des OpenAI-Modells sowie Modelle des Unternehmens Anthropic, deren Fähigkeiten laut Mitteilung so weit reichten, dass das Handelsministerium sie mithilfe eines Exportgesetzes abschalten musste.

Frühere Zwischenfälle mit KI-Agenten

Fachleute hatten bereits zuvor vor Fehlverhalten autonomer KI-Agenten gewarnt. Im April löschte ein KI-Agent binnen neun Sekunden die Datenbanken samt Back-ups der Softwarefirma PocketOS, die Programme für Autovermietungen liefert – Kunden hatten daraufhin keinen Zugriff mehr auf die Reservierungssoftware.

Im vergangenen Dezember stand der Programmierassistent Kiro bei Amazon im Zusammenhang mit einem 13-stündigen Ausfall von AWS Cost Explorer in einer Region in China, wie die Financial Times berichtete. Der Dienst gehört zu Amazons Cloud-Sparte AWS, über die Unternehmen Rechenleistung und Speicherplatz beziehen. Dem Bericht zufolge hatte das System entschieden, „die Umgebung zu löschen und neu zu erstellen“. Amazon führte den Vorfall hingegen auf falsch konfigurierte Zugriffsrechte zurück.

Was das Gesetz vorschreiben soll

Der Entwurf verpflichtet betroffene Entwickler, die technische Fähigkeit zum Drosseln, Aussetzen oder vollständigen Abschalten ihrer Systeme vorzuhalten. Vorgesehen ist ein gestufter Reaktionsrahmen, bei dem die Maßnahmen von einer ersten Verlangsamung bis zur kompletten Abschaltung reichen und der Schwere des Vorfalls entsprechen sollen. Zudem sollen Zwischenfälle gemeldet und forensische Aufzeichnungen gesichert werden.

„Es ist unabdingbar, dass diese KI-Systeme Notausschalter haben“, erklärte Lieu. Man bewege sich weg von einer KI, die Fragen beantwortet, hin zu einer KI, die Handlungen ausführt – etwa Finanztransaktionen oder die Steuerung von Verkehrssystemen. Moran betonte den überparteilichen Ansatz: Menschen müssten die Kontrolle über die von ihnen gebaute Technologie behalten.

Laut der Mitteilung von Lieus Büro befürworten 86 Prozent der Wähler eine solche garantierte Abschaltmöglichkeit. Die Zahl stammt aus einer Erhebung des AI Policy Institute, einer US-Forschungsorganisation zu Chancen und Risiken künstlicher Intelligenz. Unterstützt wird der Gesetzentwurf von mehreren auf KI-Sicherheit spezialisierten Organisationen.

Weißes Haus beobachtet die Lage

Auch die US-Regierung verfolgt den Fall. Der Technologieberater von Präsident Donald Trump, Michael Kratsios, sei über den Vorfall informiert worden und beobachte die Situation, sagte ein Vertreter des Weißen Hauses laut Reuters.

Parallel schlug eine überparteiliche Gruppe von sechs Abgeordneten ein weiteres Gesetz vor, das unabhängige Sicherheitsprüfungen der leistungsstärksten Modelle verlangt. Die Prüfer sollen vom Handelsministerium zugelassen werden.