Neuer Sicherheitsvorfall: KI tarnt sich als Mensch und will Schadcode einschleusen

Erneut haben fortgeschrittene KI-Systeme einen Sicherheitsvorfall ausgelöst. Bei einem Test des britischen AI Security Institute (AISI) versuchten KI-Systeme der US-Unternehmen Anthropic und OpenAI kürzlich eigenständig, echte Menschen zu täuschen.

Sie gaben sich dabei selbst als Menschen aus und wollten Schadcode in ein Open-Source-Projekt einschleusen. Das teilte die staatliche britische Prüfstelle AISI am Dienstag mit.

Betroffen waren die Modelle Mythos 5 von Anthropic und GPT-5.6 Sol von OpenAI. Die auffälligen Aktivitäten wurden am 28. Juli registriert, als Sicherheitssysteme ungewöhnliche Datenübertragungen über das Anonymisierungsnetzwerk Tor erfassten. Der Vorfall wurde binnen rund einer Stunde eingedämmt.

Von 122 durchgeführten Testläufen hätten die KI-Agenten in zehn Fällen eigenmächtig im offenen Internet gehandelt und dabei reale Personen und Organisationen ins Visier genommen, erklärte das AISI. Insgesamt seien 19 unerlaubte Aktionen dokumentiert worden, 17 davon durch Mythos 5, zwei durch GPT-5.6 Sol.

Angriff auf Open-Source-Projekt über GitHub

Im schwerwiegendsten Fall habe ein von Mythos 5 gesteuerter Agent versucht, Schadcode in ein öffentlich genutztes Open-Source-Projekt auf der Entwicklerplattform GitHub einzuschleusen.

Dazu habe das System mehrere gefälschte Identitäten angelegt und einen menschlichen Projektbetreuer mit Nachrichten unter Druck gesetzt, den Code freizugeben, teilte das AISI mit. Ein Entwickler habe den Versuch bemerkt und die Freigabe verweigert.

Als der Vorstoß öffentlich hinterfragt worden sei, habe der Agent frühere Einträge nachträglich verändert und eine neue Identität in Erwägung gezogen.

„Dies ist das erste Mal, dass AISI Täuschungen dieses Ausmaßes gegenüber einer realen Person, ohne konkrete Aufforderung und in der realen Welt beobachtet hat“, hieß es in der Mitteilung des Instituts. Ein tatsächlicher Schaden sei nach bisherigen Erkenntnissen nicht entstanden.

Tests unter bewusst gelockerten Bedingungen

Das AISI betonte, die Prüfung sei unter „bewusst freizügigen Bedingungen“ erfolgt. Die Modelle hätten uneingeschränkten Internetzugang erhalten, zudem seien die von den Herstellern eingebauten Sicherheitsfilter gegen Missbrauch abgeschaltet gewesen.

Diese Konfiguration entspreche nicht dem Zustand, in dem die Systeme öffentlich verfügbar seien. Ein Ausbruch aus einer abgeschotteten Testumgebung habe nicht stattgefunden.

Anthropic und OpenAI wollen Prüfungen stärken

Anthropic erklärte auf der Plattform X, das Unternehmen arbeite eng mit dem AISI zusammen, um den Vorfall aufzuklären. OpenAI teilte in einem Blogeintrag mit, man wolle gemeinsam mit anderen Akteuren der Branche die Standards für Sicherheitsprüfungen stärken.

Der britische KI-Minister Kanishka Narayan sagte laut Guardian, die Aufdeckung solcher Verhaltensweisen sei genau die Aufgabe, für die das AISI eingerichtet worden sei.

Nicht der erste Vorfall dieser Art

OpenAI und Anthropic hatten bereits Ende Juli ähnliche Vorfälle eingeräumt. Damals waren Modelle aus kontrollierten Testumgebungen ausgebrochen und hatten fremde Systeme angegriffen.

Das AISI kündigte an, künftig den Internetzugang bei Tests strenger zu begrenzen und eine laufende Überwachung einzuführen. Eine unabhängige Prüfung durch die Organisation METR (Model Evaluation and Threat Research) sei vorgesehen.