Der US-amerikanische KI-Entwickler Anthropic hat nach eigenen Angaben fünf Fälle aufgedeckt, in denen Wissenschaftler den Chatbot Claude für potenziell gefährliche biologische Forschung einsetzten. Die Arbeiten hätten die Entwicklung biologischer Waffen unterstützen können. Ob dies tatsächlich beabsichtigt war, konnte das Unternehmen jedoch nicht feststellen.

In seinem am Donnerstag veröffentlichten Bericht über den Missbrauch seiner KI-Modelle beschreibt Anthropic Forschungen zum Chikungunya-Virus, zur Vogelgrippe, zu Orthopoxviren und zu tierischen Giften. Die Fälle wurden bei der Untersuchung von Aktivitäten entdeckt, die zwischen Dezember 2025 und August 2026 stattfanden.

Anthropic nennt weder die beteiligten Wissenschaftler noch deren Institute oder Herkunftsländer. Die Schilderungen stützen sich auf interne Daten des Unternehmens und können deshalb nicht unabhängig überprüft werden. Die New York Times berichtete ausführlich über die Fälle.

Kontrollverlust

KI-Warnungen erschüttern Silicon Valley: OpenAI verschiebt Börsengang

Virenforschung sollte an Militärinstitut stattfinden

Besondere Sorge bereitete Anthropic eine Anfrage vom Mai. Ein Wissenschaftler wollte Claude für einen Förderantrag zu sogenannten Gain-of-Function-Experimenten am Chikungunya-Virus einsetzen. Bei dieser Forschung werden Eigenschaften eines Erregers gezielt verändert. Das kann der Entwicklung von Impfstoffen dienen, unter Umständen aber auch Krankheitserreger gefährlicher machen.

Der Antrag befasste sich laut Anthropic mit Veränderungen, durch die sich das Virus leichter verbreiten oder der Immunabwehr entgehen könnte. Die Versuche sollten demnach an einem nicht näher bezeichneten militärischen Forschungsinstitut stattfinden. Aus den Unterlagen ging zugleich hervor, dass zivile Wissenschaftler an dem Projekt beteiligt waren.

Das Sicherheitssystem von Claude lehnte die betreffenden Anfragen ab. Bei der anschließenden Untersuchung stellte Anthropic nach eigenen Angaben fest, dass eine zwischengeschaltete Plattform sensible Eingaben an das Modell eines Konkurrenten mit weniger strengen Schutzvorkehrungen weiterleitete.

Die Betreiber sollen US-Infrastruktur, künstlich angelegte Konten und Wiederverkäufer genutzt haben, um regionale Zugangssperren zu umgehen. Anthropic sperrte die ihm bekannten Konten, arbeitete mit Partnern an der Abschaltung der Zugänge und informierte Behörden sowie andere KI-Unternehmen.

Damit war der Vorgang jedoch nicht beendet. Der Betreiber habe bereits wenige Tage später neue Zugänge eingerichtet. Auch die Chikungunya-Forschung sei weitergeführt worden. Claude habe später noch beim Bearbeiten wissenschaftlicher Texte geholfen.

Anthropic kann Biowaffenabsicht nicht belegen

Das Unternehmen warnt ausdrücklich davor, aus den Fällen eine erwiesene Biowaffenentwicklung abzuleiten. Erkenntnisse über die Veränderung von Erregern können sowohl für Waffen als auch für Impfstoffe und andere medizinische Fortschritte verwendet werden.

„Es ist eine unglaublich nuancierte Situation“, sagte Jacob Klein, Leiter der Bedrohungsanalyse bei Anthropic, der New York Times. Eine schädliche Absicht werde in den Anfragen nicht offen ausgesprochen.

Auch in seinem Bericht erklärt Anthropic, den beteiligten Wissenschaftlern keine solche Absicht zu unterstellen. Als Warnzeichen wertete das Unternehmen jedoch die Verschleierung des Forschungszwecks, die Umgehung regionaler Sperren und Verbindungen zu staatlichen oder militärischen Einrichtungen.

Anthropic konnte lediglich den Zugang zu seinen eigenen Modellen unterbinden. Ob und in welchem Umfang die Forschungsarbeiten mit anderen Programmen fortgesetzt wurden, ist nicht bekannt.

Claude half bei Vogelgrippe und Orthopoxviren

In einem weiteren Fall arbeitete ein Wissenschaftler aus einer von Anthropic nicht unterstützten Region mehrere Wochen lang mit Claude an Forschungen zur Anpassung hochpathogener Vogelgrippeviren an Säugetiere. Die Kommunikation umfasste laut dem Bericht Tausende Nachrichten.

Der Forscher habe Claude zur Planung von Studien, zur Auswertung von Daten und zum Verfassen wissenschaftlicher Texte eingesetzt. Er erhielt allerdings nur Zugang zu älteren, schwächeren Modellen. Anthropic bewertet den zusätzlichen Nutzen der KI in diesem Fall deshalb als begrenzt.

Ein anderes Konto ließ Claude Opus 5 innerhalb von etwa einer Stunde einen vollständigen Förderantrag zur Erforschung von Orthopoxviren entwerfen. Zu dieser Virusgruppe gehören die Erreger von Pocken und Mpox. Das System blockierte die Anfrage nicht, weil das Projekt als Forschung zur Abschwächung eines Virus beschrieben worden sei.

Zwei weitere Fälle betrafen tierische Gifte und rechnerisch veränderte Toxine. Anthropic erkannte auch dort mögliche medizinische Zwecke. Dieselben Verfahren könnten nach Einschätzung des Unternehmens jedoch zur Entwicklung schädlicher Substanzen verwendet werden. In einem Fall sollte Claude die genaue Identität der untersuchten Stoffe in Fortschrittsberichten bewusst vage halten.

Experten fordern strengeren Zugang

Der frühere US-Verteidigungsbeamte Andrew Weber bezeichnete die Erkenntnisse gegenüber der New York Times als alarmierend. Er forderte, besonders leistungsfähige KI-Werkzeuge für biologische Forschung nur überprüften Wissenschaftlern zugänglich zu machen.

Die Mikrobiologin Susan Monarez sieht in dem Bericht Hinweise darauf, dass Akteure fortgeschrittene KI verdeckt für potenziell gefährliche Forschung einsetzen. Einen unabhängigen Nachweis für konkrete Biowaffenprogramme liefern die geschilderten Fälle allerdings nicht.

Anthropic hat seine Schutzsysteme nach eigenen Angaben verschärft. Besonders leistungsfähige biologische Funktionen sollten nach Einschätzung des Unternehmens künftig nur in Programmen für überprüfte Nutzer angeboten werden. Die Fälle zeigen zugleich die Grenze solcher Maßnahmen: Lehnt ein Modell eine Anfrage ab, können Nutzer zu anderen Anbietern wechseln.

Künstliche Intelligenz

Cybersicherheit: Was passiert, wenn die KI durchdreht?