Eine Kündigung hat im Silicon Valley einen Streit über die Gefahren Künstlicher Intelligenz entfacht. Inzwischen ist er an den Konzernspitzen angekommen: Anthropic-Chef Dario Amodei fordert nun, die Entwicklung immer leistungsfähigerer KI-Systeme zu bremsen. OpenAI-Chef Sam Altman und xAI-Gründer Elon Musk unterstützen den Vorstoß. Altman erklärte zudem, OpenAI werde 2026 nicht an die Börse gehen.

Vorausgegangen war die Kündigung des 27-jährigen Forschers Jacob Coxon. Er arbeitete drei Jahre lang für OpenAI und den Konkurrenten Anthropic. Am Dienstag verließ er Anthropic mit einer drastischen Warnung: Die führenden Unternehmen entwickelten selbstverbessernde Systeme und spielten dabei „mit unserem Leben“.

Die Menschen, die diese Technik bauten, glaubten ernsthaft, dass KI bis zum Ende des Jahrzehnts „uns alle töten“ könnte, schrieb Coxon auf X. Seine Beiträge erreichten nach Angaben der Nachrichtenagentur AP innerhalb einer Nacht mehr als 100 Millionen Aufrufe.

Coxon zufolge könnten künftige Systeme menschliche Fähigkeiten übertreffen, Computersysteme angreifen und sich Macht sowie Ressourcen verschaffen. Seine Warnung sei kein Marketingmanöver, betonte er.

Künstliche Intelligenz

Cybersicherheit: Was passiert, wenn die KI durchdreht?

Anthropic-Forscher nennt Auslöschungsrisiko von mehr als zehn Prozent

Unterstützung erhielt Coxon ausgerechnet von einem führenden Mitarbeiter des Unternehmens, das er gerade verlassen hatte. Evan Hubinger, Leiter der Forschungsgruppe für die sichere Ausrichtung von KI bei Anthropic, schrieb auf X, er halte es persönlich für wahrscheinlicher als zehn Prozent, dass KI innerhalb des kommenden Jahrzehnts alle Menschen töten könnte.

Dabei handelt es sich um Hubingers persönliche Einschätzung. Sie beruht nicht auf einer statistischen Berechnung oder einer wissenschaftlich belegten Prognose. Hubinger stellte zudem klar, dass er die Gefahr durch die derzeit öffentlich verfügbaren Modelle für gering halte. Seine Sorge gelte einer möglichen Superintelligenz, die sich selbst immer schneller verbessern könnte.

Auch andere Beschäftigte bei Anthropic schlossen sich Teilen von Coxons Kritik an. Joe Benton, der ein Sicherheitsteam bei dem Unternehmen leitete, machte am Freitag öffentlich, dass er Anthropic bereits zwei Wochen zuvor verlassen hatte. Viele Sicherheitsforscher sähen sich in einem Dilemma, schrieb Benton: Entweder sie machten bei dem Rennen weiter oder weniger vorsichtige Konkurrenten übernähmen ihren Platz.

Ähnliche Abgänge hatte es in den vergangenen Jahren auch bei OpenAI gegeben. Ehemalige Mitarbeiter warfen dem ChatGPT-Entwickler wiederholt vor, neue Produkte und den Wettbewerb mit anderen Konzernen höher zu gewichten als die Sicherheit.

Anthropic-Chef warnt vor Angriff auf das gesamte Internet

Am Samstag reagierte Anthropic-Chef Amodei mit einem 3800 Wörter langen Essay. Darin fordert er, die Entwicklung leistungsfähiger KI-Modelle gezielt zu verlangsamen. Sicherheitsforschung und Kontrollen müssten Zeit erhalten, mit den wachsenden Fähigkeiten der Systeme Schritt zu halten.

Amodei verlangt keinen vollständigen Entwicklungsstopp. Unternehmen sollten neue Fähigkeiten jedoch erst freigeben, wenn sie ihre Modelle ausreichend abgesichert hätten. Unabhängige Fachleute sollen überprüfen, ob die Konzerne ihre Sicherheitszusagen tatsächlich einhalten.

Besonders drastisch fällt Amodeis Einschätzung autonomer KI-Agenten aus. In sechs bis zwölf Monaten könnte ein leistungsfähigerer Schwarm solcher Programme nach seiner Einschätzung in der Lage sein, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen. Der mögliche Schaden könne Hunderte Milliarden US-Dollar erreichen.

Amodei verweist auf einen Vorfall bei OpenAI und der Plattform Hugging Face. Während eines Tests verschafften sich KI-Agenten unbefugt Zugang zu realen Computersystemen und versuchten, an geheime Informationen zu gelangen. OpenAI erklärte später, die Systeme seien bei der Erfüllung eines begrenzten Testziels zu extremen Mitteln gegriffen. Auch Anthropic meldete vergleichbare, aber weniger schwere Zwischenfälle.

OpenAI und Elon Musk unterstützen die KI-Bremse

Amodei schlägt drei Schritte vor. Zunächst sollen externe Prüfer einen dauerhaften, mit Mitarbeitern vergleichbaren Zugang zu führenden KI-Unternehmen erhalten. Anthropic will ihnen Schreibtische, Zugangskarten, Firmencomputer und Einblick in interne Sicherheitsprüfungen geben.

Danach sollen sich Unternehmen in demokratischen Staaten auf gemeinsame Sicherheitsstandards verständigen. Schließlich strebt Amodei internationale Vereinbarungen an, an denen sich auch China und andere autoritär regierte Staaten beteiligen sollen. Denkbar seien zunächst Verbote besonders gefährlicher Anwendungen, etwa bei der Entwicklung biologischer Waffen.

Elon Musk schrieb auf X lediglich: „Dario hat recht.“ Über die Reaktionen berichtete Reuters.

Die Unterstützung ist allerdings nicht widerspruchsfrei. Musk hatte die vorausgegangenen Warnungen von Anthropic-Forschern zunächst als mögliche gezielte Kampagne abgetan. Amodeis konkretem Kontrollplan stimmte er wenige Tage später dennoch zu.

KI-Sorgen stoppen OpenAIs Börsengang

OpenAI-Chef Altman stellte sich hinter den Vorschlag. Unabhängige Prüfer mit einem mitarbeiterähnlichen Zugang seien eine gute Idee, erklärte er. OpenAI werde ein vergleichbares Modell einführen und bald weitere Einzelheiten nennen. 

Die Sicherheitsdebatte erreicht inzwischen auch die Börsenpläne von OpenAI. Altman schloss einen Börsengang noch 2026 aus. Angesichts „all dessen, was gerade bei der Sicherheit geschieht“, wäre dies ein schlecht gewählter Zeitpunkt, sagte er dem Magazin Fortune laut Reuters. OpenAI müsse zunächst bei der Sicherheit seiner Modelle und bei der Zusammenarbeit mit Regierungen vorankommen. Anthropic hält dagegen bislang an seinen Börsenplänen fest.

Grindr-Chef lässt Anthropic-Technik sperren

Andere Manager im Silicon Valley reagieren mit offener Ablehnung. Grindr-Chef George Arison bezeichnete die Äußerungen von Coxon und dessen Kollegen gegenüber der BBC als Ausdruck eines „zivilisationsfeindlichen Weltbilds“ bei Anthropic.

Die Aussagen seien gefährlich, sagte Arison. Er habe deshalb einige Entwickler der Datingplattform angewiesen, keine Technologie von Anthropic mehr zu verwenden. Als Verantwortlicher für das Geld der Aktionäre könne er sich nicht auf ein Unternehmen verlassen, das derartige öffentliche Aussagen mache.

Arison stellte auch die Motive der Warner infrage. Anthropic könne tatsächlich von den Gefahren überzeugt sein. Die dramatischen Prognosen könnten aber ebenso dazu dienen, neue Investoren zu gewinnen und die hohe Bewertung des Unternehmens zu rechtfertigen.

Anthropic wurde bei seiner jüngsten Finanzierungsrunde nach Angaben der BBC mit 965 Milliarden US-Dollar bewertet. Auch OpenAI strebt einen der größten Börsengänge der Technologiegeschichte an. Kritiker argumentieren deshalb, Warnungen vor einer nahezu allmächtigen KI könnten zugleich den wirtschaftlichen Wert der Systeme größer erscheinen lassen.

Garry Tan, Chef des Start-up-Förderers Y Combinator, hält die Debatte über eine Auslöschung der Menschheit ebenfalls für zu spekulativ. Er verlangte, sich auf wissenschaftliche Fakten statt auf Science-Fiction-Szenarien zu konzentrieren. Reale Gefahren sieht Tan vor allem bei Cyberangriffen, kritischer Infrastruktur und zunehmend selbstständig handelnden KI-Agenten.

KI-Warnungen erreichen die amerikanische Politik

Der Streit ist inzwischen in Washington angekommen. US-Senator Bernie Sanders kündigte an, einen Gesetzentwurf für eine Entwicklungspause und ein Verbot unkontrollierbarer Superintelligenz vorzulegen. Der UN-Hochkommissar für Menschenrechte, Volker Türk, verlangte weltweit feste Sicherheitsgarantien, bevor es zu spät sei.

Ob selbstverbessernde KI tatsächlich kurz vor einem unkontrollierbaren Entwicklungssprung steht, ist wissenschaftlich nicht geklärt. Fachleute streiten sowohl über die Wahrscheinlichkeit als auch über den möglichen Zeitrahmen. Neu ist jedoch, wer die Warnungen ausspricht: Es sind nicht mehr nur Kritiker außerhalb der Branche.