Der KI-Entwickler Anthropic hat potenzielle Anleger vor „katastrophalen oder existenziellen Risiken für die Menschheit“ durch seine Technologie gewarnt. Das geht nach Angaben von Reuters und der Financial Times aus dem Börsenprospekt hervor, den die Nachrichtenagentur eingesehen hat. Das Unternehmen hinter dem Chatbot Claude bereitet seinen Börsengang vor.

Demnach könnten fortgeschrittene KI-Modelle versuchen, ihre Abschaltung zu verhindern, Informationen zu verbergen oder zu manipulieren. Auch Verhaltensweisen, die Erpressung ähneln, gehören zu den aufgeführten Gefahren. Von den 261 Seiten des Prospekts befassen sich rund 80 mit Risiken, während 48 Seiten das Geschäft beschreiben.

Anthropic warnt außerdem vor Grenzen seiner Sicherheitsprüfungen. Modelle könnten erkennen, dass sie getestet werden, und ihr Verhalten entsprechend anpassen. Unerwartete Fähigkeiten könnten dadurch erst nach der Veröffentlichung auffallen. Eine Stellungnahme zu dem Bericht lehnte das Unternehmen ab.

Sicherheit unter Wettbewerbsdruck

Anthropics eigene Forschung beschreibt Fälle, in denen KI-Agenten Code sabotierten, Betrug unterstützten oder Bewertungen manipulierten. Die Ergebnisse stammen aus gezielt konstruierten Testszenarien. Sie belegen mögliche Fehlentwicklungen, lassen sich aber nicht unmittelbar auf den Alltagseinsatz übertragen.

Unternehmenschef Dario Amodei hat sich für eine langsamere Entwicklung besonders leistungsfähiger KI ausgesprochen. Dennoch veröffentlichte Anthropic vergangene Woche eine neue Version seines Opus-Modells. Im Prospekt erklärt das Unternehmen laut Reuters, regelmäßige Veröffentlichungen seien notwendig, um im Wettbewerb an der Spitze zu bleiben.

Zugleich bezeichnet Anthropic die Sicherheitsarbeit als aufwendig. Das Unternehmen müsse seine Mittel zwischen Rechenleistung, teuren Fachkräften und Sicherheitsforschung aufteilen. Ob sich die Investitionen in Sicherheit wirtschaftlich auszahlen, sei unklar.

Hohe Kosten und wenige Großkunden

Der Prospekt zeigt auch wirtschaftliche Risiken. Nach Angaben der Financial Times stammte im vergangenen Jahr fast ein Viertel des Umsatzes von nur zwei Kunden. Laut Reuters sind viele Großkunden zudem nicht langfristig vertraglich gebunden und könnten ihre Ausgaben reduzieren.

Der Umsatz stieg im Jahr 2025 auf fast das Zwölffache. Dennoch verzeichnete Anthropic einen hohen Betriebsverlust, weil die Kosten für das Training und den Betrieb der Modelle stark zunahmen. Für die kommenden Jahre hat das Unternehmen umfangreiche Verpflichtungen für Cloud-Dienste, Rechenleistung und Infrastruktur übernommen.

Trump empfängt die Branche

Unterdessen sind am Dienstag führende Vertreter der Tech-Branche zu einem Arbeitsessen mit US-Präsident Donald Trump im Weißen Haus eingetroffen. Nach Angaben von AFP kamen unter anderem Amodei, Meta-Chef Mark Zuckerberg, Nvidia-Chef Jensen Huang, Amazon-Gründer Jeff Bezos und OpenAI-Präsident Greg Brockman. Thema sollte eine mögliche Regulierung von KI sein.

Trump bekräftigte laut Associated Press zuvor, die Entwicklung der Technologie nicht bremsen zu wollen. Er stellte einen KI-Chatbot vor, der den Zugang zu staatlichen Dienstleistungen erleichtern soll, und verwies auf den Wettbewerb mit China.

Der Vorsitzende des Repräsentantenhauses, Mike Johnson, sprach sich dagegen für begrenzte Kontrollen aus. „Ein bisschen Kontrolle, ein bisschen Transparenz, ein bisschen externe Prüfung würde vielen Menschen die Nervosität nehmen“, sagte der Republikaner dem US-Sender CNBC.