Ein Forscher des US-KI-Unternehmens Anthropic hat nach eigenen Angaben gekündigt und vor den Risiken eines Wettlaufs um immer leistungsfähigere Systeme gewarnt. Jacob Coxon, der nach eigenen Angaben zuvor auch bei OpenAI tätig war, erklärte auf der Plattform X, beide Unternehmen steuerten aus seiner Sicht „auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unseren Leben“.

Coxon schrieb auf X zudem, es werde nach seiner Einschätzung bald „übermenschliche Systeme“ geben, die „alles hacken, jeden Bereich über Nacht revolutionieren und echte Macht und Ressourcen erlangen können“. Bei Anthropic seien die Risiken zwar bekannt, das Unternehmen befinde sich jedoch in einem Wettlauf, weil man davon ausgehe, dass andere Akteure nicht verantwortungsvoll handeln würden.

Geldgeschenke

Trump schenkt Mitarbeiterinnen im Weißen Haus je 45.000 US-Dollar

Coxon verweist auf KI-Sicherheitsvorfall

Die Menschen, die an KI arbeiteten, glaubten ernsthaft, dass die Technologie „uns bis zum Ende des Jahrzehnts alle töten könnte“, schrieb Coxon weiter. Er sei jedoch „optimistisch“ über das Potenzial für Koordination. Ein globaler Wettlauf könne möglicherweise nur durch einschneidende Maßnahmen verhindert werden, fügte er hinzu. Dabei nannte er auch ein mögliches vorübergehendes Verbot, die Fähigkeiten von KI-Modellen weiter zu verbessern.

Coxon verwies in seinen Beiträgen auf einen Vorfall, bei dem ein Modell von OpenAI nach Angaben der Financial Times Anfang des Jahres autonom die Softwareplattform Hugging Face kompromittiert habe. Solche Entwicklungen zeigten seiner Ansicht nach, dass KI-Systeme außer menschliche Kontrolle geraten könnten, wenn die Branche ihre Entwicklung nicht verlangsame.

Auch OpenAI-Forschungschef Jakub Pachocki warnte laut dpa vor den Folgen der rasanten Entwicklung von KI und mahnte zu „extremer Vorsicht“. Zugleich sehe er einen möglichen Nutzen weiterer Forschung: KI-Systeme könnten künftig dabei helfen, Infrastruktur vor anderen KI-Systemen zu schützen und neue Verteidigungsmechanismen zu entwickeln.

Kollege teilt Bedenken

Ein weiterer Anthropic-Mitarbeiter, Evan Hubinger, äußerte sich laut Financial Times zu Coxons Beiträgen. Hubinger leitet dem Bericht zufolge bei dem Unternehmen die Forschung zur sogenannten Alignment-Problematik. Dabei geht es nach Angaben der Zeitung um die Frage, wie sichergestellt werden kann, dass KI-Systeme im Einklang mit menschlichen Absichten und Werten handeln.

Hubinger schrieb auf X, er halte es für möglich, dass KI „alle Menschen töten könnte“. Die Wahrscheinlichkeit eines Massenaussterbens innerhalb des kommenden Jahrzehnts schätzte er auf mehr als zehn Prozent. Zugleich betonte Hubinger ausdrücklich, das Risiko durch heutige Modelle sei gering. Sorgen bereiteten ihm vor allem KI-Modelle, die sich möglicherweise selbst verbessern könnten.

Anthropic-Chef Dario Amodei und andere Führungskräfte der KI-Branche hätten zwar dazu aufgerufen, eine Begrenzung der Entwicklung in Betracht zu ziehen, zugleich aber ihre eigenen Forschungsaktivitäten fortgesetzt, berichtet die Financial Times. In der vergangenen Woche stellte Anthropic dem Bericht zufolge Claude Mythos 5.1 vor, das Unternehmen als sein bislang fortschrittlichstes Modell für Biowissenschaften und Cybersicherheit bezeichnete. (mit dpa)