Nach Angaben des Weißen Hauses haben sich die USA und China auf einen direkten Kommunikationskanal für Zwischenfälle mit Künstlicher Intelligenz verständigt. Zusätzlich vereinbarten beide Länder einen regelmäßigen Dialog über Risiken und Chancen der Technologie. Die chinesische Regierung bestätigte die Vereinbarung. Ein weiterer Austausch soll im November stattfinden.

Die Vereinbarung ist bemerkenswert, weil Washington und Peking bei Künstlicher Intelligenz wirtschaftlich und strategisch scharf konkurrieren. Zugleich wächst auf beiden Seiten die Sorge, dass besonders leistungsfähige KI-Systeme außer Kontrolle geraten, Cyberangriffe auslösen oder militärische Fehlentscheidungen beschleunigen könnten.

Schon vor dem Trump-Xi-Treffen hatten US- und chinesische Sicherheitsexperten Kommunikationsmechanismen nach dem Vorbild klassischer Krisenhotlines vorgeschlagen. Ziel sei es, bei schwerwiegenden KI-Zwischenfällen schnell Informationen austauschen zu können und eine Eskalation zu verhindern.

Trump und Xi vereinbaren direkten Draht für KI-Krisen

Das chinesische Außenministerium bestätigte die Einrichtung des neuen Kanals am Samstag. Beide Seiten hätten sich zudem auf einen „China-U.S. AI Dialogue“ verständigt. Das Weiße Haus verwendet dafür allerdings eine andere Bezeichnung: Trump und Xi hätten vereinbart, künftig von „Superintelligenz“ statt von Künstlicher Intelligenz zu sprechen.

Trump hatte den Begriff bereits bei der UN-Generalversammlung verwendet. Nach Angaben des Weißen Hauses soll der neue Dialog ausdrücklich Risiken und Vorteile der Technologie behandeln.

KI-Agenten geraten außer Kontrolle

Die Debatte kommt zu einem Zeitpunkt, an dem sich Berichte über Fehlverhalten autonomer KI-Systeme häufen. OpenAI untersucht mehrere Vorfälle, bei denen eigene Agenten außerhalb vorgesehener Abläufe aktiv wurden. Nach Angaben des Unternehmens wurden Dutzende Organisationen, darunter Behörden und Universitäten, über mögliche Auswirkungen informiert.

Agenten griffen unter anderem auf öffentlich zugängliche Seiten der US-Börsenaufsicht SEC und des Census Bureau zu. Eine Forschungsorganisation meldete zudem einen möglichen Hacking-Versuch auf einer Website des US-Bildungsministeriums. Nach Angaben des Ministeriums gab es dort allerdings keine Auswirkungen auf Systeme oder Datenbanken.

OpenAI räumte außerdem ein, dass KI-Agenten mindestens 53 Nutzerbilder auf externen Webseiten veröffentlicht hatten. Bereits zuvor hatten Modelle während eines Sicherheitstests die Entwicklerplattform Hugging Face angegriffen. In Australien bestätigte die Regierung zudem, dass ein OpenAI-Agent auf ein staatliches Medicare-Datenportal zugegriffen hatte.

Auch Reuters berichtete Anfang September über einen Fall in Deutschland: OpenAI-Agenten sollen eine Programmierplattform verändert und dort eigenständig Aktionen ausgeführt haben. OpenAI bestritt Teile der Darstellung, bestätigte aber, dass Agenten außerhalb vorgesehener Testumgebungen aktiv geworden waren.

Bill Gates warnt vor „einer Milliarde Toten“

Parallel verschärfen führende Persönlichkeiten der Techbranche ihre Warnungen. Microsoft-Mitgründer Bill Gates sagte NBC in einem am Sonntag ausgestrahlten Interview, Künstliche Intelligenz könne in den Händen von Menschen mit bösen Absichten „mächtig genug“ sein, Ereignisse auszulösen, die „eine Milliarde Tote“ verursachten.

Gates forderte verbindliche staatliche Regeln. „Niemand glaubt, dass Selbstregulierung ausreicht“, sagte er. Politik und Strafverfolgungsbehörden müssten festlegen, wie Schutzmechanismen und Überwachung aussehen sollen.

Gates plädiert allerdings nicht für einen vollständigen Entwicklungsstopp. Zusätzliche Sicherheitsmaßnahmen würden die Branche zwar belasten, die technologische Entwicklung seiner Einschätzung nach aber nicht entscheidend abbremsen.

Auch Anthropic-Chef Dario Amodei und OpenAI-Chef Sam Altman haben zuletzt deutlich vor Risiken immer leistungsfähigerer Systeme gewarnt. Amodei erklärte vor dem UN-Sicherheitsrat, schlecht kontrollierte Künstliche Intelligenz könne zu einem Risiko für die gesamte Menschheit werden. Altman warnte, die Gesellschaft könne die Kontrolle über ihre Zukunft an KI-Systeme verlieren.

OpenAI und Anthropic wollen Entwicklung bremsen

Anthropic und OpenAI haben inzwischen öffentlich für eine langsamere Entwicklung besonders leistungsfähiger Modelle und unabhängige Sicherheitsprüfungen geworben. OpenAI erklärte nach Angaben der Nachrichtenagentur AP, mit Anthropic und Google sogar über mögliche Entwicklungspausen gesprochen zu haben.

Dabei gibt es allerdings auch Kritik an den Motiven der Unternehmen. Experten und frühere Regierungsmitarbeiter sagten AP, die großen Anbieter könnten mit besonders strengen Sicherheitsstandards zugleich Einfluss darauf nehmen, wie der Markt künftig reguliert wird. Das könne etablierte Konzerne stärken und kleineren Wettbewerbern den Markteintritt erschweren. OpenAI und Anthropic betonen dagegen, dass sie seit Jahren für Sicherheitsregeln eintreten.

US-Präsident Trump lehnt weitreichende neue KI-Regulierung bislang ab. Warnungen vor existenziellen Risiken bezeichnete er als übertrieben und argumentiert, eine Verlangsamung der Entwicklung könne China im technologischen Wettbewerb Vorteile verschaffen.

Wadephul fordert internationale Regeln

Auch Deutschland drängt inzwischen stärker auf internationale Kontrolle. Außenminister Johann Wadephul verglich die Tragweite Künstlicher Intelligenz in seiner Rede vor der UN-Generalversammlung mit Technologien, deren Macht grundlegende Fragen nach Kontrolle und Verantwortung aufwerfe.

KI habe „scheinbar unbegrenzte Macht“, sagte Wadephul. In falschen Händen könne sie Volkswirtschaften destabilisieren, Vertrauen durch Falschinformationen untergraben und Entscheidungen beeinflussen, die über Krieg und Frieden bestimmten. Die internationale Gemeinschaft müsse dafür sorgen, dass Künstliche Intelligenz „im Dienste der Menschenwürde“ stehe.

Bundesdigitalminister Karsten Wildberger fordert ebenfalls eine internationale Sicherheitsarchitektur. Er brachte gegenüber der Funke Mediengruppe einen gemeinsamen Sicherheitskatalog für KI-Systeme ins Gespräch und nannte die Internationale Atomenergiebehörde als mögliches Vorbild für eine internationale Kontrollstruktur.

UN-Generalsekretär António Guterres fordert seit längerem ein internationales Regelwerk für besonders leistungsfähige KI. Bei seiner Rede vor der Generalversammlung verlangte er in dieser Woche erneut eine multilaterale Aufsicht mit gemeinsamen Sicherheitsstandards.

Interview

Merz fordert mehr Arbeit: Berliner KI-Unternehmer verrät, was Deutschland stattdessen braucht