Die Europäische Union will sogenannte „Nudifier“-Apps und andere KI-Anwendungen zum Erstellen sexualisierter Deepfakes verbieten. Unterhändler des Europäischen Parlaments und der Mitgliedstaaten einigten sich in der Nacht zum Donnerstag auf eine entsprechende Verschärfung des europäischen KI-Gesetzes (AI Act).

Das Verbot richtet sich gegen Systeme, die intime Darstellungen identifizierbarer Personen ohne deren Zustimmung erzeugen oder Inhalte mit Darstellungen sexuellen Kindesmissbrauchs erstellen können. Nach Angaben der zyprischen EU-Ratspräsidentschaft soll die Regelung am 2. Dezember 2026 in Kraft treten. Zuvor müssen Parlament und Mitgliedstaaten den Kompromiss noch formal bestätigen. Das gilt üblicherweise als Formsache.

Justizministerium

Weniger Anonymität und Strafen für Deepfakes: Hubigs Gesetz gegen digitale Gewalt

Reaktion auf Grok und Deepfake-Skandale

Auslöser der Debatte waren unter anderem Vorfälle rund um den KI-Chatbot Grok der Plattform X von Elon Musk. Nutzer hatten die Software genutzt, um Frauen auf Fotos digital zu entkleiden und sexualisierte Bilder zu erstellen. Mehrere Staaten sowie die EU-Kommission leiteten daraufhin Untersuchungen gegen Grok ein.

X beziehungsweise die KI-Firma xAI schränkten die Funktionen nach der Kritik ein und erklärten, sexuelle Deepfakes realer Personen blockieren zu wollen. Nach Angaben von Behörden und Kritikern reichen die Maßnahmen bislang jedoch nicht aus. Grok selbst ist in der EU derzeit nicht verboten.

Auch in Deutschland bekam die Diskussion über digitale sexualisierte Gewalt zuletzt neue Aufmerksamkeit. Die Schauspielerin Collien Fernandes machte öffentlich, wie Deepfake-Inhalte und gefälschte Profile gegen Frauen eingesetzt werden können.

Der SPD-Europaabgeordnete Tiemo Wölken sprach von einem „klaren Zeichen gegen sexuelle Gewalt online“. Die FDP-Europaabgeordnete Svenja Hahn erklärte, KI dürfe „kein Werkzeug für sexualisierte Gewalt gegen Kinder sein“.

Anbieter müssen Schutzmechanismen einbauen

Die neuen Regeln sollen nicht nur Nutzer treffen, sondern direkt bei den KI-Anwendungen ansetzen. Anbieter müssen ihre Systeme künftig technisch so absichern, dass bestimmte Inhalte gar nicht erst erzeugt werden können.

Die EU verschiebt zugleich andere Teile des KI-Gesetzes. Regeln für sogenannte Hochrisiko-KI etwa in Sicherheitsbehörden oder Gesundheitssystemen sollen später greifen als ursprünglich geplant. Unternehmen hatten mehr Zeit zur Umsetzung gefordert.

Auch die Pflicht, KI-generierte Inhalte deutlich zu kennzeichnen, wird verschoben. Anbieter von Chatbots und Bildgeneratoren sollen Inhalte wie künstlich erzeugte Bilder oder Videos künftig mit Wasserzeichen markieren müssen. Diese Vorgaben sollen nun ebenfalls erst Ende 2026 greifen.

Deutschland plant eigene Strafverschärfungen

Parallel arbeitet die Bundesregierung an strengeren nationalen Regeln. Bundesjustizministerin Stefanie Hubig hatte Anfang des Monats vorgeschlagen, das Erstellen und Verbreiten pornografischer Deepfakes künftig mit bis zu zwei Jahren Haft zu bestrafen.

Bislang ist in Deutschland das bloße Herstellen manipulierter pornografischer Inhalte nicht ausdrücklich strafbar. Die EU-Richtlinie gegen Gewalt an Frauen verpflichtet die Mitgliedstaaten allerdings bereits dazu, nicht einvernehmliche sexualisierte Deepfakes unter Strafe zu stellen. Deutschland hat diese Vorgaben bisher noch nicht vollständig umgesetzt.