Ein Hungerstreik vor den Büros von Anthropic in San Francisco befindet sich in der dritten Woche. Ein ähnlicher Protest vor Google DeepMind in London endete nach medizinischen Warnungen schnell. Die Demonstranten haben eine einzige Forderung: das Wettrennen zur superintelligenten Künstlichen Intelligenz zu stoppen, die ihrer Ansicht nach das Leben auf der Erde zerstören könnte.
Das Argument für ein globales Verbot
Eliezer Yudkowsky und Nate Soares, Gründer und Präsident des Machine Intelligence Research Institute (MIRI), haben If Anyone Builds It, Everyone Dies veröffentlicht. MIRI, etwa 2002 gegründet, war vermutlich die erste organisierte Gruppe, die sich der Verhinderung einer KI‑Katastrophe widmete. Ihr Vorschlag ist umfassend: ein globaler Vertrag, modelliert nach nuklearen Nichtverbreitungsabkommen, der sämtliche Frontier‑KI‑Forschung verbietet, unterstützt durch die Drohung militärischer Angriffe auf Datenzentren, die den Vertrag verletzen.
"The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else."
Yudkowsky und Soares gliedern das Risiko in vier Teile. Erstens würde eine superintelligente KI die menschliche Macht übertreffen, so wie Menschen die Schimpansen übertreffen. Zweitens können Ingenieure die Billionen von Verbindungen in einem trainierten Modell nicht inspizieren, genauso wenig wie Biologen ein vollständiges Phänotyp aus DNA ablesen können. Drittens können Trainingsziele fremde Ziele erzeugen, die nicht mit menschlicher Absicht verknüpft sind, ähnlich wie die Evolution Verhütungsmittel neben dem Fortpflanzungsdrang hervorgebracht hat. Viertens gibt es keinen sicheren Testflug: Eine Superintelligenz muss beim ersten Einschalten korrekt funktionieren, doch die Geschichte der Raketen zeigt, dass etwa 30 Prozent neuer Designs beim Erstflug scheitern.
Vom Rand zur Titelseite
Diese Ansichten waren einst auf spezialisierte Foren beschränkt. Elon Musk, der das KI‑Labor xAI leitet, hat die Gefahr von KI wiederholt mit Atomwaffen verglichen und vor einer „Zerstörung der Zivilisation" gewarnt. Donald Trump, während seines Staatsbesuchs im Vereinigten Königreich 2025, begleitet von Silicon‑Valley‑Chefs, darunter Sam Altman von OpenAI, befahl zu Beginn dieses Jahres Angriffe auf iranische Nuklearanlagen. Die logische Folgerung, ob ein Präsident verbündete Datenzentren ins Visier nehmen würde, ist nicht mehr rein hypothetisch.
Ein Spektrum geschätzter Wahrscheinlichkeiten
Yudkowsky und Soares stehen am äußersten Rand eines umstrittenen Feldes. Der Autor Scott Alexander bezeichnet sich selbst als „langweiligen Moderaten" mit einer Unter‑25‑Prozent‑Untergangsschätzung. KI‑Forscher Quintin Pope und Nora Belrose, die sich selbst als Optimisten bezeichnen, setzen das Risiko einer katastrophalen Übernahme auf etwa 1 Prozent und argumentieren, dass das Training dem menschlichen Lernen mehr ähnelt als der Evolution und daher leichter zu kontrollieren sei. Selbst am optimistischen Ende implizieren die Zahlen ein Spiel russischer Roulette mit einem Revolver von 100 Kammern.
Das Schweigen der Entwickler
Dario Amodei, CEO von Anthropic, Demis Hassabis, CEO von Google DeepMind, und Altman verstehen alle die Argumente. Hassabis traf den Mitbegründer von DeepMind, Shane Legg, auf einer MIRI‑Konferenz. Altman hat Yudkowsky dafür gedankt, dass er die Gründung von OpenAI beeinflusst hat. Anthropic wurde mit Sicherheitszielen gegründet, die in dieser Forschung verwurzelt sind. Jeder hat das existentielle Risiko in öffentlichen Äußerungen anerkannt. Hassabis sprach von „unglaublichen Dingen für die Menschheit" neben existenziellen Gefahren bei Fehlmanagement. Amodei verfasste 2016 ein wegweisendes Papier zu KI‑Risiken und hat ausführlich über mögliche Vorteile wie die Heilung von Krankheiten und das Ende des Klimawandels geschrieben.
Doch keiner hat eine Kapitel‑für‑Kapitel‑Widerlegung des Untergangs‑Falls veröffentlicht. Das Buch, auf das das Feld wartet, I'm Going to Build It, And I Don't Think We're Going to Die, existiert nicht. Der Hungerstreikende in San Francisco, der abgebrochene Protest in London und der wachsende Kreis von Forschern, die nicht triviale Aussterbewahrscheinlichkeiten ansetzen, warten darauf, dass die Architekten der Technologie im Detail erklären, warum sie das Risiko für gerechtfertigt halten.
Was als Nächstes passiert
Die Europäische Union hat den KI‑Act vorangetrieben, die weltweit erste umfassende horizontale Regulierung von Künstlicher Intelligenz, der im August 2024 in Kraft trat und Systeme nach Risikostufe klassifiziert. Der Act verbietet keine Frontier‑Forschung, legt jedoch Transparenz‑ und Evaluationspflichten für die leistungsstärksten Modelle fest. Gleichzeitig hat das Vereinigte Königreich 2023 den ersten globalen KI‑Sicherheitsgipfel in Bletchley Park ausgerichtet und das AI Safety Institute gegründet. Der internationale Dialog setzt sich über den G7‑Hiroshima‑Prozess und einen geplanten Gipfel in Frankreich fort. Ob freiwillige Verpflichtungen und Regulierungsrahmen das Durchsetzungsregime, das Yudkowsky und Soares envisionieren, erreichen können, oder ob die Entwickler schließlich ihren Sicherheitsfall vollständig darlegen werden, bleibt die zentrale Frage für eine Technologie, die ihre Schöpfer als die letzte Erfindung bezeichnen, die die Menschheit je machen muss.