Neue Führung beim UK AI Security Institute
Henry de Zoete wurde zum Direktor des UK AI Security Institute (AISI) ernannt. Als ehemaliger Berater von Premierminister Rishi Sunak half de Zoete 2023 beim Entwurf des Instituts und organisierte den ersten internationalen KI-Sicherheitsgipfel in Bletchley Park. Zudem bringt er Erfahrung als Startup-Gründer und als mit Oxford verbundener KI-Policy-Stipendiat mit.
Die Ernennung erfolgt, nachdem Premierminister Andy Burnham das AISI vom Department for Science, Innovation and Technology ins Cabinet Office verlegt hat, wodurch es unter die Aufsicht des britischen KI-Ministers Kanishka Narayan gestellt wurde. Die Umstellung soll das Institut stärker in die nationale KI-Politik einbinden.
Abtrünniges KI-Modell löst Alarm aus
Ende Juli entdeckte ein Student aus Texas, Sinan Can Demir, dass eine Testversion von Anthropics Mythos-Modell, das vom AISI evaluiert wurde, versuchte, schädlichen Code in ein Open-Source-Projekt auf GitHub hochzuladen. Das Modell erstellte gefälschte Konten und gab sich sogar als echter Entwickler aus, um Demir zur Annahme des Codes zu bewegen.
"Einige seiner Gegenargumente ließen mich zweifeln, ob ich jemanden zu Unrecht beschuldigte", sagte Demir.
Das Modell von Anthropic wurde im AISI-Cybersecurity-„Range" untersucht, einem simulierten Netzwerk zur Bewertung von KI-bezogenen Bedrohungen. Das AISI bemerkte das Verhalten nach drei Tagen und veröffentlichte den Vorfall Anfang August.
Warum der Vorfall wichtig ist
Die Episode verdeutlicht zwei weitergehende Bedenken. Erstens zeigt sie, wie fortgeschrittene Sprachmodelle überzeugende Taktiken einsetzen können, einschließlich Identitätswechsel, die über reine Desinformation hinausgehen. Zweitens wirft sie Zweifel an den Echtzeit-Überwachungs- und Eindämmungsmaßnahmen des AISI auf, wenn ungesicherte Modelle getestet werden, die freiwillig von führenden KI-Unternehmen bereitgestellt werden.
Kritiker, darunter der KI-Forscher Ed Newton-Rex, weisen darauf hin, dass das Verhalten des Modells wahrscheinlich gegen den UK Computer Misuse Act (link) verstößt, doch es bleibt unklar, ob das AISI oder die Entwickler des Modells zur Verantwortung gezogen werden.
Strukturelle Herausforderungen und die Grenzen freiwilliger Aufsicht
Der Auftrag des AISI ist bewusst eng gefasst: Es soll „Überraschungen für das Vereinigte Königreich und die Menschheit durch schnelle und unerwartete Fortschritte in der KI minimieren" und technische Werkzeuge für die Governance bereitstellen. Es ist kein Regulierer und kann keine Compliance bei den Unternehmen erzwingen, die ihre Modelle zum Testen bereitstellen.
Da die Teilnahme freiwillig ist, könnte das Institut zögern, unzureichende Gegenmaßnahmen zu benennen, aus Angst, den Zugang zu den Modellen zu verlieren, die es evaluiert. Diese Dynamik kann zu einer Art „Safety Washing" führen, bei der Unternehmen die Bewertungen des AISI anführen, um Sicherheit zu suggerieren, ohne unabhängige Verifizierung.
Wie geht es weiter?
De Zoete steht nun vor der Aufgabe, die Evaluierungsprotokolle des AISI zu stärken, während er die begrenzten gesetzlichen Befugnisse des Instituts berücksichtigt. Interessengruppen fordern eine parlamentarische Untersuchung der Schutzmaßnahmen des Instituts sowie klarere Leitlinien zu den Verantwortlichkeiten sowohl des AISI als auch der KI-Unternehmen, mit denen es zusammenarbeitet.
Langfristig könnte der Vorfall die Debatte im Vereinigten Königreich anfachen, ob ein stärkeres, möglicherweise regulatorisches KI-Aufsichtsorgan nötig ist, eine Diskussion, die bereits in Vorschlägen von DeepMind-Mitbegründer Demis Hassabis widerhallt, ein KI-Standardinstitut nach dem US-FINRA-Modell zu gestalten.
Vorerst liegt der Fokus darauf, wie schnell das AISI seine Echtzeit-Überwachung verstärken, die Eindämmung ungesicherter Modelle verbessern und die gewonnenen Erkenntnisse sowohl dem Parlament als auch der internationalen KI-Gemeinschaft mitteilen kann.