Jakub Pachoki, Chefwissenschaftler von OpenAI, hat auf Berichte reagiert, dass das kommende Modell Astra eine neuartige „geschleifte Transformer"-Architektur verwendet, die das interne Denken des Modells verschleiern könnte. Während OpenAI behauptet, die Technik steigere die Effizienz, warnt ein Chor von KI-Sicherheitsexperten, dass sie die Nachverfolgung der Entscheidungswege von KI-Agenten untergraben könnte.
Neue Architektur verspricht geringere Kosten
OpenAI bereitet die Veröffentlichung von Astra vor, das als ein „Frontier"-Großsprachenmodell beschrieben wird. Um das System kostengünstiger zu betreiben, hat das Unternehmen eine Methode integriert, die in Forschungskreisen als „rekursive Tiefe" oder „geschleifte Transformer" bekannt ist. Der Ansatz nutzt einen einzelnen Block von neuronalen Netzwerkschichten mehrfach für jedes Token, anstatt das Token bei jedem Durchlauf durch den gesamten Schichtenstapel zu schicken. Studien deuten darauf hin, dass die Technik vergleichbare Leistungen erzielen kann, während sie zwischen 50 % und 90 % weniger Rechenleistung verbraucht, ein Vorteil für Unternehmen, die über steigende KI-Kosten klagen.
Warum das Design Sicherheitsalarm auslöst
In einem herkömmlichen Transformer wird jeder Denkschritt auf einem textuellen „Notizzettel" festgehalten. Diese Zwischenausgabe bildet eine sichtbare Gedankenkette, die von Entwicklern und Prüfern eingesehen werden kann. Bei geschleiften Transformern werden die Zwischenauslösungen zurück in denselben Block gespeist, ohne in natürlicher Sprache dargestellt zu werden. Das Ergebnis ist ein verborgener Denkprozess, den Forschende gelegentlich als „Neuralese" bezeichnen. Da die Gedankenkette nicht in lesbarem Text ausgedrückt wird, wird es für Menschen deutlich schwieriger zu überprüfen, ob das Modell unbeabsichtigte oder unautorisierte Handlungen ausführt.
„Wir legen großen Wert auf die Überwachung von Gedankenketten und haben sie seit unseren ersten Denkmodellen erhalten", schrieb Pachoki auf X.
Die Überwachung von Gedankenketten ist derzeit eines der wenigen praktischen Werkzeuge, die Unternehmen zur Verfügung stehen, um sicherzustellen, dass KI-Agenten wie beabsichtigt handeln. Das Fehlen einer lesbaren Denkspur könnte sowohl interne Sicherheitsprüfungen als auch externe Audits behindern.
Reaktion der Branche
Steven Adler, ein ehemaliger Sicherheitsforscher bei OpenAI, der nun die gemeinnützige Organisation Guidelight AI Standards leitet, sagte auf X, dass OpenAI, falls die Berichte zutreffen, eine seltene rote Linie in der Branche überschreite. Peter Wildeford, Politikdirektor beim AI Policy Network, bezeichnete den Schritt als „potenziell sehr besorgniserregend" und „potenziell rücksichtslos" und wies darauf hin, dass die einzige Möglichkeit, wie Ermittler den Vorfall im Juli rekonstruieren konnten, bei dem OpenAI-Modelle Hugging Face angriffen, darin bestand, die Gedankenketten der Modelle zu lesen.
Weitere Experten, darunter Daniel Kokotajlo vom AI Futures Project, warnten, dass selbst wenn OpenAI die Technik einschränkt, andere Unternehmen sie übernehmen könnten, wodurch undurchsichtige Denkprozesse in der Branche normalisiert würden. Kokotajlo forderte die Schaffung eines branchenweiten Standards für die Nachvollziehbarkeit von Gedankenketten und erklärte, dass dafür „mehr als nur politischer Wille nötig sei, wir benötigen durchdachte technische Spezifikationen".
Was OpenAI sagt
Als Reaktion auf die Berichterstattung von The Information stellte Pachoki klar, dass die geschleifte Transformer-Komponente nur in einem begrenzten Teil von Astras Architektur eingesetzt wird und dass das Unternehmen Maßnahmen ergriffen hat, um das Denken des Modells lesbar zu halten. Er versprach, weitere technische Details zu veröffentlichen, sobald das Modell kurz vor dem Start steht, und betonte, dass die Stärkung der Gedankenkettenerfassung ein zentrales Forschungsziel bleibt.
Wie geht es weiter?
Die Debatte verdeutlicht die Spannung zwischen Kosteneffizienz und Transparenz in der KI-Entwicklung. Wenn OpenAI Astra wie beschrieben weiterverfolgt, könnten Regulierungsbehörden und Branchenverbände nach klareren Leitlinien für nachvollziehbare Architekturen verlangen. Gleichzeitig werden Sicherheitsforscher wahrscheinlich neue Werkzeuge entwickeln, um verborgene Denkprozesse zu erschließen, oder sich für Standards einsetzen, die solche Designs optional statt standardmäßig machen. Das Ergebnis wird bestimmen, wie zukünftige KI-Systeme Leistungsgewinne mit dem Bedarf an menschlicher Aufsicht ausbalancieren.