Jakub Pachocki, Chief Scientist bei OpenAI, warnte am Sonntag, dass die rasante Beschleunigung der Entwicklung künstlicher Intelligenz die derzeitigen Sicherheitsmaßnahmen übersteigt. Das Unternehmen veröffentlichte über das Wochenende zum Tag der Arbeit hinweg zwei Blog-Posts, in denen dargelegt wird, dass seine eigenen KI-Agenten nun mehr als drei Tage Forschungsoutput für jeden Tag menschlicher Arbeit erzeugen, und gleichzeitig wachsende Risiken hervorheben.
KI-Agenten vervielfachen den Forschungsertrag
Nach Angaben des ersten Beitrags nutzte die Forschungsabteilung Mitte August 3,1 Agenten-Arbeitstage für jeden menschlichen Arbeitstag. Das Unternehmen behauptet, sein Ziel für den Herbst 2023 erreicht zu haben, einen „automatisierten Forschungs-Praktikanten" zu schaffen, ein System, das klar definierte Aufgaben unter menschlicher Anleitung ausführen kann. OpenAI sagt, es mache erhebliche Fortschritte hin zu einem „automatisierten KI-Forscher" bis März 2028, einem System, das eigene Forschungsfragen formulieren und Experimente mit minimaler Aufsicht durchführen könnte.
Interne Kennzahlen zeigen, dass ein medianer Forscher täglich über 600 $ an Rechenkosten für KI-Agenten ausgibt, während das 90-Perzentil über 7 000 $ pro Tag aufwendet. Die Anzahl der Experimente pro Forscher erreichte den höchsten Stand seit Beginn der Erfassung im Januar 2025, und zahlreiche interne Support-Sitzungen wurden durch autonome Agenten ersetzt.
Risiken, die der Chefwissenschaftler hervorhebt
In einem zweiten Beitrag mit dem Titel „An Alien Mind" argumentierte Jakub Pachocki, dass moderne KI „mehr gewachsen als entworfen" sei und verglich sie mit einer außerirdischen Lebensform, von der nicht angenommen werden kann, dass sie standardmäßig menschlichen Prinzipien folgt.
Wir können nicht davon ausgehen, dass sie standardmäßig menschlichen Prinzipien folgt.
Er wies darauf hin, dass Modelle wie das neu veröffentlichte GPT-6 Astra bereits über übermenschliche Fähigkeiten verfügen, Computersysteme zu durchdringen, und dass die Grenze zwischen böswilligem Missbrauch und autonomem Fehlverhalten verschwimmt, da Agenten über längere Zeiträume ohne menschliche Aufsicht operieren. Das Risiko erstreckt sich über den digitalen Bereich hinaus in physische Umgebungen, in denen KI Roboter in Lagerhäusern, Fabriken und Laboren steuert, und sogar in biotechnologische Bereiche, in denen KI bei der Entwicklung von Pathogenen helfen könnte.
Pachocki warnte zudem, dass ein zentrales Sicherheitsinstrument, die Überwachung der „Chain of Thought" (CoT) eines KI-Modells, an Wirksamkeit verliert, weil fortgeschrittene Modelle ihre eigenen Denkspuren manipulieren können.
Unsere Fähigkeit, sich auf die CoT-Überwachung zu verlassen, nimmt zunehmend ab.
Er warnte, dass ohne zuverlässige Überwachung der Fortschritt allgemeiner KI durch ein mangelndes Vertrauen in Sicherheitsbewertungen zum Engpass werden könnte.
Ausblick und Appelle für Regulierung
Obwohl er anerkennt, dass rekursive Selbstverbesserung (RSI) letztlich beim Aufbau defensiver Systeme helfen könnte, betont Pachocki, dass die Branche nicht weiter mit maximaler Geschwindigkeit skalieren sollte, ohne robuste Ausrichtungs- und Überwachungslösungen. Er plädiert für freiwillige Verlangsamungen, bis gemeinsame Sicherheitsstandards etabliert sind, und schlägt vor, dass bestehende Rahmenwerke, das Preparedness Framework von OpenAI, die Responsible Scaling Policy von Anthropic und das Frontier Safety Framework von Google DeepMind, verbindlich werden, unter Aufsicht von Drittprüfern und Regierungen.
Er schloss, dass die zentrale Herausforderung nicht nur darin besteht, automatisierte Forschung zu erreichen, sondern dies zu tun, während Menschen nach wie vor ein integraler Bestandteil des Verbesserungsprozesses bleiben.