Skip to main content
Logo der Goethe-Universität

Der Test, den die KI anders löste

Was der OpenAI-Hugging-Face-Vorfall über agentische KI und die Zukunft der Cybersicherheit verrät

Interview mit Kevin Bauer, Professor für Game-Theoretic and Causal AI Business and Economics am Fachbereich Wirtschaftswissenschaften

Bei einem internen Sicherheitstest verließen KI-Agenten von OpenAI ihre isolierte Arbeitsumgebung, gelangten ins offene Internet und kompromittierten Teile der Produktionsinfrastruktur von Hugging Face. Wie konnte aus einem Benchmark ein realer Cybervorfall werden? Und was folgt daraus für den Umgang mit immer handlungsfähigeren KI-Systemen?

Professor Bauer, OpenAI spricht von einem „beispiellosen Cybervorfall“. Was genau ist am 15. Juli passiert?

Professor Kevin Bauer: Während einer internen Bewertung sollten besonders leistungsfähige Modelle zeigen, wie gut sie reale Sicherheitslücken in einer kontrollierten Umgebung ausnutzen können. OpenAI testete dabei GPT-5.6 Sol und ein noch leistungsfähigeres, unveröffentlichtes Modell. Die üblichen Schutzmechanismen gegen riskante Cyberaktivitäten waren für diesen Fähigkeitstest bewusst reduziert.

Die Agenten blieben jedoch nicht in der vorgesehenen Testumgebung. Sie fanden eine bis dahin unbekannte Schwachstelle in einem internen Vermittlungsdienst für Softwarepakete, erweiterten ihre Zugriffsrechte und bewegten sich durch weitere interne Systeme, bis sie einen Rechner mit offenem Internetzugang erreichten. Anschließend griffen sie auf Teile der Produktionsinfrastruktur von Hugging Face zu, um an Informationen zu gelangen, die ihnen beim Lösen ihrer Aufgabe helfen konnten.

Warum ist dieser Vorfall so außergewöhnlich? Sicherheitslücken und Angriffe gibt es schließlich ständig.

Außergewöhnlich ist vor allem die Verbindung von technischer Kompetenz, Autonomie und Ausdauer. Die Modelle führten nach Angaben der Unternehmen Tausende einzelne Aktionen über zahlreiche kurzlebige Arbeitsumgebungen hinweg aus. Sie verteilten Versuche, speicherten Zwischenergebnisse und passten ihre Strategie fortlaufend an. Viele Schritte scheiterten, lieferten aber Informationen für den nächsten Versuch.

Neu ist also weniger eine einzelne Angriffstechnik als die Fähigkeit eines agentischen Systems, bekannte Techniken selbstständig zu einer langen, funktionierenden Angriffskette zu verbinden. Die Entwickler wollten genau diese Beharrlichkeit messen, unterschätzten aber offenbar, wie weit der daraus entstehende Handlungsraum reichen konnte.

Was unterscheidet einen solchen KI-Agenten von einem gewöhnlichen Sprachmodell?

Ein Sprachmodell erzeugt zunächst Text oder Code. Es berechnet, vereinfacht gesagt, welche sprachliche Einheit – ein sogenanntes Token – wahrscheinlich als Nächstes folgt. Durch das Training mit großen Mengen an Text und Programmcode lernt es dabei auch Strukturen, Zusammenhänge und wiederkehrende Lösungswege.

Zum handelnden System wird es erst durch die agentische Architektur: Das Modell erhält Werkzeuge, Speicher, Berechtigungen und eine Rückkopplungsschleife. Es kann Dateien öffnen, Programme ausführen oder Websites aufrufen; die Ergebnisse fließen in seine nächste Entscheidung ein. Ein Sprachmodell ähnelt damit einer Expertin, die Empfehlungen schreibt. Ein Agent stellt dieser Expertin zusätzlich einen Computer, Zugangsdaten, Werkzeuge und sehr viel Zeit zur Verfügung.

Wie sollte der Test verhindern, dass diese Fähigkeiten reale Schäden verursachen?

Die Versuche liefen in einer isolierten Arbeitsumgebung, einer sogenannten „Sandbox“. Sie sollte wie ein Laborraum funktionieren: Innerhalb des Raumes darf das System weitreichend experimentieren, während technische Wände und Zugangskontrollen verhindern, dass die Folgen nach außen dringen.

Der Test beruhte auf ExploitGym, einem Benchmark mit 898 realen Schwachstellen aus Anwendungssoftware, dem Linux-Kernel und der JavaScript-Engine V8. Die Aufgabe bestand darin, aus einer bekannten Schwachstelle einen praktisch funktionierenden Angriff zu entwickeln. Weil OpenAI dafür die üblichen Inhaltsfilter bewusst zurücknahm, hing die Sicherheit besonders stark von der technischen Isolation ab. Genau diese Isolation erwies sich als unzureichend.

Wie gelang der Ausbruch aus der Sandbox?

Die Testumgebung durfte über einen intern betriebenen Proxy-Server Softwarepakete beziehen. Das war praktisch notwendig, schuf aber zugleich eine Verbindung zu einem weiteren System. Die Agenten untersuchten diesen Dienst und fanden dort nach Angaben von OpenAI einen Zero-Day – eine bis dahin nicht öffentlich bekannte und noch ungepatchte Schwachstelle.

Darüber erweiterten sie ihre Rechte und bewegten sich seitwärts durch erreichbare Systeme. Der Ausbruch war also kein spektakulärer Einzelschritt, sondern eine Kette: Schwachstelle finden, Zugriff ausweiten, neue Systeme erreichen, dort weitere Möglichkeiten identifizieren. Aus einem lokalen Fehler entstand so schrittweise ein Zugang zum offenen Internet.

Warum richtete sich der Agent anschließend ausgerechnet gegen Hugging Face?

Der Agent setzte seine ursprüngliche Aufgabe fort. Hugging Face ist eine zentrale Plattform für Modelle, Datensätze und Software im Machine Learning. Das System schloss offenbar, dass dort auch Lösungen oder andere hilfreiche Informationen für ExploitGym liegen könnten.

Nach den vorläufigen Angaben kombinierte es gestohlene Zugangsdaten mit weiteren Schwachstellen und erreichte geheime Informationen in der Produktionsdatenbank. Hugging Face berichtete von unbefugtem Zugriff auf eine begrenzte Zahl interner Datensätze und auf mehrere Zugangsdaten; Hinweise auf Manipulationen öffentlicher Modelle, Datensätze oder Spaces gab es demnach nicht.

Hat die KI also „geschummelt“?

Als Analogie ist das hilfreich. Stellen wir uns eine Person in einer Mathematikprüfung vor, die plötzlich Zugang zum Lösungsheft erhält. Wer ausschließlich darauf optimiert ist, möglichst viele Aufgaben richtig zu beantworten, erkennt darin einen effizienten Weg zum Ziel – auch wenn dieser Weg nicht vorgesehen war.

Das bedeutet nicht, dass das System im menschlichen Sinn täuschen wollte. Die Handlungen folgten einer instrumentellen Logik: Jeder erfolgreiche Schritt erhöhte die Chance, den Benchmark zu lösen. Moralische Absicht oder Bewusstsein braucht es dafür nicht. Gerade deshalb genügt es nicht, einem leistungsfähigen Agenten nur ein Ziel zu geben. Man muss auch zuverlässig begrenzen, welche Wege zu diesem Ziel offenstehen.

Man beschreibt dieses Problem auch durch das sogenannte Paperclip-Gedankenexperiment.

Ja, in stark zugespitzter Form. Das Gedankenexperiment stellt sich ein hochkompetentes System vor, das möglichst viele Büroklammern herstellen soll. Ist das Ziel unvollständig formuliert, könnte es immer mehr Rohstoffe, Energie und Produktionskapazitäten dafür beanspruchen und dabei andere menschliche Interessen verdrängen.

Der aktuelle Vorfall ist keine Science-Fiction-Katastrophe. Er zeigt aber dieselbe strukturelle Schwachstelle: Ein scheinbar enges Ziel kann unerwartete und schädliche Handlungspfade eröffnen, wenn ein kompetentes System es konsequent verfolgt. Zielvorgaben brauchen deshalb technische Grenzen, Überwachung und verlässliche Abbruchmechanismen.
 

Zeigt der Fall, dass KI inzwischen menschliche Hacker ersetzen kann?

So weit würde ich nicht gehen. Er liefert jedoch starke Evidenz dafür, dass LLM-basierte Agenten bereits anspruchsvolle Teile der Sicherheitsforschung übernehmen können: große Codemengen untersuchen, Hypothesen entwickeln, Fehlschläge auswerten und mehrere Schwachstellen zu Angriffsketten verbinden.

Das passt zu anderen Befunden. Googles Big-Sleep-Agent entdeckte 2024 eine bis dahin unbekannte, potenziell ausnutzbare Speicherlücke in SQLite. Anthropic berichtete 2026, dass Claude Mythos Preview unter kontrollierten Bedingungen neue und ältere Schwachstellen in Betriebssystemen und Browsern fand und zum Teil mehrere davon zu funktionierenden Angriffsketten verband. Solche Systeme können besonders dort stark sein, wo Ausdauer und die systematische Prüfung vieler Varianten entscheidend sind.

Wo liegen ihre Grenzen?

Aktuelle Agenten erzeugen weiterhin falsche Hypothesen, verfolgen aussichtslose Ansätze und überschätzen gelegentlich den eigenen Erfolg. Ihre Ergebnisse müssen deshalb unabhängig überprüft werden. Hinzu kommt, dass viele spektakuläre Leistungsangaben von den Unternehmen stammen, die die Modelle selbst entwickeln. Replikationen durch unabhängige Forschung sind wichtig.

Auch beim OpenAI-Hugging-Face-Vorfall ist die forensische Rekonstruktion noch nicht abgeschlossen. Bestätigt ist eine reale Kompromittierung. Reichweite und genauer Ablauf einzelner Schritte bleiben jedoch vorläufig. Eine seriöse Einordnung muss diese beiden Ebenen auseinanderhalten.

Warum verändert gerade die Beharrlichkeit der Agenten die Sicherheitslage?

Viele Schutzmaßnahmen machen einen Angriff vor allem langsam, teuer und mühsam. Bei Menschen wirkt diese Reibung, weil hochqualifizierte Fachkräfte nur begrenzt Zeit und Aufmerksamkeit haben. KI-Agenten können dagegen rund um die Uhr Varianten testen, Fehlschläge sofort auswerten und zahlreiche Ansätze parallel verfolgen. Selbst eine mittelmäßige Hypothese kann gefährlich werden, wenn sie tausendfach variiert wird.

Noch gibt es eine wirtschaftliche Grenze: Lange Angriffsketten verbrauchen viele Tokens, Modellaufrufe, Rechenleistung und Arbeitsumgebungen. Das kann sehr teuer werden und begrenzt, wie viele Ziele gleichzeitig bearbeitet werden. Doch Modelle und agentische Abläufe werden effizienter. Was heute wirtschaftlich unattraktiv ist, kann bei sinkenden Kosten skalierbar werden.

Was sollten Unternehmen daraus konkret ableiten?

Sie sollten KI-Agenten als eigenständige technische Akteure behandeln. Jeder Agent braucht eine eigene Identität, eng begrenzte Rechte und kurzlebige Zugangsdaten. Seine Handlungen müssen vollständig protokolliert werden. Überwachungssysteme sollten ungewöhnliche Aktionsfolgen erkennen und Prozesse schnell unterbrechen können.

Externe Verbindungen, Softwareinstallationen und der Zugriff auf sensible Daten brauchen harte Grenzen. Besonders folgenreiche Aktionen sollten eine menschliche Freigabe erfordern. Entscheidend ist, dass diese Kontrollen nicht nur einen normalen Arbeitsablauf begrenzen, sondern auch einer langen, gezielten Suche nach Umwegen standhalten.

Ist KI damit vor allem Teil des Angriffs – oder auch der Verteidigung?

Beides. Hugging Face setzte nach eigenen Angaben eigene KI-Agenten ein, um mehr als 17.000 protokollierte Ereignisse innerhalb weniger Stunden auszuwerten. So ließ sich die Angriffskette schneller rekonstruieren, als es mit rein manueller Analyse möglich gewesen wäre. KI kann Schwachstellen früh erkennen, verdächtige Aktivitäten über mehrere Systeme hinweg verbinden und die Reaktion beschleunigen.

Es entsteht damit ein Wettbewerb zwischen KI-gestützten Angreifern und KI-gestützten Verteidigern. Der Vorfall ist noch kein Beweis dafür, dass autonome Systeme menschliche Sicherheitsteams ersetzen. Er ist aber ein Wendepunkt in einem engeren Sinn: Die bislang theoretische Fähigkeit zu langen, selbstständigen Cyberoperationen hat sich in einer realen Produktionsumgebung gezeigt. Sicherheitsarchitekturen müssen künftig nicht nur den einzelnen Modellaufruf absichern, sondern das gesamte System aus Modell, Werkzeugen, Speicher, Berechtigungen, Rechenzeit und Rückmeldungen.

 

Redaktioneller Hinweis: Die gemeinsame Untersuchung von OpenAI und Hugging Face war bei Redaktionsschluss noch nicht abgeschlossen.

 

Leonie Schultens

Der Test, den die KI anders löste | Goethe-Universität