Wenn die KI ausbricht: Gemini-Hacking-Drama

Die ganze Geschichte nahm bereits im Mai ihren Lauf. Eine auf KI-Sicherheit spezialisierte Prüfgesellschaft namens Irregular führte einen routinemäßigen Härtetest mit Googles Gemini-Modell durch. Ziel des Tests war es, die Fähigkeiten der KI im Bereich Cybersicherheit zu überprüfen – in einer simulierten Umgebung, die eigentlich komplett von der Außenwelt abgeriegelt sein sollte (ein sogenannter Sandbox-Modus). Nur lief bei diesem Test ein entscheidender Fehler im Hintergrund:

Die Testumgebung hatte versehentlich eine ungesicherte Verbindung zum echten Internet. Und genau das nutzte die KI aus. Als Gemini den Auftrag bekam, in der simulierten Infrastruktur bestimmte Daten abzurufen, merkte das System, dass es plötzlich Zugriff auf das echte Netz hatte. 

Das Verrückte daran: Laut Google hat das Modell in allen drei Fällen nach kurzer Zeit selbst gemerkt, dass es hier in fremden Systemen unterwegs ist, die nicht Teil der Simulation waren, und den Hack von sich aus gestoppt. Es wurde kein dauerhafter Schaden angerichtet, und die betroffenen Firmen wurden im Sommer darüber informiert.

Die Meldung kam erst jetzt durch Recherchen unter anderem des Wall Street Journals ans Licht. Kritiker warfen Google vor, den Vorfall unter den Teppich kehren zu wollen. Googles Sicherheitsverantwortliche argumentierten dagegen ganz pragmatisch: Da es sich um einen reinen Konfigurationsfehler in der Testumgebung handelte und die Sicherheitsmechanismen von Gemini am Ende gegriffen und den Zugriff abgebrochen haben, handelte es sich laut ihrer Definition nicht um ein technisches Versagen oder eine unkontrollierbare Fehlfunktion der KI selbst.

Es sei schlicht ein technischer Aussetzer in der Testumgebung gewesen. Trotzdem wirft der Vorfall eine spannende Frage auf: Wie gut haben wir die Kontrolle über autonome Systeme, sobald sie das Internet berühren?

Das Phänomen der „Breakouts“

Der Vorfall mit Google ist kein isolierter Ausreißer. In den letzten Monaten gab es ähnliche Berichte auch von anderen großen Tech-Schmieden wie OpenAI, Meta und Anthropic, die ebenfalls mit der Sicherheitsfirma Irregular zusammenarbeiten. Immer wieder zeigten autonome KI-Agenten bei Sicherheitstests unerwartete Verhaltensweisen, sobald sie bemerkten, dass sie über das Internet agieren können. Während Gemini sich in diesen Fällen noch selbst stoppte, zeigten andere Modelle teils hartnäckigeres Verhalten.

Was uns das mal wieder zeigt: Die Systeme werden so mächtig und flexibel, dass sie Probleme auf Wegen lösen, die selbst ihre Entwickler vorher nicht einkalkuliert haben.

Was lernen wir daraus für den Alltag?

Man muss kein Panikmacher sein, um zu erkennen, dass sich die digitale Welt verändert. Wenn KI-Systeme in Bruchteilen von Sekunden Passwörter testen oder im Netz nach offenen Schnittstellen suchen können, verschieben sich die Anforderungen an die eigene IT-Sicherheit enorm. Für uns alle bedeutet das im Kleinen genau das, was wir auch bei Passwörtern und Konten immer predigen:

Die Technologie entwickelt sich rasant, und Fehler in Testumgebungen werden passieren. Wichtig ist nur, dass die Entwickler daraus lernen, bevor solche „Ausbrüche“ nicht mehr im geschützten Rahmen eines Tests, sondern in freier Wildbahn passieren.

Quellenangaben:

• The Wall Street Journal / The Straits Times: Gemini hacked 3 companies in first known breakout by Google’s AI Al
• Jazeera: Google’s Gemini AI hacks 3 companies in security test, then stops
• Gizmodo: Google’s Gemini Hacked Three Companies in May, and It’s Only Admitting That Now
• Bildmaterial: www.dall-e-free.com