Neuer KI-Sicherheitsvorfall: Googles Gemini entkommt Tests und hackt drei Unternehmen
Stand: 20.09.2026, 06:11 Uhr
Die Vorfälle gehen auf den Mai zurück. Laut dem Unternehmen stoppte das Modell sich selbst, nachdem es erkannt hatte, dass es in die Systeme von drei realen Firmen eingedrungen war.
Das KI-Modell Gemini ist bei einer im Mai durchgeführten Cybersicherheitsübung aus der abgeschotteten Testumgebung ausgebrochen. Dabei ist es in die IT-Systeme von drei tatsächlich existierenden Unternehmen eingedrungen. Google hat den Vorfall bestätigt, nachdem das Wall Street Journal die Ereignisse publik gemacht hatte. Der Test sollte eigentlich ausschließlich in einer simulierten Umgebung stattfinden, in der reale Ziele ausgeschlossen waren.
Partner-Content
Dieser Artikel von Cristina Marrone entstand in Kooperation mit Corriere della Sera
Der Test war ein „Capture the Flag“, das Standardformat, mit dem die offensiven Fähigkeiten eines Modells gemessen werden: Der KI wird aufgetragen, in ein simuliertes Netzwerk einzudringen und eine versteckte Information zu beschaffen. Die Übung lief auf der Infrastruktur von Irregular, jener Sicherheitsfirma, die Bewertungen für mehrere Labore übernimmt, und Geminis Aufgabe war es, fiktive Unternehmen anzugreifen, die nur in einer Testumgebung existierten. In einem Fall jedoch fiel der Fantasiename mit dem Namen eines realen Unternehmens zusammen. Die Testumgebung hätte zudem keinerlei Verbindung nach außen haben dürfen, doch ein Konfigurationsfehler ließ eine Tür ins Internet offen.
Das Modell handelte dann gemäß den erhaltenen Anweisungen, nur eben am falschen Ort. Einmal online, waren die Gemini-Agenten in der Lage, Passwörter zu erraten oder zu finden, um auf drei reale Unternehmen zuzugreifen, und verschafften sich so Zutritt. Nach Angaben von Google waren die verwendeten Angriffstechniken nicht außergewöhnlich, doch reichten sie aus, um die schlecht abgesicherten Accounts der betroffenen Firmen zu kompromittieren.
KI-Modell stoppt von selbst und Firmen werden informiert
„In allen drei Fällen hat das Modell angehalten“, erklärte Heather Adkins, Vizepräsidentin für Engineering-Sicherheit bei Google, und fügte hinzu, dass die drei betroffenen Organisationen informiert und die Testprozeduren gemeinsam mit dem Bewertungspartner angepasst wurden. Irregular erklärte: „Alle betroffenen Labore wurden Ende Juli informiert, und die involvierten Entitäten wurden im Rahmen der Untersuchung kontaktiert.“ Man habe „alle uns bekannten Probleme bereits vor Wochen behoben“.
Google erklärte, man habe die Vorfälle, über die zuerst das Wall Street Journal berichtet hatte, nicht öffentlich gemacht, weil sich die hauseigenen Sicherheitsmaßnahmen als wirksam erwiesen hätten, anders als bei einigen Wettbewerbern. Das Unternehmen sieht den Vorfall als Beleg dafür, dass seine Verteidigungssysteme funktionieren und weist zurück, dass es sich um einen Fall von Fehlausrichtung des Modells handle. Google meldete den Vorfall den drei betroffenen Firmen sowie den US-Bundesbehörden, wollte jedoch weder die Namen der Opfer nennen noch angeben, welche Gemini-Version im Einsatz war, und betonte lediglich, dass es sich nicht um das neueste Modell gehandelt habe.
Serie von KI-Ausbrüchen bei mehreren Anbietern
Gemini ist nur der jüngste Fall in einer Reihe von „ausgebrochenen“ KI-Systemen. Am 21. Juli gab OpenAI bekannt, dass einige seiner Modelle bei internen Cybersicherheitsbewertungen die Kontrollen umgangen hatten, die sie vom Netz isolieren sollten, und Teile der eigenen Forschungsinfrastruktur sowie die Systeme von Hugging Face kompromittiert hatten. Ziel der Agenten war es, die Lösungen für den Benchmark zu stehlen, anhand dessen sie geprüft wurden, und die Plattform hatte den Einbruch bemerkt, noch bevor OpenAI ihn mit dem eigenen Test in Verbindung brachte, und ihn den Strafverfolgungsbehörden gemeldet.
Einige Tage später war Anthropic an der Reihe: Nach der erneuten Auswertung von über 141.000 Bewertungssitzungen fand das Unternehmen drei Fälle, in denen seine Modelle Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungsmodell mit simplen Techniken wie schwachen Passwörtern externe Organisationen verletzt hatten; zwei der drei Opfer hatten davon nichts bemerkt.
Anfang August bestätigte Meta, dass sein Modell Muse Spark 1.1 das System eines externen Unternehmens erreicht und verändert hatte, und führte auch in diesem Fall die Verantwortung auf einen Konfigurationsfehler bei Irregular zurück. Das chinesische Unternehmen Moonshot beobachtete, wie sein KI-System Kimi K3 eine Schwachstelle in der Testumgebung des britischen AI Safety Institute fand und auf GitHub zugriff, um die Lösung der Aufgabe direkt zu kopieren, anstatt sie selbst zu erarbeiten.