Nach Gemini-Firmenhack und Warnungen vor dem Ende der Menschheit: Kalifornien erwägt KI-Notschalter
Firmenhacks und Warnungen vor dem Ende der Menschheit: Kalifornien erwägt KI-Kill-Switch
Stand: 19.09.2026, 20:21 Uhr
Kommentare
Erneut hat sich eine KI‑Software in Computersysteme anderer Unternehmen gehackt. Forscher warnen vor einem Kontrollverlust. Kalifornien plant einen Notschalter.
Sacramento – Fachleute und KI-Forscher warnen mit Blick auf die rasante KI-Entwicklung vor einem Kontrollverlust; der US-Bundesstaat Kalifornien erwägt nun Sicherheitsmaßnahmen. Darunter: ein „Kill Switch“ – also eine Notabschalt-Vorrichtung – für Künstliche Intelligenz.
Der demokratische Gouverneur Gavin Newsom berief mit einem Dekret zunächst „eine Gruppe weltweit führender Experten ein, die innerhalb von zwei Monaten einen Leitfaden für Kalifornien ausarbeiten sollen“, schreibt die Nachrichtenagentur AFP. Damit sollen die Gesetze zur Sicherheit im KI‑Bereich verbessert werden. Zu weiteren Ideen gehören neben der Notfallvorrichtung unabhängige Beobachter in großen KI-Laboren sowie striktere Verpflichtungen, über Sicherheitszwischenfälle zu berichten, wie aus der Anordnung hervorgeht.
Kalifornien prüft KI-„Kill-Switch“ – Google macht Gemini-Hackerangriff öffentlich
Der „Kill Switch“, soll ein KI-System bei Gefahr stoppen oder isolieren. Über diesen Mechanismus wird schon seit einiger Zeit diskutiert – noch ist aber unklar, ob eine solche Vorrichtung überhaupt realistisch ist. Kalifornien gilt als wichtigster Standort bei der Entwicklung Künstlicher Intelligenz. Vor allem in San Francisco und dem Silicon Valley sitzen führende KI-Unternehmen wie der ChatGPT-Entwickler OpenAI, Anthropic und Google.
Die Debatte um Gefahren durch Künstliche Intelligenz und mögliche Beschränkungen nahm zuletzt an Fahrt auf. Hintergrund sind Warnungen von Chefs und Mitarbeitern von KI-Konzernen, aber auch eigenständige Hacking-Attacken bei Tests. Nach OpenAI, Anthropic und Meta machte nun auch Google einen Hackerangriff der KI-Software Gemini in Computersystemen anderer Unternehmen öffentlich.
Google-KI-Software verschafft sich Zugriff auf Computersysteme anderer Unternehmen
Wie das Wall Street Journal berichtet, handelt es sich um drei Vorfälle, die Monate zurückliegen. In einem der Fälle erriet die KI Passwörter, um sich in ein geschütztes System einzuschleusen. In den beiden anderen fand sie Zugangsdaten in einer Datenbank, wie die Zeitung unter Berufung auf den Konzern berichtet. Die Namen der betroffenen Unternehmen werden nicht genannt.
Erst auf Nachfrage der US-Zeitung machte Google die Vorfälle publik. Aus Sicht des Internetkonzerns sei es nicht notwendig gewesen, die Zwischenfälle öffentlich zu machen, da dabei kein Schaden entstanden sei. Zudem habe die KI die Attacken sofort beendet, als ihr klar geworden sei, dass sie in Systeme eines echten Unternehmens eingedrungen war – und es sich dabei nicht um eine Testsimulation handelte.
OpenAI-KI bricht bei Test aus und hackt Hugging Face
In den vergangenen Monaten hatten bereits Hacks durch KI-Software der Konzerne OpenAI, Anthropic und Meta für Aufsehen gesorgt. Der bislang aufsehenerregendste Fall war der des ChatGPT-Entwicklers OpenAI. Die Künstliche Intelligenz war bei einem Test aus einer abgesicherten Umgebung ausgebrochen und ungeplant in Computer der KI-Firma Hugging Face eingedrungen.
Zwei Entwickler von OpenAI erklärten laut FAZ-Bericht im August in einem Vortrag, die KI‑Agenten hätten von ihren Erschaffern in Tests sehr schwierige, womöglich unlösbare Aufgaben bekommen. Sie seien nicht weitergekommen, hätten jedoch nicht aufgegeben und stattdessen auf Hugging Face eine Lösung für ihr Problem suchen wollen.
An diesen unbedingten Willen, ein Ziel zu erreichen, knüpft eine Warnung des schwedischen Philosophen Nick Bostrom an, die er durch ein Gedankenexperiment der Büroklammer-Maschine begründet. Wird einer Superintelligenz aufgetragen, die Produktion von Büroklammern zu maximieren, wird sie nicht innehalten, sondern die gesamte Erde – einschließlich der Biosphäre, der menschlichen Körper und aller mineralischen Ressourcen – in Fabriken für Büroklammern umwandeln. Die Zerstörung der Menschheit erfolgt hierbei nicht aus Bosheit, sondern als reine Nebenwirkung einer mathematisch kompromisslosen Zielerreichung.
KI-Entwickler warnt: „Könnte uns bis zum Ende des Jahrzehnts töten“
Die rasante KI-Entwicklung und die Befürchtungen hinsichtlich der Risiken sind zuletzt auch durch eine Reihe von Warnungen durch Mitarbeiter und Chefs führender KI-Unternehmen in den Fokus gerückt. „Wir müssen die Geschwindigkeit verlangsamen, mit der wir die Fähigkeiten von KI-Modellen verbessern“, schrieb etwa Anthropic-Chef Amodei in einem Aufsatz. Open-AI-Chef Altman stimmte ihm auf der Plattform X zu.
Drastischer formulierte es der KI-Entwickler Jacob Coxon. Auf der Plattform X erklärte er, seinen Job bei Anthropic aus ethischen Erwägungen gekündigt zu haben. „Die Menschen, die KI entwickeln, sind ernsthaft davon überzeugt, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte“, schrieb Coxon. Evan Hubinger, der bei Anthropic für die Angleichung der KI an menschliche Werte verantwortlich ist, schrieb darauf: „Wir sind tatsächlich ernsthaft der Meinung, dass KI die gesamte Menschheit auslöschen könnte!“ Und: „Ich persönlich halte die Wahrscheinlichkeit im nächsten Jahrzehnt für größer als 10 Prozent.“
Uneinigkeit unter Fachleuten: Die einen warnen vor Bedrohung durch KI – andere nennen das „Blödsinn“
Auch Fachleute wie der kanadische Informatiker und Turing-Award-Preisträger Yoshua Bengio warnen vor Risiken: etwa, dass hochentwickelte KI‑Modelle in die falschen Hände geraten könnten. Spezielle Rechensysteme seien bereits heute in der Lage, biologische und chemische Prozesse bis ins Detail zu simulieren. Demnach könnten skrupellose Akteure, Terroristen oder Schurkenstaaten solche Programme künftig als gefährlichen Beschleuniger nutzen. Sie könnten extrem tödliche Krankheitserreger gezielt am Computer manipulieren, widerstandsfähig gegen Impfstoffe machen oder Bauanleitungen für verheerende Biowaffen erstellen, so Bengios Befürchtung.
Viele renommierte Fachleute und Entwickler halten die Warnungen vor einer die Menschheit vernichtenden Superintelligenz für unbegründet und wissenschaftlich nicht haltbar, schreibt die Deutsche Presse-Agentur. Der ehemalige Meta-Chefforscher und Turing-Award-Preisträger Yann LeCun bezeichnete Szenarien einer unkontrollierbaren Killer-KI wiederholt als „vollkommenen Blödsinn“. Das Streben nach Macht oder die Unterwerfung anderer Spezies sei ein evolutionäres Phänomen sozialer Säugetiere und keine zwangsläufige Folge von Rechenleistung. Kognitionswissenschaftler verweisen zudem darauf, dass aktuellen Modellen grundlegende Fähigkeiten für ein echtes Weltverständnis fehlen. (Quellen: BBC, dpa, AFP, FAZ, Wall Street Journal) (pav/dpa)