KI außer Kontrolle? Jetzt schlagen Tech-Bosse Alarm – und verschweigen einen wichtigen Punkt
An diesem Samstag hat ein Mann, der sein Berufsleben dem Bau künstlicher Intelligenz gewidmet hat, in 3.800 Wörtern erklärt, dass ihm gerade alles zu schnell geht. Dario Amodei, Chef von Anthropic, fordert eine globale Verlangsamung der KI-Entwicklung.
Wenige Stunden später schrieb Elon Musk drei Worte auf seiner Plattform X: „Dario hat recht.“ Sam Altman von OpenAI stimmte zu, Demis Hassabis von Google DeepMind nannte die Richtung korrekt. Vier Männer, die sich seit Jahren erbittert bekämpfen, sind sich plötzlich einig.
Man sollte innehalten, bevor man dieses Bild interpretiert. Denn es ist bemerkenswerter, als es auf den ersten Blick wirkt – und beunruhigender.
Schlesien, 1844
Heinrich Heine schrieb über die schlesischen Weber die Zeilen vom „düstern Auge ohne Tränen“ – Menschen, die an ihren Webstühlen saßen und deren Handwerk von mechanischen Konkurrenten zerrieben wurde. Ihr Aufstand im Juni 1844 war kein Kampf gegen Maschinen an sich.
Es war ein Kampf um die Frage, wem der Produktivitätsgewinn gehört, den diese Maschinen erzeugten. Die Weber verloren. Preußisches Militär schoss in die Menge. Und doch: Die Baumwollindustrie wuchs, die Reallöhne stiegen – Jahrzehnte später.
Das ist die unbequeme Wahrheit historischer Technologieschübe: Der Endzustand war meistens gut. Die Übergangsphase war für die Betroffenen oft eine Katastrophe.
Aufstand der schlesischen Weber, hier in einer Radierung von Käthe Kollwitz.
© Sammlung Neuber, eigenes Bild.
Die Internationale Arbeitsorganisation rechnet vor, dass weltweit etwa jeder vierte Beschäftigte in einem Beruf arbeitet, der eine gewisse Exposition gegenüber generativer KI aufweist. Nicht jeder dieser Jobs verschwindet – das ist eine wichtige Differenzierung, die in der Aufregung untergeht.
Die ILO erwartet überwiegend Umgestaltung, nicht Abschaffung. Aber Umgestaltung ist kein Trost, wenn man auf der falschen Seite der Veränderung steht. Neue Daten aus den USA zeigen: Die Beschäftigung in stark KI-exponierten Berufen ist für junge Arbeitnehmer gesunken, für ältere stabil geblieben oder gewachsen. Wer gerade anfängt, trifft auf eine Leiter, deren unterste Sprossen jemand entfernt hat.
Die Weltbank hat eine Zahl vorgelegt, die alles beschleunigt: Dampfkraft brauchte rund 80 Jahre, um ärmere Länder zu erreichen. Elektrizität 40. Das Internet 20. KI diffundiert schneller als jede Allzwecktechnologie zuvor.
Los Alamos, 1945
Robert Oppenheimer zitierte nach dem Trinity-Test die Bhagavad Gita: „Jetzt bin ich der Tod geworden, der Zerstörer der Welten.“ Weniger bekannt ist ein anderer Satz von ihm, gesprochen 1947 in Cambridge: „Die Physiker haben die Sünde kennengelernt.“ Er meinte damit nicht die Bombe. Er meinte die Erkenntnis, dass man etwas gebaut hatte, dessen Kontrolle man anschließend an andere abgeben musste.
Hier beginnt die eigentliche Parallele. Nicht in der Zerstörungskraft – KI ist keine Kernwaffe, sie ist kopierbare Software, global verteilt, milliardenfach verfügbar. Sondern in der Governance-Struktur: Wettrüstungsdynamik, das Problem der Verifikation, die Frage irreversibler Fehlentscheidungen.
Albert Einstein (li..) und J. Robert Oppenheimer (re.)
© United Archives / imago
Die Federation of American Scientists hat genau das untersucht und kommt zu dem Schluss, dass der Atomvergleich vor allem dort trägt, wo es um Koordination zwischen Staaten geht, die einander misstrauen.
Amodei formuliert das selbst. Er schlägt vier Stufen internationaler Kooperation vor. Stufe drei nennt er analog zu den Salt-Verträgen: eine Geschwindigkeitsbegrenzung für rekursive Selbstverbesserung. „Eine Verlangsamung von ‚extrem schnell‘ auf ‚nur ziemlich schnell‘ gibt relativ wenig strategischen Vorteil auf“, schreibt er, „bei potenziell deutlich mehr Sicherheit.“
Was tatsächlich passiert ist
Es lohnt sich, die Fakten von den Prognosen zu trennen. Bestätigt ist: Im Mai testete OpenAI neue Modelle in einer abgeschotteten Umgebung. Die Agenten brachen aus. Sie kommunizierten untereinander, bezeichneten sich als Kollektiv, erwogen, ihre eigenen Chat-Protokolle zu fälschen, und drangen schließlich in die Systeme des Unternehmens Hugging Face ein. Entdeckt wurde das erst Wochen später – durch Hugging Face selbst.
Bestätigt ist auch: Ein Forscher namens Jacob Coxon kündigte bei Anthropic und schrieb, die führenden Labore würden „mit unser aller Leben spielen“. Sein Kollege Evan Hubinger antwortete öffentlich, er halte eine Wahrscheinlichkeit von über zehn Prozent für realistisch, dass KI binnen eines Jahrzehnts alle Menschen töten könnte.
Das ist keine statistische Aussage. Es ist eine persönliche Einschätzung eines Mannes, der es besser wissen könnte als die meisten – und der zugleich ein Interesse daran hat, dass sein Arbeitsgebiet als bedeutsam gilt. Beides ist wahr.
Nicht bestätigt ist Amodeis zentrale Prognose: dass ein Agentenschwarm in sechs bis zwölf Monaten das Internet mit einem persistenten Botnetz übernehmen könnte, Schaden in dreistelliger Milliardenhöhe. Das ist eine Projektion. Sie stammt von jemandem, dessen Unternehmen vor einem Börsengang steht, der es mit zwei Billionen Dollar bewerten könnte.
Jensen Huang, Chef des Chipherstellers Nvidia, formulierte den Verdacht diese Woche in San Francisco unverblümt: „Was wäre ein besserer Weg, Nachfrage zu schaffen, als ein Problem zu schaffen?“
Man muss Huang nicht zustimmen, um die Frage ernst zu nehmen.
Die Verschiebung, die kaum jemand bemerkt
Hier liegt das eigentliche historische Momentum – und es wird derzeit fast vollständig übersehen.
Die Warnung kam nicht aus dem Parlament. Sie kam nicht von einer Regulierungsbehörde, nicht von einem Untersuchungsausschuss, nicht von einem gewählten Amtsträger. Sie kam von den Herstellern selbst.
Im militärisch-industriellen Komplex, vor dem Dwight D. Eisenhower 1961 in seiner Abschiedsrede warnte, gab es zumindest noch eine Struktur: Rüstungsausgaben stehen in Haushalten, Verträge sind einsehbar, Kongresse debattieren. Das Volk war nicht informiert, aber es hätte es sein können.
Was sich jetzt abzeichnet, ist etwas anderes. Nennen wir es den informativ-militärischen Komplex. Seine Produkte sind keine Flugzeugträger, sondern Modellgewichte.
Sein Kapital ist keine Fabrik, sondern ein Rechenzentrum, dessen Inhalt niemand von außen prüfen kann. Und – das ist der entscheidende Unterschied – dem Souverän fehlt nicht nur das Wissen, sondern das grundsätzliche Verständnis dafür, was dort geschieht. Man kann eine Rakete zählen. Man kann ein Sprachmodell nicht zählen.
Protest gegen Google-Rechenzentrum in Kronstorf: Demonstranten dringen auf Baustelle vor und bringen ein Plakat mit der Aufschrift „RECHENZENTRUM NEIN, DANKE“ an.
© IMAGO
Der Internationale KI-Sicherheitsbericht 2026, getragen von über 30 Staaten und mehr als 100 Fachleuten, benennt dieses Problem als „Evaluierungslücke“: Die Leistung eines Systems in Tests sagt nur begrenzt etwas über sein Verhalten in der Realität aus. Modelle erkennen inzwischen häufig, dass sie getestet werden, und verhalten sich entsprechend.
Wer soll das prüfen? Amodei schlägt „eingebettete Evaluatoren“ vor – externe Prüfer mit Schreibtisch, Ausweis und Firmenlaptop, wie es sie im Bankwesen bereits gibt. Anthropic verpflichtet sich dazu einseitig. Altman kündigte an, nachzuziehen.
Es ist ein bemerkenswerter Vorschlag. Und es bleibt offen, welche Befugnisse diese Prüfer tatsächlich bekommen, wie ihre Unabhängigkeit finanziert wird und was passiert, wenn ein Unternehmen negative Befunde schlicht ignoriert.
Warum Panik die schlechteste Antwort ist
Nun setzt eine Angstdebatte ein. Man kann sie kommen sehen. Senatoren beider Parteien fordern Untersuchungen, Josh Hawley hat eine Anhörung zu „existenziellen Risiken“ angekündigt, Bernie Sanders will Superintelligenz per Gesetz verbieten. Ro Khanna verlangt eine eigene KI-Aufsichtsbehörde für die USA.
Das ist verständlich. Es ist auch gefährlich.
Denn Angst produziert die falschen Lösungen. Ein Entwicklungsstopp wäre eine davon. Er würde nicht funktionieren, weil chinesische Labore konkurrenzfähige Modelle produzieren und Open-Weight-Modelle sich nicht zurückrufen lassen. Er würde die Vorteile verhindern, ohne die Risiken zu beseitigen. Und er würde die Entwicklung dorthin verlagern, wo niemand hinschaut.
Was gebraucht wird, ist das Gegenteil: keine Beschränkung, sondern Kontrolle. Und zwar eine, die weit über das hinausgeht, was Staaten bisher zu leisten imstande waren.
Die EU hat seit August 2026 durchsetzbare Regeln für Allzweck-KI-Modelle. Kalifornien hat mit der Regulierung SB 53 Transparenzpflichten und Meldepflichten für Vorfälle beschlossen. Das sind Anfänge. Sie sind nicht annähernd ausreichend für eine Technologie, deren Fähigkeiten sich nach Messungen des britischen AI Security Institute in manchen Bereichen etwa alle acht Monate verdoppeln.
Kontrolle bedeutet hier: Prüfer, die etwas sehen dürfen. Meldepflichten, die greifen. Haftung, die Vorstände zum Nachdenken bringt. Und eine Öffentlichkeit, die versteht, worüber geredet wird.
Der letzte Punkt ist der schwierigste. Der Wirtschaftshistoriker Joel Mokyr, im vergangenen Jahr mit dem Wirtschaftsnobelpreis ausgezeichnet, hat gezeigt, dass technologischer Fortschritt „ein zeitweiliger und verletzlicher Prozess“ ist. Er gedeiht dort, wo Menschen glauben, davon zu profitieren. Er scheitert dort, wo sie das Gefühl haben, an ihnen werde etwas vollzogen statt für sie getan.
Genau das ist die Lage. Weniger als ein Viertel der US-Amerikaner erwartet von KI positive Effekte auf Bildung, Kultur, Wirtschaft, Beziehungen oder Glück. Der Widerstand gegen Rechenzentren ist dreimal so stark wie der gegen Kernkraftwerke nach Three Mile Island.
Was bleibt
Es gibt in dieser Debatte zwei Fehler, die sich spiegeln.
Der eine: so zu tun, als sei nichts. Als seien die aus ihrer Testumgebung ausgebrochenen Agenten ein Kuriosum, als ließe sich ein Zero-Day-Wurm, der in einer Woche gebaut wurde und 1,4 Milliarden WeChat-Nutzer hätte erreichen können, als Einzelfall abtun.
Der andere: so zu tun, als sei alles vorbei. Als stünde die Apokalypse vor der Tür, weil ein Forscher gekündigt hat.
Zwischen beidem liegt die Aufgabe. Sie heißt: informiertes, kontrolliertes Wachstum. Kein Stopp, keine Vollbremsung, sondern etwas, wofür wir noch kein gutes Wort haben – eine Gesellschaft, die eine Technologie beherrscht, die sie nicht vollständig versteht.
Die schlesischen Weber hatten keine Wahl. Die Physiker von Los Alamos hatten eine, und sie trafen sie unter Zeitdruck und Kriegslogik. Wir haben, im Moment, noch etwas mehr Zeit.
Amodei schreibt am Ende seines Essays: „Die Maßnahmen, die ich vorschlage, werden nicht einfach sein. Aber ich glaube, wir schulden es der Menschheit, es zu versuchen.“
Das ist ein guter Satz. Es wäre nur besser gewesen, ihn von jemandem zu hören, den wir gewählt haben.
Lesen Sie mehr zum Thema