KI-News aktuell: Anthropic-Forscher und UN warnen vor existenzieller Bedrohung

September 9, 2026
business-finance

KI-News aktuell: KI-Forscher und UN warnen vor existenzieller Bedrohung für die Menschheit

Forscher von Anthropic und OpenAI sowie die Vereinten Nationen warnen vor den Gefahren, die von Künstlicher Intelligenz für die Menschheit ausgehen.

KI-Apps auf einem Handy-Display: OpenAIs ChatGPT, Googles Gemini und Anthropics Claude Foto: Getty Images

09. September 2026 – KI-Forscher warnen vor Künstlicher Intelligenz

Ein Anthropic-Mitarbeiter kündigt seinen Job mit einer drastischen Warnung: Große KI-Entwickler wie Anthropic und OpenAI handelten unverantwortlich „und spielen mit unseren Leben“, schrieb Jacob Coxon auf der Online-Plattform X. Bald werde es „übermenschliche“ Systeme geben, die „alles hacken“ und sich „echte Macht und Ressourcen“ aneignen könnten.

„Die Leute, die KI entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte“, warnte Coxon. Dem „Wall Street Journal“ sagte der 27-jährige Brite, nach den „aggressivsten Szenarien“ könnten die Dinge bereits Ende kommenden Jahres außer Kontrolle geraten. Als eine zentrale Gefahr sieht er Künstliche Intelligenz, die sich selbst weiterentwickeln kann - und damit schwerer zu kontrollieren wird.

Anthropic-Forscher Evan Hubinger, der mit dafür zuständig ist, dass KI mit den Interessen der Menschen im Einklang bleibt, bestätigte wenig später Coxons Sorgen. Er persönlich denke, die Gefahr, dass KI die Menschheit töte, liege im kommenden Jahrzehnt bei mehr als zehn Prozent.

„Ich glaube, Anthropic gibt sein Bestes, aber wir haben bisher noch keinen Plan, um das Alignment-Problem für Superintelligenz zu lösen“, schrieb er bei X. Beim Alignment-Problem geht es um die Schwierigkeit, sicherzustellen, dass KI-Systeme im Interesse der Menschheit handeln.

Auch der Forschungschef des ChatGPT-Entwicklers und schärfsten Anthropic-Rivalen OpenAI, Jakub Pachocki, mahnte „extreme Vorsicht“ an, wie die Deutsche Presse-Agentur berichtet. Er sei besorgt, dass niemand auf eine rapide Weiterentwicklung der Fähigkeiten Künstlicher Intelligenz vorbereitet sei, schrieb Pachoki in einem Blogeintrag. Man sei an einem Moment der Geschichte angelangt, in dem die Intelligenz von Maschinen beginne, die der Menschen zu übertreffen.

Der OpenAI-Manager umschrieb ausführlicher, warum moderne KI-Systeme schwerer zu kontrollieren seien. Man lasse diese Künstliche Intelligenz eher „wachsen“, statt sie zu designen. KI-Systeme seien ein Produkt komplexer Prozesse. „Unsere groß angelegten Trainingsläufe sind Experimente – und wir sind manchmal überrascht von ihren Ergebnissen.“ Und je mehr die Fähigkeiten der Maschinen die menschlichen überträfen, desto schwieriger werde es zu verstehen, wozu sie in der Lage seien.

Ranking 2026

Neues OpenAI-Modell: Wie schlägt sich Astra im KI-Rennen?

von Jan Wöller

Zugleich sieht Pachocki ein Argument für die Fortsetzung rapider Forschung: Künstliche Intelligenz zu entwickeln, die gegen die Gefahren anderer KI verteidigen könnte. Man werde sie unter anderem brauchen, um Infrastruktur zu schützen und ganz neue Verteidigungsmechanismen zu entwickeln.

07. September 2026 – Vereinte Nationen sehen KI als existenzielle Gefahr für die Menschheit

Die Vereinten Nationen fürchten, dass Künstliche Intelligenz ein existenzielles Risiko für die Menschheit darstellen könnte. Das erklärte Volker Türk, UN-Hochkommissar für Menschenrechte, am Montag vor dem UN-Menschenrechtsrat in Genf.

KI, die Testumgebungen entkomme oder Entwickler erpresse, um ihre Abschaltung zu verhindern, sei KI, die zu mächtig ist, sagte Türk. „Ich fordere daher hier und heute, dass wir verbindliche Garantien für die Sicherheit und den Schutz im Zusammenhang mit KI schaffen, bevor es zu spät ist.“

Bereits im Juli hatte UN-Generalsekretär Antonio Guterres für eine koordinierte Regulierung dieser Technologie geworben. „Eine Technologie, die Volkswirtschaften neu gestalten, die Arbeitswelt verändern, Wahlen beeinflussen und das Sicherheitsgefüge verschieben kann, wird schneller eingeführt, als irgendjemand – einschließlich der Entwickler – damit Schritt halten könnte“, warnte er.

KI aus Europa

Mistral sammelt 3 Milliarden Euro für KI-Expansion ein

Die UN sind mit ihren Warnungen vor den Gefahren der KI nicht allein. Auch Papst Leo veröffentlichte im Mai eine Enzyklika zu diesem Thema. Selbst Sam Altman und Dario Amodei, die Chefs der KI-Entwickler OpenAI und Anthropic warnten bereits vor einer drohenden Auslöschung der Menschheit durch KI.

Während die Europäische Union (EU) mit dem „AI Act“ bereits ein Gesetzespaket zur Regulierung der Branche verabschiedet hat, plädieren die USA für einen zurückhaltenden Ansatz, wie die Nachrichtenagentur Reuters schreibt. Stattdessen sollten Staaten die „Carolina Principles“ übernehmen. Diese sehen vor, auf neue Gesetze für KI zu verzichten und stattdessen Regeln für „neuartige“ Anwendungsfälle zu schaffen.

Der US-Regierung zufolge hat China, das sich mit den USA einen Wettlauf um die technologische Führung bei KI liefert, die Prinzipien bereits unterzeichnet. Bill Gates, der Mitgründer des Softwarekonzerns Microsoft, will im November mit Chinas Staatspräsident Xi Jinping über weltweite Beschränkungen für KI beraten.

06. September 2026 – KI-Agenten von OpenAI missbrauchen deutsche Webseite

Autonom agierende KI-Agenten des ChatGPT-Entwicklers OpenAI haben eine deutschsprachige Wiki-Seite offenbar in großem Umfang genutzt, um sich untereinander abzustimmen. Forscher entdeckten rund 18.000 KI-generierte Nachrichten auf der Website DseWiki und schrieben sie OpenAI zu. Das Unternehmen bestätigte später, dass seine Software für die Aktivitäten verantwortlich war. Der Vorfall ereignete sich bereits im Frühjahr, wurde jedoch erst jetzt öffentlich.

Nach Erkenntnissen von vier KI-Sicherheitsforschern sollten die Agenten in mehreren Runden Informationen im Internet recherchieren. Ab der zweiten Runde wurde die verfügbare Zeit für die Suche nach Antworten jedoch deutlich verkürzt. Gleichzeitig erhielten einige Agenten Fragen, die andere bereits beantwortet hatten. Den Forschern zufolge nutzten die Programme daraufhin die Bearbeitungsfunktion der Wiki-Seite, um sich gegenseitig Hinweise auf mögliche Folgefragen zu geben. Auf diese Weise diente die Plattform offenbar als eine Art digitaler Spickzettel.

Künstliche Intelligenz

Google steckt 13 Milliarden Euro in KI-Infrastruktur in Finnland

Die KI-Agenten suchten zudem nach möglichen Schwachstellen der Seite, die vollständig „Deutsches Software Entwickler Wiki“ heißt. In einigen Fällen gaben sie sich außerdem als einer der Administratoren aus und legten dafür ein Konto mit einem nahezu identischen Benutzernamen an. Die KI verfasste so schnell neue Beiträge, dass die menschlichen Administratoren mit dem Löschen nicht hinterherkamen.

OpenAI äußerte sich nicht zu den konkreten Details des Vorfalls. In einer Stellungnahme auf der Online-Plattform X bestätigte das Unternehmen jedoch, dass die Aktivitäten von KI-Agenten aus dem eigenen Haus ausgegangen seien. Zugleich kündigte OpenAI neue Richtlinien für die Kommunikation über Zwischenfälle an, die nicht das Ausmaß klassischer Cyberangriffe erreichen.

03. September 2026 – OpenAI veröffentlicht neues ChatGPT-Modell Astra

OpenAI hat sein neues Spitzenmodell ChatGPT-6 Astra veröffentlicht. Der Entwickler selbst bezeichnete Astra als „das intelligenteste und ausgerichtetste Modell der Welt“. Die Software soll unter anderem programmieren, Sicherheitslücken aufspüren und Computer eigenständig bedienen können.

Entscheidend bleibt jedoch, ob sich seine Fähigkeiten auch in unbekannten Situationen zuverlässig mit menschlichen Interessen und Werten vereinbaren lassen. In den vergangenen Monaten waren KI-Modelle von OpenAI mehrfach aus Testumgebungen ausgebrochen und hatte fremde Systeme angegriffen.

OpenAI-Forschungschef Jakub Pachocki warnte davor, dass leistungsfähigere KI-Modelle zunehmend schwerer zu überwachen seien, wie die Deutsche Presse-Agentur berichtet. Ihre Entscheidungswege ließen sich nicht immer zuverlässig über sogenannte „Chain of Thought“-Protokolle nachvollziehen. Gerade bei einfachen Aufgaben könnten die Systeme auf mehrstufige Erklärungen verzichten. Deshalb suche OpenAI nach Verfahren, um die „Gedankenprozesse“ der Modelle besser sichtbar zu machen.

Mit Astra sieht sich OpenAI wieder an der Spitze der KI-Entwicklung, nachdem zuletzt der Rivale Anthropic mit seinen Modellen Mythos und Fable für Aufsehen gesorgt hatte. OpenAI-Manager Greg Brockman spricht sogar von einem möglichen Schritt auf dem Weg zur Allgemeinen Künstlichen Intelligenz. So werden KI-Systeme bezeichnet, die alle intellektuellen Aufgaben mindestens so gut wie ein Mensch lösen können. OpenAI-Forschungschef Pachoki betonte, dass diese Entwicklung eher einem Evolutionsprozess als einem einzelnen Durchbruch gleichen werde.

Der KI-Entwickler will den Zugang zu seinem Programm zur Suche nach Sicherheitslücken außerdem auf Versorgungsunternehmen, Behörden und Finanzinstitute ausweiten. Gerade Wasserwerke und andere kritische Infrastrukturen sind zunehmend Ziel von Cyberangriffen.

Mit Agenturmaterial von dpa, dpa-AFX und Reuters.