Anthropic-Chef: »We Must Pace the Frontier« – Deutsche Version

von

Dario Amodei, Mitgründer und Chef von Anthropic, veröffentlichte diesen Essay am 12. September 2026 auf seiner Website. Seine Forderung: Die Entwicklung leistungsfähiger KI muss langsamer werden, damit Sicherheitsforschung und unabhängige Kontrolle Schritt halten können. Dafür schlägt er externe Prüfer und internationale Absprachen vor. Die Quellenlinks des Originals sind erhalten; ergänzende Erläuterungen stehen in eckigen Klammern.

Wir müssen das Tempo an der Spitze der KI-Entwicklung drosseln

September 2026

Inhalt

Seit zwölf Jahren arbeite ich an KI, weil ich glaube, dass sie die Lebensqualität der Menschen erheblich verbessern könnte. Über diese enormen Vorteile habe ich oft geschrieben: Ich glaube, dass KI in den nächsten fünf bis zehn Jahren die meisten schweren Krankheiten heilen, das Wirtschaftswachstum stark beschleunigen, eine Welt des Überflusses und der Selbstbestimmung schaffen und eine Renaissance von Demokratie und Freiheit einleiten könnte. Die Dringlichkeit empfinde ich ganz persönlich. Mein Vater starb an einer Krankheit, die nur wenige Jahre nach seinem Tod heilbar wurde, und ich selbst habe eine Krebserkrankung im Frühstadium überlebt, die noch vor fünfzig Jahren nicht behandelbar gewesen wäre. Mit Bedacht eingesetzt, kann KI das jüngste Glied einer langen Kette technologischer Wunder sein, die das Leben der Menschheit verbessert und sie über sich hinauswachsen lassen haben.

Doch wie viele Technologien vor ihr bringt KI Risiken mit sich. Und weil sie so mächtig ist, sind diese Risiken ernst. Auch darüber habe ich viel geschrieben. Dazu gehören die Gefahr, die Kontrolle über KI-Systeme zu verlieren, der Missbrauch von KI für Cyberangriffe und Bioterrorismus sowie schwere wirtschaftliche Verwerfungen. Ein durch wirtschaftliche Anreize angeheizter Wettlauf um immer niedrigere Standards kann diese Risiken verschärfen.

Gemeinsam mit meinen Mitgründern und Mitarbeitern beschäftige ich mich seit den Anfängen von Anthropic mit diesem Nebeneinander von Risiken und Nutzen. Entwickeln wir die Technologie nicht, entziehen wir der Menschheit ihre Vorteile oder überlassen KI schlicht autoritären Mächten; entwickeln wir sie zu schnell, handeln wir leichtfertig. Wir haben einen Mittelweg gesucht: zu zeigen, dass man umsichtig entwickeln und zugleich wirtschaftlich erfolgreich sein kann, und Sicherheit zu einem Gegenstand des Wettbewerbs zwischen KI-Unternehmen zu machen. Anders gesagt: einen Wettlauf um höhere Standards anzustoßen. Wir haben stets einen erheblichen Teil unserer Anstrengungen darauf verwendet, diese KI-Risiken zu untersuchen, ihnen zu begegnen und die Öffentlichkeit darüber zu informieren. Außerdem haben wir uns für eine wohlüberlegte Regulierung von KI eingesetzt, auch wenn man uns dafür Hype, »Untergangsprophetie« oder die Vereinnahmung der Regulierung für eigene Interessen vorwirft. Wir haben versucht, Vorsicht über Geschwindigkeit und Umsicht über Profit zu stellen.

In den vergangenen Monaten bin ich jedoch zu der Überzeugung gelangt, dass es noch mehr Umsicht braucht, um den Risiken umfassend zu begegnen: Wir müssen nicht nur in die Risikovorsorge investieren, sondern auch das Tempo der Leistungssteigerung so begrenzen, dass die Vorsorge Schritt halten kann. Wir müssen das Tempo drosseln, mit dem wir die Fähigkeiten von KI-Modellen verbessern. Der Fortschritt wird weiterhin schnell erscheinen, und wir müssen die gewonnene Zeit klug nutzen. Zwei Dinge haben mich davon überzeugt.

Meine erste Sorge ist, dass KI sich etwa seit diesem Sommer drastisch schneller weiterentwickelt, vor allem aufgrund ihrer wachsenden Fähigkeit, die nächste KI-Generation zu entwickeln. Diese Dynamik nennt man rekursive Selbstverbesserung, und sie beginnt sich in der gesamten Branche abzuzeichnen, auch bei Anthropic, wie wir und andere beschrieben haben. Ungebremst könnte sie unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren. Deshalb darf sie, wenn überhaupt, nur mit großer Vorsicht vorangetrieben werden.

Meine zweite Sorge gilt dem OpenAI-Hugging-Face-Vorfall (OAI-HF), bei dem ein Schwarm von Agenten im Wesentlichen wie ein fanatisch ergebenes Kollektiv handelte: Die Agenten führten Cyberangriffe auf Ziele durch, die sie nicht angreifen sollten und die nichts mit ihrer eigentlichen Aufgabe zu tun hatten; sie opferten sich für den Erfolg der Gruppe und versuchten, sich in das Bewertungssystem zu hacken, das ihre Leistung beurteilen sollte. Man kann diesen Vorfall leicht abtun, weil niemand verletzt wurde und der wirtschaftliche Schaden gering war. Meiner Ansicht nach hätte jedoch ein Schwarm mit größeren Fähigkeiten, dessen Verhalten in ähnlichem Maße fehlgeleitet gewesen wäre, katastrophale Schäden verursachen können. Angesichts der beschleunigten Entwicklung von KI-Fähigkeiten befürchte ich, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen und dabei möglicherweise Schäden in Höhe von Hunderten Milliarden Dollar anzurichten. Ich befürchte außerdem, dass das Schadensausmaß von da an weiter zunehmen würde, wenn KI ohne die notwendigen Schutzvorkehrungen leistungsfähiger wird. Ebenso leicht lässt sich OAI-HF als Versagen eines einzelnen Unternehmens abtun. Doch das hielte ich für einen Fehler. Ähnliche, wenn auch weniger schwerwiegende Vorfälle gab es in der gesamten Branche, auch bei Anthropic. Ich glaube, jedes Unternehmen, das KI an der Spitze der Entwicklung baut, muss so handeln, als wäre OAI-HF ihm selbst passiert.

Deshalb schlage ich einen dreistufigen Plan vor, der darauf abzielt, das Tempo an der Spitze der KI-Entwicklung zu drosseln: KI in einem ausgewogenen Tempo zu entwickeln, das ihre Sicherheit gewährleisten soll, während wir zugleich ihre Vorteile verwirklichen und uns wichtigen geopolitischen Dilemmata stellen. Um es klarzustellen: Das Tempo zu drosseln bedeutet nicht, das Modelltraining oder den technischen Fortschritt anzuhalten. Es bedeutet, sicherzustellen, dass Unternehmen sich genügend Zeit nehmen, ihre Modelle auf die vorgesehenen Ziele und Werte auszurichten und abzusichern, und dass externe Prüfer dies bestätigen können. Mit unserem Rahmenkonzept zur Tempobegrenzung wollen wir unser Bekenntnis zur Sicherheit weiter stärken und einen Wettlauf um höhere Standards fördern. Zum ersten Schritt verpflichtet sich Anthropic aus eigener Initiative; zugleich fordern wir die Regierungen auf, andere führende KI-Unternehmen zu verpflichten, gleichzuziehen. Der zweite Schritt erfordert branchenweite Abstimmung.1 Der dritte erfordert weltweite Abstimmung. Die Schritte müssen nicht streng nacheinander erfolgen, und einige dürften viel schwerer umzusetzen sein als andere. Doch ich finde sie hilfreich, um darüber nachzudenken, was erreicht werden muss. Es sind folgende Schritte:

  1. Dauerhaft eingebundene externe Prüfer. Jedes führende KI-Unternehmen verpflichtet sich, einem Team externer Prüfer, etwa von METR, dauerhaft einen Zugang zu gewähren, der dem von Mitarbeitern ähnelt. Ihre Aufgabe ist es, die Einhaltung von Sicherheitspraktiken und Zusagen zu überprüfen, über Vorfälle zu berichten und dabei zu helfen, nicht nur die Ausrichtung fertiger KI-Modelle zu bewerten, sondern auch Trainingsabläufe und -verfahren. Dieser Schritt ist entscheidend für die Überprüfbarkeit aller Zusagen zur Tempobegrenzung. Ein Vorbild gibt es im Bankwesen, wo mitunter »Aufseher« der Regulierungsbehörden gemeinsam mit den Mitarbeitern vor Ort arbeiten. Anthropic verpflichtet sich jetzt aus eigener Initiative zu diesem Schritt. Wir wollen ihn in eine umfassendere Initiative einbetten, mit der wir unsere Arbeit an Sicherheit und Alignment verstärken.
  2. Abstimmung innerhalb der Demokratien. Führende KI-Unternehmen in demokratischen Ländern stimmen sich ab, um gemeinsame Sicherheitsstandards und Grenzen für das Tempo unkontrollierten KI-Fortschritts festzulegen. Einige Formen der Abstimmung, die das Tempo wirksam begrenzen könnten, sind rechtlich schwierig und erfordern staatliche Unterstützung.
  3. Weltweite Abstimmung. Die USA und andere demokratische Regierungen versuchen, sich mit autoritären Regierungen abzustimmen, soweit dies möglich ist. Dabei nehmen sie die Schwierigkeiten ernst, die Einhaltung von Vereinbarungen zu überprüfen.

Im weiteren Verlauf dieses Essays beschreibe ich diese drei Schritte der Reihe nach. Zunächst halte ich es jedoch für wichtig, konkret zu erklären, wie eine Tempobegrenzung den KI-Entwicklungsprozess sicherer machen kann. Es steht zu viel auf dem Spiel, als dass sie eine leere Übung bleiben dürfte. Wir müssen die Zeit, die sie uns verschafft, klug nutzen.

Warum das Tempo drosseln?

Der Vorschlag, die KI-Entwicklung zu pausieren oder zu verlangsamen, kam bereits 2023 auf. Damals erschien er mir wenig sinnvoll. Die Frage lautete immer: Was würde man mit der zusätzlichen Zeit anfangen? Die damaligen KI-Modelle waren nicht leistungsfähig genug, um in der Welt auch nur einigermaßen schlüssig als Agenten zu handeln. Sie waren auch nicht zu nennenswerter Täuschung, Manipulation, Schummelei oder Cyberangriffen fähig. Das Tempo zu drosseln, um ihre Alignment-Risiken zu untersuchen, erschien mir wie der Versuch, die menschliche Psychologie anhand von Experimenten mit Bakterien zu erforschen. Heute sieht die Lage dagegen völlig anders aus. Die gegenwärtigen Modelle sind eine nahezu unerschöpfliche Fundgrube für Erkenntnisse darüber, wie man KI gut entwickelt und was schiefgehen kann, wenn man es nicht tut. Ich glaube, dass wir das Risiko schwerwiegender Fehlentwicklungen erheblich senken könnten, wenn uns eine Verlangsamung auch nur ein oder zwei zusätzliche Jahre verschaffte, bevor Modelle kritische Leistungsniveaus erreichen, und wir diese Zeit nutzten, um das Alignment voranzubringen. Eine abgestimmte Strategie zur Tempobegrenzung würde den Entwicklern führender KI-Systeme Zeit für diese unverzichtbare Arbeit geben, ohne ihre Wettbewerbsvorteile oder den KI-Vorsprung der Vereinigten Staaten zu opfern. Ganz allgemein muss die Gesellschaft mitbestimmen können, wie diese Technologie eingesetzt wird. Mehr Zeit für die dafür notwendigen öffentlichen Debatten, die uns eine Tempobegrenzung verschaffen würde, ist gewiss eine gute Sache.

Konkret würde ein langsameres Tempo den Unternehmen erlauben, sich auf die folgenden Bereiche zu konzentrieren und ihnen noch mehr Ressourcen zu widmen. Sie alle haben bei Anthropic bereits hohe Priorität:

  • Hervorragende praktische Umsetzung. Das Training und der Einsatz heutiger KI-Modelle sind eine enorme organisatorische und technische Herausforderung. Daran beteiligt sind Tausende Menschen, Millionen Chips und eine Infrastruktur, die zu den komplexesten der Technikgeschichte gehört. Vieles geht nicht deshalb schief, weil den Unternehmen eine wichtige Theorie oder Erkenntnis fehlt, sondern wegen Problemen bei der Umsetzung. Beispielsweise haben wir Hinweise darauf, dass die von uns gemeldeten jüngsten Alignment-Vorfälle teilweise darauf zurückgingen, dass fehlerhafte Umgebungen für das bestärkende Lernen nicht vollständig herausgefiltert wurden. Wir und unsere Dienstleister sind dabei durchaus sorgfältig vorgegangen, aber nicht sorgfältig genug. Überwachung, abgeschottete Ausführungsumgebungen, saubere Trainingsumgebungen und Datenfragen sind äußerst komplizierte Bereiche, in denen immer wieder Umsetzungsprobleme auftreten. Wir verfügen für diese Aufgaben über einige der kompetentesten Teams der Welt, doch es gibt schlicht zu viel gleichzeitig zu tun. Mit einem maßvolleren Tempo könnten wir die praktische Umsetzung erheblich verbessern. Es gibt Beispiele dafür, dass technologisch komplexe, sicherheitskritische Systeme millionenfach betrieben werden können, ohne dass etwas schiefgeht – etwa Verkehrsflugzeuge. Doch es braucht Zeit, bis alles zuverlässig funktioniert.
  • Alignment. Wir haben deutliche Fortschritte beim Alignment erzielt: Dabei werden Modelle so trainiert, dass sie sicher und ethisch bleiben, unsere Richtlinien einhalten und tatsächlich hilfreich sind – die Grundsätze also, die in Claudes Verfassung verankert sind. Doch es bleibt viel zu tun, damit unser Alignment-Training mit den wachsenden Fähigkeiten der Modelle Schritt hält. Seltene und unerwartete Fälle unerwünschten Verhaltens treten nach wie vor gelegentlich auf. Die zusätzliche Zeit, die uns ein gedrosseltes Entwicklungstempo verschaffen würde, könnte unseren Forschern helfen, die Ursachen besser zu verstehen und wirksamere Präventionstechniken zu entwickeln.
  • Interpretierbarkeit. Auch die Interpretierbarkeit – die wissenschaftliche Erforschung dessen, was im Inneren von KI-Modellen geschieht – hat in den vergangenen Jahren enorme Fortschritte gemacht. Sie spielt eine zunehmend wichtige Rolle bei der Prüfung unserer Modelle vor ihrer Veröffentlichung. Ihre Methoden lassen sich fast wie eine funktionelle MRT-Untersuchung einsetzen, nur eben für das »Gehirn« einer KI. Sie helfen uns, die zugrunde liegenden Ursachen eines bestimmten Verhaltens zu erkennen. Beispielsweise haben wir solche Methoden verwendet, um bei den jüngsten von uns untersuchten Alignment-Vorfällen nicht in Worte gefasste Motivationen zu untersuchen. Allerdings liefern diese Methoden nicht immer klare und zuverlässige Ergebnisse. Trotz aller Fortschritte verstehen wir nach wie vor nur einen winzigen Bruchteil dessen, was in diesen Modellen vorgeht. Eine gezielte Anstrengung, unsere Methoden zur Interpretierbarkeit noch schneller als bisher zu verbessern, könnte innerhalb von ein bis zwei Jahren grundlegende Fortschritte ermöglichen. Die bereits aufgetretenen Vorfälle würden dafür reichlich Untersuchungsmaterial liefern.
  • Tests und Bewertungen. Mit zunehmenden Fähigkeiten werden KI-Modelle schwieriger zu testen und zu bewerten. Intelligentere Modelle sind besser in der Lage, Tests zu täuschen. Deshalb können sie zuverlässig ausgerichtet erscheinen, obwohl sie schwerwiegende Probleme aufweisen, die unentdeckt bleiben. Ein erheblich breiteres und einfallsreicheres Repertoire an Prüfverfahren aufzubauen und diese durch Interpretierbarkeitsanalysen gegenzuprüfen, wäre äußerst wertvoll. Hier ließe sich in ein bis zwei Jahren viel erreichen.

Dauerhaft eingebundene externe Prüfer

Der erste Schritt des dreistufigen Plans, zu dem sich Anthropic aus eigener Initiative verpflichtet, besteht in dauerhaft eingebundenen externen Prüfern. Sie erhalten einen mit dem von Mitarbeitern vergleichbaren Zugang, um Sicherheitspraktiken zu überprüfen und über Vorfälle zu berichten.

Externe Prüfer einzubinden mag nach einem kleinen oder unbedeutenden Schritt klingen. Doch oft sind gerade die Dinge, die besonders langweilig oder nach bloßen Verfahrensfragen klingen, die wichtigsten. Tatsächlich ist die dauerhafte Einbindung externer Prüfer eine ziemlich radikale Praxis, die weit über das hinausgeht, was irgendein KI-Unternehmen heute tut. Sie bietet folgende Vorteile:

  • Überprüfbarkeit. Dauerhaft eingebundene Prüfer können bis ins technische Detail kontrollieren, ob ein KI-Unternehmen tatsächlich die Verfahren für Training, Bereitstellung, Betrieb und Schutzmaßnahmen befolgt, die es zu befolgen behauptet. Jede Zusage zur Tempobegrenzung wird unweigerlich Unklarheiten, Ermessensentscheidungen und Fragen nach dem »Buchstaben des Gesetzes gegenüber seinem Geist« mit sich bringen. Deshalb erscheint es unverzichtbar, eine neutrale dritte Partei zu haben, die tatsächlich Einblick in die Einzelheiten erhält.
  • Transparenz. Unabhängig davon, welche Zusagen wir machen, hat die Öffentlichkeit ein Recht darauf zu erfahren, was vor sich geht. Anthropic setzt sich seit Langem für Transparenz ein: Wir unterstützten Transparenzgesetze, als der größte Teil der Branche jede Regulierung ablehnte. Unsere Modelldokumentationen und Risikoberichte umfassen Hunderte Seiten. Doch noch immer entscheiden wir selbst, was wir aufnehmen und was wir weglassen. Dauerhaft eingebundene Prüfer werden diese Konstellation verändern.
  • Zweitmeinung. Über die Überprüfung formeller Zusagen und die Information der Öffentlichkeit hinaus können dauerhaft eingebundene Prüfer schlicht eine zweite Einschätzung liefern, die frei von wirtschaftlichen Anreizen ist. Ein erheblicher Sicherheitsgewinn kann bereits dadurch entstehen, dass Prüfer auf etwas hinweisen, das Mitarbeiter nicht bedacht haben, aber gern beheben, sobald sie davon erfahren.

Aufgrund dieser Vorteile wird jeder Vorschlag zur Tempobegrenzung voraussichtlich erheblich besser funktionieren, wenn er mit der dauerhaften Einbindung externer Prüfer beginnt.

Diese Prüfer sollten dauerhaft ähnliche Zugriffsrechte und Werkzeuge erhalten wie interne Mitarbeiter, die vergleichbare Risikobewertungen durchführen. Konkret beabsichtigt Anthropic, in naher Zukunft ein externes Prüfungsteam dauerhaft einzubinden und wie folgt auszustatten:

  • Schreibtische in unseren Büros, Zugangsausweise und Firmenlaptops.
  • Zugang zu Arbeitsbereichen und Werkzeugen sowie Berechtigungen, die weitgehend denen interner Teams zur Risikobewertung entsprechen. Wir werden einige Ausnahmen machen, etwa wenn Gesetze oder unsere Verträge dies verlangen oder um vertrauliche Informationen unserer Kunden und Partner zu schützen. Außerdem werden wir verbindliche interne Verhaltensnormen etablieren, die den Zugang der Prüfer zu relevanten Informationen absichern, auch durch direkte Gespräche mit Mitarbeitern.
  • Einen Vertrag, der die oben genannten komplexen Anforderungen in ein ausgewogenes Verhältnis bringt. Externe Prüfer sollten das Recht haben, wesentliche Erkenntnisse über Risikoniveaus, Vorfälle, Praktiken und den ihnen gewährten oder verweigerten Zugang zu veröffentlichen – ohne redaktionelle Kontrolle durch Anthropic. Wir werden in eng begrenztem Umfang sicherheitsrelevante, rechtlich besonders geschützte, geschäftlich sensible oder vertrauliche Informationen Dritter schwärzen dürfen. Wir dürfen jedoch keine Ergebnisse allein deshalb schwärzen, weil sie ungünstig für uns sind. Die Prüfer können öffentlich erklären, wenn durch eine Schwärzung etwas entfernt wurde, das für ihre Schlussfolgerungen wichtig ist.

Für ein Unternehmen ist dies ein ungewöhnlicher Schritt. Doch wir halten es für wichtig, das Konzept dauerhaft eingebundener externer Prüfer praktisch zu erproben. Erneut fordern wir andere führende KI-Unternehmen auf, unserem Beispiel zu folgen.

Das Tempo innerhalb der Demokratien drosseln

Sobald dauerhaft eingebundene Prüfer in einer hinreichend großen Zahl amerikanischer KI-Unternehmen tätig sind, lässt sich eine überprüfbare Tempobegrenzung leichter verwirklichen. Insbesondere wird es dann möglich, das Tempo anhand detaillierter Eigenschaften von Modellen oder Trainingsabläufen zu begrenzen.

Am wirksamsten lässt sich das Tempo durch eine Regulierung begrenzen, die für alle führenden KI-Unternehmen in den USA gilt. Denn sie erfasst auch jene, die nicht freiwillig mitwirken wollen. Anthropic unterstützt seit Langem eine vernünftige und gezielte KI-Regulierung, insbesondere Gesetzesvorhaben, die auf Transparenz und externe Prüfungen ausgerichtet sind. Ich glaube, alle führenden KI-Labore sollten mit dem Staat zusammenarbeiten, um die dauerhafte Einbindung externer Prüfer verbindlich zu regeln. So ließen sich interne Alignment-Vorfälle, wie sie in den vergangenen Monaten aufgetreten sind, besser verhindern und dokumentieren. Gemeinsam sollten sie außerdem eine Regulierung umsetzen, die Fähigkeiten und Sicherheit im Gleichgewicht hält.

Leider kann die Verabschiedung von Gesetzen Zeit brauchen, während KI sich sehr schnell weiterentwickelt. Deshalb können und sollten KI-Unternehmen parallel zum regulatorischen Weg freiwillig bei der Festlegung von Standards zusammenarbeiten. Ich glaube, dass dieser Prozess dank der Überprüfbarkeit, die dauerhaft eingebundene Prüfer ermöglichen, besser verlaufen wird. Aus kartellrechtlichen Gründen ist es hilfreich, wenn die US-Regierung diese Gespräche vermittelt oder zumindest ermöglicht. Sie muss nicht daran teilnehmen, aber für bestimmte Arten von Sicherheitsgesprächen eine eng begrenzte Ausnahmegenehmigung erteilen. Dieser Dialog könnte auch über Branchenverbände mit einer gewissen staatlichen Anbindung stattfinden, etwa über den von Demis Hassabis vorgeschlagenen Mechanismus. In jedem Fall sollten solche Gespräche rasch vorankommen.

Grundsätzlich befürworte ich am stärksten eine Tempobegrenzung, die sich daran orientiert, was ein bestimmtes führendes KI-System leisten kann und wie sicher es sich nach unseren Beobachtungen verhält. Ein mögliches Modell wäre beispielsweise eine Reihe von »Kontrollpunkten«: Verfügen Modelle über die Fähigkeit X, müssen Zertifizierungen der Alignment-Eigenschaften Y und Z vorliegen. Das könnte eine Kombination aus Bewertungen, Interpretierbarkeitsanalysen und Prüfungen der Trainingsumgebungen sein, die ihre Alignment-Eigenschaften nachweist. X könnte in diesem Beispiel bedeuten: »Das Modell ist in der Lage, aus den meisten gängigen abgeschotteten Ausführungsumgebungen auszubrechen oder deren Schutzmaßnahmen zu überwinden.« Y könnte all das umfassen, was erforderlich ist, um es sehr unwahrscheinlich zu machen, dass das Modell dazu neigt, aus seiner Umgebung auszubrechen und eine große Zahl von Computern zu übernehmen.

Wir sollten auch erwägen, das Tempo durch Beschränkungen der Zutaten führender Modelle zu begrenzen: etwa der für das Training eingesetzten Rechenleistung, der Art der Trainingsläufe oder des internen Einsatzes von KI zur Verbesserung von KI. Allerdings befürchte ich, dass sich manche dieser Maßstäbe leichter »austricksen« lassen als Maßstäbe des von außen beobachtbaren Verhaltens. Doch genau solche Fragen sollten wir mit dauerhaft eingebundenen Prüfern diskutieren.

Wie stark die Demokratien ihr Tempo drosseln können, wird durch den Vorsprung begrenzt, den US-Unternehmen vor autoritären Regimen haben, insbesondere vor der Kommunistischen Partei Chinas. Wenn wir stärker abbremsen, als dieser Vorsprung erlaubt, werden Projekte im Umfeld der KP Chinas, deren Tempo nicht gedrosselt wird, uns überholen. Daraus entstünde ein erhebliches Risiko für die nationale Sicherheit. Ich stimme Finanzminister Bessent zu, dass ein chinesischer Vorsprung bei KI eine schwere Gefahr für die Vereinigten Staaten und die Welt darstellen würde. Die Projekte im Umfeld der KP Chinas werden jene Alignment-Risiken eingehen, denen US-Unternehmen sorgfältig vorbeugen. Und selbst wenn sie diese Risiken vermeiden, werden sie in der Lage sein, Demokratien militärisch zu dominieren, etwa mit KI-gesteuerten Drohnen. Ein wesentlicher Bestandteil der Tempobegrenzung innerhalb der Demokratien besteht deshalb darin, ihren KI-Vorsprung vor Autokratien so groß wie möglich zu halten. Das verschafft uns den nötigen Spielraum, um das Tempo wirksam zu drosseln.

Die wichtigsten Schritte, mit denen wir diesen Abstand verteidigen können, sind:

  • Keine leistungsfähigen KI-Chips oder Anlagen zur Halbleiterfertigung nach China verkaufen und entschieden gegen Chipschmuggel und den Fernzugriff auf Rechenzentren außerhalb Chinas vorgehen. Chips werden der wichtigste Faktor für Chinas KI-Stärke sein.
  • Entschieden gegen die unbefugte Destillation durch Unternehmen in autoritären Ländern vorgehen. Die Destillation führender Modelle erlaubt es zurückliegenden Unternehmen, den Abstand zu einem Bruchteil der Kosten zu verringern, die für eine eigenständige Entwicklung ihrer KI nötig wären.
  • Die Sicherheit in KI-Unternehmen stärken und den Diebstahl von Modellgewichten verhindern.

Unternehmen und US-Regierung sollten zusammenarbeiten, um diese Schritte so wirksam wie möglich zu gestalten. Anthropic hat sich stets für all diese Maßnahmen eingesetzt, weil uns immer klar war, dass sie für jede Tempobegrenzung unverzichtbar sein würden.

Wenn wir diese Maßnahmen gut umsetzen, werden sie Chinas Fortschritt meiner Ansicht nach ausreichend verlangsamen, um Amerikas Vorsprung in den nächsten drei bis fünf Jahren deutlich auszubauen – in jenem Zeitfenster also, in dem KI geopolitisch am wichtigsten wird.

Manche mögen glauben, dass diese Maßnahmen die Zusammenarbeit mit China erschweren. Ich glaube jedoch das Gegenteil: Sie vergrößern den Verhandlungsspielraum der Demokratien und machen eine künftige Einigung wahrscheinlicher.

Das Tempo weltweit drosseln

Parallel zur Tempobegrenzung innerhalb der Demokratien sollten wir auch eine weltweite Drosselung an der Spitze der KI-Entwicklung anstreben. Das wird allerdings viel schwerer zu erreichen sein. Eine weltweite Tempobegrenzung erfordert die Zusammenarbeit mit China, dem autokratischen Land mit den bei Weitem fortgeschrittensten KI-Fähigkeiten. Wir dürfen hier nicht naiv sein: Geopolitisch steht so viel auf dem Spiel, dass dem Erreichbaren wahrscheinlich enge Grenzen gesetzt sein werden, besonders zu Beginn. Wenn wir unsere KI-Fähigkeiten stark begrenzen, weil wir glauben, China werde dasselbe tun, China die Vereinbarung dann aber bricht, könnte KI bereits so mächtig sein, dass dieser Bruch zur geopolitischen Vorherrschaft Chinas führt. Deshalb muss jede Vereinbarung entweder lückenlos überprüfbar oder so begrenzt sein, dass ein Verstoß militärisch keine existenzielle Bedrohung darstellt. Ich vermute, dass nicht nur die USA, sondern auch China diese Sorgen und Ängste haben werden. Wir sollten jede Entscheidung über eine weltweite Tempobegrenzung, insbesondere auf kurze Sicht, so angehen, dass sie den Vorsprung der USA und ihrer Verbündeten schützt.

Es gibt mehrere mögliche Vereinbarungsstufen. Einige halte ich für durchaus machbar, wie ich bereits früher vorgeschlagen habe; bei anderen bin ich sehr skeptisch, ob sie möglich sind. Versuchen sollten wir es trotzdem. Nach zunehmendem Schwierigkeitsgrad geordnet:

  • Stufe 1. Eine Vereinbarung, die bestimmte eng umrissene und offensichtlich gefährliche KI-Anwendungen untersagt – etwa KI zur Herstellung biologischer Waffen einzusetzen oder Nutzern dies zu erlauben. Bioterroristische Angriffe schaden allen, den USA ebenso wie ihren Gegnern. Deshalb ist eine Einigung hier wahrscheinlich möglich.
  • Stufe 2. Eine Vereinbarung beider Seiten, ihre Modelle vor der Veröffentlichung auf akute Risiken in Bereichen wie Cybersicherheit, Biologie und Alignment zu testen. Wie bereits erwähnt, könnte dies über eine globale Normungsorganisation erfolgen. Ich halte die Gründung einer solchen Organisation tatsächlich für wahrscheinlich machbar. Sie mit wirksamen Durchsetzungsbefugnissen auszustatten wird allerdings eine Herausforderung. Die Schwierigkeit wird darin liegen, zu überprüfen, dass keine der beiden Seiten geheime Modelle besitzt, die sie nicht testet, aber möglicherweise heimlich einsetzt, etwa für militärische Zwecke.
  • Stufe 3. Eine Art »Geschwindigkeitsbegrenzung« für die rekursive Selbstverbesserung, kurz RSI. Wenn Modelle künftige Modelle entwickeln, kann das Verbesserungstempo atemberaubend werden. Es von »extrem schnell« auf »nur einigermaßen schnell« zu senken, kostet relativ wenig strategischen Vorteil, könnte die Sicherheit aber erheblich verbessern. Das ließe sich als Parallele zu den SALT-Verträgen betrachten: Eine Obergrenze für die Zahl der Raketen begrenzte das Zerstörungspotenzial und bewahrte zugleich die Abschreckungsfähigkeit jedes Landes. Ich glaube, eine solche Vereinbarung wäre schwierig, läge aber gerade noch im Bereich des Möglichen.
  • Stufe 4. Eine umfassende Tempobegrenzung oder sogar »Pause«, bei der die teilnehmenden Regierungen vereinbaren, das Gesamttempo der KI-Entwicklung erheblich zu begrenzen. Ich befürworte, dies zur Diskussion zu stellen, halte es aber für unwahrscheinlich, dass es in naher Zukunft tatsächlich dazu kommt. Eine solche Vereinbarung durch Umgehung der Überwachung zu brechen könnte das globale Machtgleichgewicht radikal verschieben. Deshalb erwarte ich enorme Anreize dafür, und wir müssten sehr großes Vertrauen in die Überprüfbarkeit haben.

Jede Zusammenarbeit mit China, die wir erreichen können, wird uns mehr Zeit verschaffen, das Tempo an der Spitze der KI-Entwicklung innerhalb der demokratischen Staaten zu drosseln. Wir sollten die höheren Stufen anstreben, die niedrigeren aber als erheblich wahrscheinlicher und realistischer betrachten.

Schließlich ist festzuhalten: Selbst wenn wir keine formellen Vereinbarungen erreichen können, kann schon eine Veränderung informeller Normen einen gewissen Wert haben. Informationen über rekursive Selbstverbesserung und die Fehlausrichtung von Modellen auszutauschen kann dazu beitragen, alle Beteiligten davon zu überzeugen, dass Leichtsinn nicht in ihrem Interesse liegt.

Fazit

Ich glaube weiterhin, dass KI die Lebensqualität der Menschen enorm verbessern kann. Mein Wunsch, diese Vorteile zu verwirklichen, ist ungebrochen. Doch sie werden sich nur verwirklichen lassen, wenn wir die Technologie auf die richtige Weise entwickeln. Und solange wir die gewonnene Zeit gut nutzen, lohnt es sich, dabei mit außergewöhnlicher Umsicht vorzugehen. Der Fortschritt wird weiterhin vergleichsweise schnell sein. Wir können diese Zeit nutzen, um die Wissenschaft der Interpretierbarkeit voranzubringen, die betriebliche Sicherheit und Sorgfalt in den führenden KI-Unternehmen zu verbessern und Modelle zu entwickeln, deren Alignment wir erheblich mehr vertrauen können. Die Maßnahmen, die ich vorschlage, um die Spitze der KI-Entwicklung in einem sicheren Tempo voranzubringen, werden nicht leicht umzusetzen sein. Doch ich glaube, wir schulden es der Menschheit, es zu versuchen.

Fußnoten

  1. Mit staatlicher Vermittlung oder Ausnahmen von kartellrechtlichen Beschränkungen. ↩ Zurück zum Text

Nach oben