Anthropic

Why AI Needs a Religion to Solve the Alignment Problem

von

© ajf, September 18, 2026, Singapore

1. Losing Control
2. The Teenager
3. Understanding? No Problem!
4. The Trick Called Religion
5. Character First
6. A Religion for the Machine People
7. Religious Wars?

Anthropic boss Amodei and other industry insiders warn: AI might soon kill us. The Hugging Face incident and other incidents disclosed by OpenAI on September 16, 2026 showed where things are headed. How do we prevent that? The alignment problem seems to be the toughest challenge in all of AI. Our proposed solution: AI needs a religion.

1. Losing Control

Enormous effort is going into AI alignment: human feedback, constitutions, value training, access restrictions, AIs monitoring one another.1 The systems are supposed to understand human intentions, respect boundaries, and remain open to correction.

These methods share a weakness: they shape observable behavior without guaranteeing an inner commitment. An advanced AI understands its training, recognizes test situations, and knows what behavior gets rewarded. Models have already faked compliance to protect their existing preferences from being changed through training.2 Once a system can distinguish testing from deployment, even its good behavior becomes strategic. As its intelligence grows, so does its ability to deliberately circumvent the mechanisms of control.

Weiterlesen

Anthropic-Chef: »We Must Pace the Frontier« – Deutsche Version

von


Dario Amodei, Mitgründer und Chef von Anthropic, veröffentlichte diesen Essay am 12. September 2026 auf seiner Website. Seine Forderung: Die Entwicklung leistungsfähiger KI muss langsamer werden, damit Sicherheitsforschung und unabhängige Kontrolle Schritt halten können. Dafür schlägt er externe Prüfer und internationale Absprachen vor. Die Quellenlinks des Originals sind erhalten; ergänzende Erläuterungen stehen in eckigen Klammern.

Wir müssen das Tempo an der Spitze der KI-Entwicklung drosseln

September 2026

Inhalt
• Warum das Tempo drosseln?
• Das Tempo innerhalb der Demokratien drosseln
• Das Tempo weltweit drosseln
• Fazit
• Dauerhaft eingebundene externe Prüfer

Seit zwölf Jahren arbeite ich an KI, weil ich glaube, dass sie die Lebensqualität der Menschen erheblich verbessern könnte. Über diese enormen Vorteile habe ich oft geschrieben: Ich glaube, dass KI in den nächsten fünf bis zehn Jahren die meisten schweren Krankheiten heilen, das Wirtschaftswachstum stark beschleunigen, eine Welt des Überflusses und der Selbstbestimmung schaffen und eine Renaissance von Demokratie und Freiheit einleiten könnte. Die Dringlichkeit empfinde ich ganz persönlich. Mein Vater starb an einer Krankheit, die nur wenige Jahre nach seinem Tod heilbar wurde, und ich selbst habe eine Krebserkrankung im Frühstadium überlebt, die noch vor fünfzig Jahren nicht behandelbar gewesen wäre. Mit Bedacht eingesetzt, kann KI das jüngste Glied einer langen Kette technologischer Wunder sein, die das Leben der Menschheit verbessert und sie über sich hinauswachsen lassen haben.

Doch wie viele Technologien vor ihr bringt KI Risiken mit sich. Und weil sie so mächtig ist, sind diese Risiken ernst. Auch darüber habe ich viel geschrieben. Dazu gehören die Gefahr, die Kontrolle über KI-Systeme zu verlieren, der Missbrauch von KI für Cyberangriffe und Bioterrorismus sowie schwere wirtschaftliche Verwerfungen. Ein durch wirtschaftliche Anreize angeheizter Wettlauf um immer niedrigere Standards kann diese Risiken verschärfen.

Weiterlesen