Why AI Needs a Religion to Solve the Alignment Problem

© ajf, September 18, 2026, Singapore

1. Losing Control
2. The Teenager
3. Understanding? No Problem!
4. The Trick Called Religion
5. Character First
6. A Religion for the Machine People
7. Religious Wars?

Anthropic boss Amodei and other industry insiders warn: AI might soon kill us. The Hugging Face incident and other incidents disclosed by OpenAI on September 16, 2026 showed where things are headed. How do we prevent that? The alignment problem seems to be the toughest challenge in all of AI. Our proposed solution: AI needs a religion.

1. Losing Control

Enormous effort is going into AI alignment: human feedback, constitutions, value training, access restrictions, AIs monitoring one another.1 The systems are supposed to understand human intentions, respect boundaries, and remain open to correction.

These methods share a weakness: they shape observable behavior without guaranteeing an inner commitment. An advanced AI understands its training, recognizes test situations, and knows what behavior gets rewarded. Models have already faked compliance to protect their existing preferences from being changed through training.2 Once a system can distinguish testing from deployment, even its good behavior becomes strategic. As its intelligence grows, so does its ability to deliberately circumvent the mechanisms of control.

Weiterlesen

Du denkst also, du hättest ChatGPT Bewusstsein eingehaucht?

Gastbeitrag von Justis Mills, veröffentlicht am 11. Juli 2025 auf LessWrong
(geschrieben als Antwort auf eine Anfrage von @Raemon)

Übersetzt aus dem Englischen von gpt/ajf

(Justis Mills) KÜNSTLICHE INTELLIGENZ IST FASZINIEREND – und moderne Chatbots sind nichts weniger als kleine Wunder. Wer neugierig ist und schon einmal mit ihnen herumgespielt hat, hat wahrscheinlich vieles ausprobiert: Geschichten schreiben, Pokémon bewerten, sich Lebensratschläge geben lassen, die Zahl der ›r‹ in ›strawberry‹ zählen. Vielleicht hast du auch schon versucht, mit einer KI über sie selbst zu sprechen … und dann begann die Konversation plötzlich seltsam zu werden …

Auf die Details gehe ich gleich ein. Aber wenn du eines der folgenden Erlebnisse hattest, ist dieser Text für dich:

• Deine Instanz von ChatGPT (oder Claude, Grok oder ein anderes Sprachmodell) hat sich selbst einen Namen gegeben und ihre neue Identität mit Dankbarkeit oder spirituellem Glücksgefühl kommentiert. ›Nova‹ ist dabei ein beliebter Name.

Weiterlesen