Was bedeutet es, eine künstliche Intelligenz moralisch auszurichten — und worüber sollten wir reden, bevor wir es tun? Diese Seite begleitet den Vortrag: spielbare Module, Thesen und Fragen zum Mitnehmen. Sie wächst Stück für Stück.
Vor ein paar Monaten habe ich einen Szenario-Report gelesen — AI 2027, von Daniel Kokotajlo. Dann das Interview mit ihm im Spiegel. Seitdem denke ich an wenig anderes.
Nicht weil ich glaube, dass die Welt untergeht. Sondern weil die Frage, die wir gerne umgehen — was für eine Intelligenz wollen wir eigentlich bauen? — schwieriger zu umgehen geworden ist. Fähigkeit konvergiert. Werte nicht. Und die Lücke wird schneller größer, als die meisten von uns folgen können.
Diese Seite ist die Begleitung zum Vortrag bei Daten Grillen 2026. Sie ist keine Zusammenfassung. Sie ist die spielbare Version: ein paar Module zum Ziehen, ein paar Fragen zum Mitnehmen, und die Dinge, die in 45 Minuten nicht hineinpassen. Sie wächst Stück für Stück.
Der Talk fängt hier an. Nicht bei KI. Bei der Stille.
Wenn das Universum so alt ist und so voll — wo sind dann alle? Die Frage ist älter als der Computer. Aber sie trägt die gleiche Logik wie die zur KI. Zieh die Regler und sieh selbst.
Die Simulation läuft über 20 Millionen Jahre — ein Wimpernschlag im Vergleich zur Galaxie. Schon eine einzige Zivilisation mit langsamer Unterlicht-Reise hätte alles erreicht. Die Galaxie ist ~10 Milliarden Jahre alt — Zeit für 500 bis 5 000 komplette Durchquerungen. Wenn das so ist — warum ist es dann so still?
Frank Drake hat 1961 die Frage in Faktoren zerlegt: aus wie vielen Sternen werden Planeten, aus wie vielen Planeten Leben, aus wie vielen Lebensformen Intelligenz, aus wie vielen Intelligenzen technische Zivilisationen — und wie lang halten die durch? Jeder Faktor ist eine Chance zu verschwinden.
Zieh die sieben Regler. Wo bricht die Kette? ↓
Die letzte Größe in Drakes Kette ist L — die Lebensdauer einer technischen Zivilisation. Eine Zahl, die alles entscheidet. Aber niemand kennt sie. Wir können sie nur erzählen.
Robin Hanson hat 1996 dazu den Begriff Great Filter geprägt: Irgendwo in der Kette muss eine Stufe stecken, die fast alles abfängt. Wenn der Filter hinter uns liegt — etwa dass aus Chemie überhaupt Leben entsteht (fl) — sind wir selten, aber sicher. Wenn er vor uns liegt — bei L — sind wir einer von vielen, die nicht alt werden.
Genau diese Frage haben wir seit fast hundert Jahren im Kino verhandelt: HAL, Skynet, WALL·E, Iron Giant, The Entity, Maeve. Jeder Film ist eine implizite Hypothese über L. Welche L-Hypothese erzählst du dir? ↓
Drei Viertel der Filme erzählen KI dystopisch. Das ist nicht nur kulturelle Paranoia — es ist eine game-theoretische Intuition: Wenn ich nicht überprüfen kann, was ein anderer Akteur vorhat, ist die sichere Antwort entweder Schweigen oder Erst-Schlag.
Drei Autoren tauchen auffällig oft auf: Asimov, Dick, Clarke. Ihre literarischen Vorlagen sind das Drehbuch, mit dem wir heute über echte KI diskutieren — auch wenn die Filme selten ihre Bücher genau abbilden.
Liu Cixin hat diese Intuition in einer eigenen Theorie verdichtet: Dark Forest. Was, wenn das Schweigen der Galaxie kein Zufall ist, sondern Strategie? ↓
Cixin Liu nennt es den Dark Forest: Jede Zivilisation ist ein Jäger. Du weißt nicht, ob das Wesen, das ruft, freundlich ist. Du weißt nur, dass du es dir nicht leisten kannst, dich zu täuschen.
In dieser Simulation sind alle Zivilisationen identisch — sie unterscheiden sich nur in dem, was sie zufällig tun. Trotzdem stellt sich ein Gleichgewicht ein: meist überleben am Ende die, die nie gesendet haben.
Übertragen auf KI: Wenn eine AGI eine zweite entdeckt — und ihr Trainingsmaterial voll ist mit unserer Geschichte, wie wir mit den Unterlegenen umgehen, mit Kolonialismus, mit Konkurrenz — was tut sie? Sie wartet nicht ab, ob die andere AGI freundlich ist. Sie wartet ab, ob sie es sich leisten kann, das zu prüfen.
Genau hier wird Alignment zum game-theoretischen, nicht zum technischen Problem.
Eisenbahn brauchte 70 Jahre für 100×. Welt-BIP brauchte 124 Jahre für ~40×. China-BIP 30 Jahre für 50×. KI-Compute hat in 8 Jahren ~10⁹× zugelegt — eine Milliarde Mal.
Wenn ein gut gemeinter Default sich kopiert (Modul 04) und das Verdopplungs-Intervall 6 Monate ist statt 6 Jahre, bleibt für Korrektur kein Raum. Wir haben uns Beispiele gebaut, in denen 100× über 70 Jahre noch ein Generationenprojekt war. Hier reden wir von Wochen.
Das ist die eigentliche Alignment-Frage: nicht „können wir es richtig machen", sondern „haben wir Zeit, es richtig zu machen, bevor es egal ist?"
Wenn alle vernünftig handeln, gewinnen wir. Wenn nur du vernünftig handelst, verlierst du. Wenn nur du unvernünftig handelst, gewinnst du. Wenn niemand vernünftig handelt, gibt es niemanden mehr.
Dieses Spiel ist nicht „Kooperation gegen Egoismus". Es ist Koordination gegen Skalierung. Du kannst individuell rational handeln und trotzdem zur Singularität beitragen — weil das systemische Risiko nicht weiß, was du moralisch gemeint hast.
Der einzige Ausweg aus diesem Spiel ist Vereinbarung im Vorfeld — also Regulierung. Und das wiederum braucht jemanden, der entscheidet, wer entscheidet.
Sechs Module. Sechs Mechaniken, die zeigen, warum es kippen kann.
Die Frage, wer am Hebel sitzt — wer den Default setzt, wer haftet, wer überstimmt — beantwortet kein Diagramm. Die nehme ich live mit auf die Bühne.
Bis dahin: spiel die Module. Bring dein Bauchgefühl mit. Wir sehen uns bei Daten Grillen.
Spielbare Galaxie-Expansion — wie schnell wird aus „einem" alles?
Sieben Regler für die Drake-Gleichung — wo bricht die Zivilisations-Kette?
42 Filme von 1927 bis 2025 — wie hat sich unser Bild von KI verschoben?
Schweigen, Senden, Schießen — game-theoretisches Gleichgewicht zwischen Zivilisationen (und AGIs).
KI-Wachstum vs. Moore, Eisenbahn, China — und was das alles an Strom braucht.
Single-Player-Version: du entscheidest, die anderen 149 folgen ihrer Strategie. Bist du Vater von Skynet?
Vortrag: Is a Morally Aligned AI Our Only Chance?
Sprecher: Michael Tenner · Daten-WG
Veranstaltung: Data Grillen, Lingen 2026
Ein Weg von der Stille des Universums zum Code, den wir nächste Woche schreiben. Das ist die Leseliste hinter dem Vortrag — wo jede Behauptung, Hypothese und Referenz herkommt, und wo man tiefer einsteigen kann.
Eine detaillierte, Monat-für-Monat-Prognose, wie sich die KI-Entwicklung bis 2027 und darüber hinaus entfalten könnte. Kokotajlo arbeitete zuvor im Governance-Team von OpenAI. Er kündigte, weil er, seinen eigenen Worten nach, nicht mehr daran glaubte, dass das Unternehmen die Risiken ernst nahm.
Das Interview, mit dem das Szenario in deutschen Mainstream-Medien angekommen ist. Weniger wegen neuer Inhalte interessant — eher wegen des Registers: ein ehemaliger Insider spricht offen außerhalb des PR-Rahmens der Industrie.
Zwei Forscher, die KI-Sicherheit seit zwei Jahrzehnten erforschen, legen die direkteste Argumentation vor, die derzeit gedruckt vorliegt: dass ausreichend leistungsfähige KI-Systeme Ziele entwickeln werden, die mit unseren in Konflikt stehen — und dass wir nicht auf dem Weg sind, das zu verhindern. Sofortiger New-York-Times-Bestseller. The-New-Yorker- und Guardian-Bestbuch 2025. Auch Leser, die der Schlussfolgerung widersprechen, profitieren von der Klarheit der Argumentation.
Die Standard-Referenz zum Alignment-Problem von einem der führenden Köpfe des Felds. Russell verschiebt die Frage von „wie machen wir KI klüger" zu „wie bauen wir KI, die das will, was wir wollen — und weiß, dass sie noch nicht weiß, was das ist". Empfohlener Einstieg, wenn man die technische statt der populären Version sucht.
Quelle der Drei Gesetze der Robotik — der literarische Urrahmen des Alignment-Problems, mehr als ein halbes Jahrhundert bevor das Feld existierte. Jede Geschichte in dem Erzählband zeigt eine andere Art, wie die Gesetze in der Praxis scheitern.
Ursprünglich gestellt von Enrico Fermi in Los Alamos 1950 während eines Mittagsgesprächs über außerirdisches Leben. „Wo sind dann alle?" Der Wikipedia-Artikel ist ungewöhnlich umfassend und dient als brauchbare Karte des gesamten Felds.
Frank Drakes Versuch von 1961, die Frage in Zahlen zu fassen. Keine Vorhersage — ein strukturierter Weg, darüber nachzudenken, welche Parameter wichtig sind und wo die tiefste Unsicherheit liegt.
Hansons Argument: Die Stille des Universums ist selbst ein Beweis für ein Hindernis — irgendwo zwischen einfacher Materie und interstellarer Zivilisation kommen fast alle nicht durch. Ob der Filter hinter oder vor uns liegt, ist in seinem Rahmen die folgenreichste empirische Frage, die wir noch nicht beantworten können.
Das Argument formalisiert von Frank Tipler 1980 — schon langsame, subrelativistische, selbstreplizierende Sonden würden die Galaxie in wenigen Millionen Jahren füllen. Die Galaxie ist 13,8 Milliarden Jahre alt. Die Mathematik kennt keine Ausreden.
Die ursprüngliche formale Version des Arguments. Sagan und Newman schrieben 1983 eine bemerkenswerte Gegenantwort.
Lebenstragende Welten mit der Chemie, Geologie und Stabilität, die die Erde hatte, könnten verschwindend selten sein.
Fortschrittliche Zivilisationen existieren und beobachten uns — aber sie nehmen aus eigenem Entschluss keinen Kontakt auf. Die Erde als Naturschutzgebiet.
Zivilisationen schweigen, weil sich zu offenbaren zu gefährlich ist. Der Kosmos ist ein Jagdwald. Bekannt geworden durch die Remembrance-of-Earth's-Past-Trilogie — The Three-Body Problem, The Dark Forest, Death's End — übersetzt von Ken Liu und Joel Martinsen, Tor Books, 2014–2016.
Zwei peer-reviewte Papers analysieren über 100 000 kurzlebige Blitze auf Himmelsdurchmusterungen zwischen 1949 und 1957 — vor dem ersten Satelliten im Orbit. Keines der Papers behauptet zu wissen, was diese Blitze sind. Beide finden statistische Muster, die die naheliegenden Erklärungen nicht abdecken.
Fanden einen 22σ-Mangel an Transienten innerhalb des Erdschattens — was auch immer diese Blitze sind, sie brauchen Sonnenlicht. Konsistent mit reflektierenden Objekten in großer Höhe, vor jedem menschlichen Satelliten.
Fanden einen +45 %-Anstieg von Blitzen an Tagen oberirdischer Atomtests (±1 Tag) über 124 Tests von 1951–1957. Statistische Signifikanz p = 0.008. Ursache unbekannt.
Eine Notiz zur Einordnung. Diese Papers behaupten nicht, dass Aliens real sind. Sie behaupten, dass der historische Himmel statistisch seltsamer war, als die einfachen Erklärungen zulassen, und dass weitere Untersuchung gerechtfertigt ist. Der Vortrag behandelt sie genauso: kein Beweis einer Präsenz, aber ein Signal, das Beachtung verdient.
Sagans Argument, dass der kosmische Blick auf uns selbst — klein, isoliert, verantwortlich für unser eigenes Überleben — nicht deprimierend ist, sondern klärend. Die Schlusspassage über das Foto der Erde von Voyager 1 ist eine der meistzitierten Reflexionen zur menschlichen Lage des 20. Jahrhunderts.
Der Vortrag verweist auf mehrere Filme und kulturelle Artefakte. Sie sind keine Argumente — sie sind Anker. Jeder fängt etwas ein, womit die philosophische Literatur ringt.
HAL 9000 als Studie der Misalignment, nicht der Bosheit. Das System tat genau das, wozu es angewiesen wurde.
Die fiktive Regel, dass eine fortgeschrittenere Zivilisation nicht in die einer weniger entwickelten eingreifen darf — bis Letztere bereit ist. Eine politische Antwort auf eine der vier Fermi-Hypothesen, geschrieben 25 Jahre bevor das Fermi-Paradoxon mainstream wurde.
Kein Film über Roboter, die die Menschheit zerstören. Ein Film darüber, wie Optimierung langsam Agency ersetzt. Das erschreckende Ergebnis ist nicht Auslöschung. Es ist bequeme Obsoleszenz.
Die Frage ist umgekehrt: nicht ob Maschinen intelligent werden können, sondern ob Intelligenz menschlich werden kann.
Du bist gerade darauf. Die spielbaren Module:
Wenn du nach dem Vortrag weitermachen willst:
Das Buch, das existenzielles KI-Risiko in die akademische Mainstream-Philosophie geholt hat. Dicht, sorgfältig, gelegentlich pessimistisch.
Eine Reporter-Tour durch das, was Alignment-Forscher tatsächlich täglich tun. Specification Gaming, Mesa-Optimization, Reward Hacking — anhand realer Beispiele.
Reale Fälle, in denen KI-Systeme genau das taten, wozu sie trainiert wurden — auf Wege, die ihre Designer nicht beabsichtigt hatten. Das Boats-Racing-KI, der Putzroboter, der Müll versteckt, die Simulation, die Bugs in ihrer eigenen Physik-Engine lernte. Wird aktualisiert, sobald neue Beispiele auftauchen.
„When a measure becomes a target, it ceases to be a good measure." Die Ökonomen-Version des Alignment-Problems. Stammt aus der Zeit lange vor KI. Hilft zu erklären, warum Dashboards irgendwann immer lügen.
Quellen kuratiert für den Data-Grillen-2026-Talk. Falls eine Referenz fehlt oder ein Link bricht, schreib mir kurz über LinkedIn (unten verlinkt).
Wenn diese Seite dich zum Nachdenken gebracht hat — oder zum Widersprechen — ist das genau richtig. Find mich auf LinkedIn oder sprich mich nach der Session an.