Wie wahrscheinlich ist die KI-Apokalypse?

Eine Zahl, die alles und nichts sagt

Stellen Sie sich vor, Sie fragen die Menschen, die eine Technologie bauen, wie hoch die Wahrscheinlichkeit ist, dass genau diese Technologie die Menschheit auslöscht. In den meisten Branchen wäre die Antwort ein empörtes „Null". In der KI-Branche bekommen Sie Zahlen wie 10 %, 25 % — oder 90 %.

Diese Zahl hat sogar einen Namen: p(doom), kurz für „probability of doom". Sie beschreibt die subjektiv geschätzte Wahrscheinlichkeit, dass fortgeschrittene Künstliche Intelligenz zu existenziell katastrophalen Folgen führt — von der Auslöschung der Menschheit über deren dauerhafte Entmachtung bis zum Zivilisationskollaps. Was als Insider-Kürzel in Forenkreisen begann, wurde 2023 nach dem Erscheinen von GPT-4 zum festen Begriff der öffentlichen Debatte.

Das Faszinierende daran: Es gibt keinen Konsens. Nicht annähernd.

Eine Spannweite von fast 0 bis fast 100 %

Die Skeptiker halten das Risiko für vernachlässigbar. Yann LeCun, lange Chef-KI-Wissenschaftler bei Meta, beziffert es auf unter 0,01 % — seiner Einschätzung nach unwahrscheinlicher als ein tödlicher Asteroideneinschlag. Investor Marc Andreessen liegt nahe null.

Die Mitte wird vor allem von breit angelegten Umfragen markiert. In der bislang größten Erhebung von AI Impacts (2023) antworteten 2.778 KI-Forschende: Der Median lag bei 5 %, der Mittelwert bei rund 14 %. Professionelle Prognostiker („Superforecaster") kamen in einer separaten Studie sogar nur auf 0,38 % für eine KI-bedingte Auslöschung; befragte Fachexperten lagen bei etwa 3 %. Die Prognoseplattform Metaculus verortet das gesamte Auslöschungsrisiko bis 2100 bei rund 9 %, davon den Löwenanteil durch KI.

Die Mahner sehen es deutlich düsterer. Eliezer Yudkowsky vom Machine Intelligence Research Institute nennt über 95 %, der Forscher Roman Yampolskiy sogar 99,99 %. Auch ernstzunehmende Stimmen aus dem Mainstream der Forschung liegen hoch: Daniel Kokotajlo (ehem. OpenAI) bei 70–80 %, der MIT-Physiker Max Tegmark bei über 90 %.

Das eigentlich Ungewöhnliche: Die Bauherren warnen selbst

Was diese Debatte von vielen anderen Technologie-Diskussionen unterscheidet, ist die Herkunft der Warnungen. Es sind nicht nur externe Kritiker — es sind die Hersteller selbst.

Anthropic-CEO Dario Amodei bezifferte das Risiko zuletzt auf 25 %, dass es „richtig, richtig schlecht" läuft — und baut trotzdem weiter an immer leistungsfähigeren Modellen. Elon Musk nennt 10–20 %. Google-Chef Sundar Pichai gibt sich optimistisch, räumt aber ein, das zugrundeliegende Risiko sei „ziemlich hoch". Demis Hassabis und Sam Altman vermeiden konkrete Zahlen, bestätigen aber ein reales, nicht-vernachlässigbares Risiko.

Anders gesagt: Die Anbieter der vielleicht wichtigsten Technologie unserer Zeit haben die Risikohinweise gleich selbst mitgeliefert. Das hat es in dieser Form bei kaum einer anderen Branche gegeben.

Ein Blick auf die Rollen deutet eine interessante Tendenz an — die man aber vorsichtig lesen muss: In dieser Sammlung liegen die Hersteller im Schnitt niedriger als die unabhängige Forschung (Ø ~17 % gegenüber ~49 %), die professionellen Prognostiker am niedrigsten (Median ~5,5 %). Das ist allerdings kein belastbarer Gruppenvergleich: Die Gruppen sind klein und ungleich groß, Personen mit mehreren Aussagen zählen mehrfach, und die Prognostiker beantworteten teils eine enger gefasste Frage (Auslöschung bis 2100). Als Hypothese bleibt aber stehen: Wer baut, klingt nicht alarmierter als der Rest — eher im Gegenteil.

Menschen ändern ihre Meinung

Diese Zahlen sind keine Naturkonstanten — sie verschieben sich, manchmal erheblich.

Das wohl prominenteste Beispiel ist Geoffrey Hinton, einer der „Paten der KI". Als er 2023 Google verließ, nannte er rund 10 %. Mitte 2024 sprach er von einer „50-50-Chance", dass KI die Menschheit überflügelt. Ende 2024 nannte er, gesamtheitlich betrachtet, wieder 10–20 %. Dan Hendrycks, Direktor des Center for AI Safety, korrigierte seine Einschätzung innerhalb eines Jahres von etwa 20 % auf über 80 % nach oben.

Solche Sprünge sind keine Schwäche der Methode — sie zeigen, wie schnell neue Modellgenerationen die Erwartungen von Fachleuten verändern. Genau das macht die zweite Grafik sichtbar: Sie trägt jede Schätzung als Punkt über ihr Jahr auf — fahr mit der Maus über einen Punkt, um zu sehen, wer wann was geschätzt hat. Und mit dem Regler darunter trägst du deine eigene Schätzung als Linie ein.

Wie man diese Zahlen lesen sollte

Vorab das Wichtigste: Diese Seite zeigt, was prominente Stimmen sagen — nicht, wie hoch das Risiko tatsächlich ist. Entsprechend gehören ein paar Einschränkungen dazu, sonst vergleicht man Äpfel mit Birnen:

• Selektionsverzerrung. Erfasst ist nur, wer öffentlich eine Zahl nennt — eine selbstselektierte Gruppe rund um die KI-Sicherheits-Debatte. Viele Forschende, die das Risiko für ~0 halten, nennen schlicht keine p(doom) und fehlen hier. „Kaum jemand sagt null" gilt also für diese Sammlung, nicht zwingend für alle Fachleute.
• Ungleiche Evidenzklassen. Eine kalibrierte Umfrage unter 2.778 Forschenden zählt hier genauso „eins" wie ein einzelner Tweet — Häufigkeiten und Mittelwerte über so verschiedene Quellen sind mit Vorsicht zu genießen.
• Mehrfachnennungen & Näherung. Personen mit mehreren Aussagen (z. B. Hinton, viermal) erscheinen mehrfach und wiegen schwerer; Spannen wie „10–90 %" werden auf den Mittelpunkt (50 %) verkürzt — beides verzerrt die Verteilung.
• Keine einheitliche Definition. Mal ist „doom" die Auslöschung, mal eine feindliche Machtübernahme, mal nur „sehr großer Schaden".
• Unterschiedliche Zeithorizonte. Manche meinen „in den nächsten 30 Jahren", andere „bis zum Jahr 2100".
• Bedingt vs. unbedingt. Einige Werte gelten nur unter der Annahme, dass überhaupt eine allgemeine KI (AGI) entsteht.
• Subjektivität. Es sind Einschätzungen, keine berechneten Frequenzen — schließlich gibt es keine historischen Daten zu ausgelöschten Zivilisationen.

Fazit

Die ehrlichste Antwort auf die Frage „Wie wahrscheinlich ist die KI-Katastrophe?" lautet derzeit: Niemand weiß es genau. Und unter denen, die sich öffentlich festlegen, hält kaum jemand die Wahrscheinlichkeit für null — wobei man die Selektion mitdenken muss: Wer das Thema für irrelevant hält, nennt selten eine Zahl. Statt auf die „richtige" Prozentzahl zu warten, lohnt es sich, die Debatte darüber ernst zu nehmen, wie wir dieses Risiko klein halten. Dass selbst die optimistischen 5 % aus den großen Umfragen kein achselzuckend hinzunehmender Wert wären, ist dabei eine Wertung — keine aus den Daten ableitbare Tatsache.

Die Rangliste · 63 Schätzungen

Alle dokumentierten Werte, sortiert von hoch nach niedrig. Die Näherung in Prozent dient nur der Sortierung — bei Spannen ist es der Mittelwert, qualitative Aussagen („>0 %") bleiben ohne Zahl.