Bostroms Argumente haben teilweise Einfluss gewonnen, weil sie auf aufschlussreiche Weise verwundbar sind. Ihre Kritiker beschweren sich nicht nur darüber, dass die Szenarien dramatisch sind; sie bestreiten die Annahmen, die die Szenarien greifbar machen. Die tiefsten Einwände betreffen Wahrscheinlichkeit, Wert und politische Rahmung, und jeder hat Gewicht. Seine Arbeit hat oft weniger als feststehende Doktrin denn als Provokation gewirkt: eine Reihe von Behauptungen, die genau dort am zerbrechlichsten erscheinen, wo sie am ehrgeizigsten sind.
Die erste Kritik zielt auf das Denken über existenzielle Risiken selbst ab. Skeptiker argumentieren, dass die Fokussierung auf das Aussterben moralische Prioritäten verzerren kann, indem seltene, aber spektakuläre Ereignisse die anhaltenden Schäden von Armut, Krieg und Ungerechtigkeit in den Schatten stellen. Wenn man zu viel über das Ende der Welt spricht, könnte man die Welt, in der wir tatsächlich leben, vernachlässigen. Dieser Einwand ist am stärksten, wenn existenzielle Risiken als Ersatz für gewöhnliche Ethik anstatt als Ergänzung dazu behandelt werden. Bostrom ist am besten, wenn er darauf besteht, dass katastrophale Prävention und gegenwärtiges Wohlergehen keine Feinde sein müssen, aber die Spannung bleibt real. In politischen Kontexten ist die Gefahr nicht nur theoretischer Natur: Agenda-Setting ist eine Form von Macht, und was als "existentiell" bezeichnet wird, kann Budgets, Forschungsförderung und institutionelle Aufmerksamkeit prägen.
Eine zweite Kritik kommt von denen, die denken, Bostrom messe spekulativen Wahrscheinlichkeiten zu viel Gewicht bei. Wie genau sollten wir die Chance auf Superintelligenz, auf eine Simulation oder auf einen irreversiblen Zusammenbruch der Zivilisation schätzen? Die Zahlen sind oft unterbestimmt. Philosophen wie Toby Ord, die im Großen und Ganzen sympathisch sind, versuchen, das Thema in einem vorsichtigeren Register zu systematisieren; andere, darunter viele KI-Forscher, argumentieren, dass Unsicherheit apokalyptische Rhetorik zügeln sollte. Die Sorge ist nicht, dass Risiko imaginär ist, sondern dass die öffentliche Diskussion Lebhaftigkeit mit Beweisen verwechseln kann. Dies ist von Bedeutung, weil die auffälligsten Behauptungen im Umfeld von Bostrom oft in der Sprache des Tail-Risikos formuliert sind, wo das Ereignis mit niedriger Wahrscheinlichkeit nicht nur ein weiterer Punkt in einem Protokoll ist, sondern ein Horizont, der alles andere verschlingen kann.
Das Simulationsargument hat besonders scharfe Kritik auf sich gezogen. David Chalmers hat die Diskussion über Simulationen ernst genug genommen, um ihre philosophischen Implikationen zu entwickeln, aber viele andere wenden ein, dass das Argument von umstrittenen Annahmen über Bewusstsein, Referenzklassen und die Motive fortgeschrittener Zivilisationen abhängt. Selbst wenn Simulationen möglich sind, warum sollte man denken, dass fortgeschrittene Gesellschaften enorme Mengen davon schaffen würden? Und wenn sie es täten, warum sollte man denken, dass wir stabile Wahrscheinlichkeiten dafür zuweisen können, in einer zu sein? Das Argument ist einfallsreich, könnte aber mehr über die Zerbrechlichkeit unserer Konzepte aussagen als über die Ontologie unserer Welt. Seine Kraft liegt in seiner Struktur, nicht in einem feststehenden empirischen Bericht; das ist ein Teil des Grundes, warum es so umstritten bleibt.
Es gibt auch einen metaphysischen Einwand. Einige Philosophen bezweifeln, dass simulierte Geister, selbst wenn sie verhaltensmäßig perfekt sind, tatsächlich Bewusstsein besitzen würden. Wenn das richtig wäre, würde das Simulationsargument einen Teil seiner Kraft verlieren. Doch diese Kritik wirft ihr eigenes Problem auf, da sie das Risiko birgt, eine mysteriöse Grenze zwischen echtem und künstlichem Denken wieder einzuführen, gerade als die Philosophie des Geistes in die entgegengesetzte Richtung tendiert. Bostroms Arbeit zwingt zur Auseinandersetzung mit dem Thema, anstatt es zu klären. Das Ergebnis ist eine eigentümliche Art von philosophischem Druck: Das Argument zwingt einen, zwischen konkurrierenden Intuitionen über Geist, Materie und Wahrscheinlichkeit zu wählen, während es sich weigert, einen endgültigen empirischen Test bereitzustellen.
Die Agenda zur Ausrichtung von KI trifft auf eine andere Art von Skepsis. Kritiker, wie diejenigen aus der Tradition der verkörperten, sozial situierten Intelligenz, argumentieren, dass Intelligenz kein einzelnes skalierbares Merkmal ist, das einfach bis zur Übermenschlichkeit hochskaliert werden kann. Menschliche Kognition sei, so sagen sie, tief in Körpern, Institutionen und Umgebungen eingebettet, und maschinelle Systeme könnten auf Weisen versagen, die Bostroms abstraktere Modelle übersehen. Andere befürchten, dass die Fokussierung auf eine hypothetische Superintelligenz von kurzfristigen Schäden ablenkt, die bereits in Überwachung, Arbeitsverdrängung, Vorurteilen und militärischer Automatisierung sichtbar sind. Dies ist keine abstrakte Sorge. Regulierungsakten, Beschaffungsverträge und interne Risikomemos zeigen bereits, wie maschinelle Systeme von der Labor-Demonstration zur öffentlichen Infrastruktur übergehen können, lange bevor jemand sich einig ist, was "Ausrichtung" bedeuten sollte.
Hier liegt eine auffällige Spannung. Wenn man langfristige Risiken unterschätzt, könnte man schlafwandelnd in eine Katastrophe geraten. Wenn man sie überschätzt, könnte man eine Form technokratischer Eliteverwaltung rechtfertigen, die demokratische Urteile an den Rand drängt. Bostroms Rahmenwerk kann den Eindruck erwecken, genau die Art von Expertenregierung einzuladen, die Kritiker der Risikokultur als besorgniserregend empfinden. Wer entscheidet, welche Zukünfte als existenziell wichtig gelten? Wer legt die Bedingungen für akzeptable Vorsicht fest, wenn Innovation selbst politisch umstritten ist? Diese Fragen sind keine rhetorischen Ausschmückungen; sie tauchen immer wieder auf, wenn Regierungen, Unternehmen und Beratungsgremien versuchen, spekulative Gefahren in Politik zu übersetzen. Im Hintergrund stehen vertraute Institutionen der Aufsicht und Rechenschaftspflicht: Ministerien, parlamentarische Ausschüsse, Normungsorganisationen und Regulierungsbehörden, die möglicherweise aufgefordert werden, zu handeln, bevor die Beweise vollständig erscheinen.
Die stärkste wohlwollende Kritik ist vielleicht, dass Bostroms Perspektive den Pluralismus abflachen kann, indem sie die Zukunft als ein einziges Optimierungsproblem behandelt. Die Menschheitsgeschichte könnte sich dieser Rahmung widersetzen. Einige Werte sind lokal, konfliktbeladen und unreduzierbar politisch. Eine Zivilisation, die überlebt, aber Freiheit, Vielfalt oder Würde verliert, könnte nicht als blühend gelten, selbst wenn sie das Aussterben vermeidet. Bostrom kann dies anerkennen, aber die Struktur seiner Argumente incentiviert manchmal eine engere Betrachtung, als das menschliche Leben verdient. Das Problem ist nicht nur philosophischer Natur. In der administrativen Praxis kann es, sobald eine Risikokategorie formalisiert ist, einfacher werden, messbare Verluste zu zählen als solche, die zivilisatorischer, kultureller oder demokratischer Natur sind.
Zwei konkrete Fälle zeigen den Druck. Eine Regierung baut umfassende Aufsichtsmechanismen für KI und reduziert damit bestimmte technische Risiken, jedoch auf Kosten der Konzentration von Macht in wenigen Institutionen. Oder ein Forschungsfeld wird so alarmiert von Grenzmodellen, dass es nützliche Innovationen verlangsamt, während Black-Box-Systeme anderswo proliferieren. Die Wahl steht nicht zwischen Vorsicht und Leichtsinn; sie steht oft zwischen konkurrierenden Risiken, jedes mit einem moralischen Preis. In solchen Kontexten sind die Details wichtig: welches Büro die Regel entwirft, welcher Ausschuss das Budget genehmigt, welche Modellversionen ausgenommen sind, welcher Prüfpfad erhalten bleibt. Die sichtbare Gefahr könnte nur ein Teil der Geschichte sein; die verborgene Gefahr liegt darin, wie schnell Notfalllogik zur routinemäßigen Governance wird.
Diese Logik ist in der breiteren Geschichte der Regulierung vertraut. Wenn ein Risiko als groß genug erachtet wird, neigen Institutionen dazu, ihren eigenen Ermessensspielraum zu erweitern. Bostroms Kritiker befürchten, dass die Sprache der existenziellen Vorsicht sich somit selbst verstärken kann. Doch auch das gegenteilige Versagen ist im Aufzeichnung sichtbar: Momente, in denen Warnungen verfügbar waren, aber nicht ernst genug genommen wurden, um den Kurs zu ändern. Die Spannung besteht nicht zwischen Gewissheit und Paranoia, sondern zwischen Formen der Vernachlässigung. Was kann rechtzeitig erfasst werden? Was bleibt unsichtbar, bis der Schaden irreversibel ist? Dies sind praktische Fragen, nicht nur konzeptionelle.
Doch die Kritik offenbart auch Bostroms Ernsthaftigkeit. Er bietet keinen Trost. Er bietet eine Herausforderung: Wenn die Zukunft weit und zerbrechlich ist, können wir dann gut genug denken, um sie zu regieren? Die besten Argumente der Kritiker lösen die Herausforderung nicht auf; sie machen sie anspruchsvoller. Wir müssen entscheiden, ob langfristige Verantwortung eine unverzichtbare Erweiterung der Ethik oder eine gefährliche Abstraktion ist, die vor gegenwärtiger Ungerechtigkeit versteckt. Das ist der Grund, warum die Debatte über Disziplinen hinweg anhält, von Philosophie-Seminaren bis hin zu politischen Briefings und technischen Workshops.
Diese Frage, die durch Einwände geschärft wird, sendet Bostroms Werk in seine Nachlebensphase. Selbst wo seine Schlussfolgerungen angezweifelt werden, hat sich der Stil der Untersuchung als schwer zu verdrängen erwiesen.