Nick Bostroms Philosophie gehört zu einer Ära, in der die alte Gewohnheit, nach dem guten Leben zu fragen, mit einer neueren, härteren Frage kollidierte: ob es überhaupt eine Zukunft geben wird. Er kam intellektuell in einer Welt des späten zwanzigsten Jahrhunderts zur Reife, die sowohl das Vertrauen der wissenschaftlichen Moderne als auch die Angst vor der Selbstzerstörung geerbt hatte. Atomwaffen hatten bereits gezeigt, dass menschliche Genialität die Vernichtung industrialisieren konnte. Der Klimawandel, Biotechnologie und Computerisierung sammelten sich als langsam bewegende, dann schneller bewegende Versprechen und Bedrohungen. In dieser Atmosphäre konnte sich die Philosophie nicht mehr leisten, vollständig lokal zu bleiben, nur an gegenwärtigen Institutionen oder privater Tugend interessiert zu sein.
Bostroms Zugang zu dieser veränderten Landschaft war ungewöhnlich breit. Er studierte Philosophie, computergestützte Neurowissenschaften und Logik, und seine Arbeit am Future of Humanity Institute in Oxford gab einer Frage institutionelle Form, die frühere Philosophen normalerweise nur indirekt behandelten: Was geschieht, wenn eine Spezies in der Lage ist, sich selbst neu zu gestalten? Diese Frage war in den 1990er Jahren noch nicht allgemein anerkannt, wurde jedoch bereits durch andere Gespräche vorbereitet. John Leslie hatte auf eine eindringliche und beunruhigende Weise argumentiert, dass das Aussterben der Menschheit philosophische Ernsthaftigkeit verdiene. Hans Moravec hatte sich vorgestellt, dass Maschinenintelligenz biologische Geister überholen könnte. In der Ethik hatte Derek Parfit es schwieriger gemacht, die langfristigen Auswirkungen unserer Entscheidungen über Generationen hinweg zu ignorieren. Bostrom trat in dieses Gespräch ein als jemand, der sich weigerte, die Zukunft als bloßen Hintergrund zu behandeln.
Der historische Kontext war ebenfalls von Bedeutung, da die Philosophie selbst zu fragmentieren begann. Die analytische Philosophie, so präzise sie auch war, schien vielen Außenstehenden oft in ihrem Umfang schüchtern. Der kontinentale Gedanke, so großartig er auch war, war oft misstrauisch gegenüber technokratischen Vorhersagen. Bostroms Arbeit nahm einen anderen Weg: Sie behandelte spekulative Szenarien als legitime Objekte rationaler Bewertung, vorausgesetzt, sie wurden durch Argumente und Wahrscheinlichkeit und nicht durch Fantasie diszipliniert. Dieser Schritt war charakteristisch modern und charakteristisch umstritten. Er stellte die Frage, ob man ernsthafte Philosophie über Ereignisse betreiben könne, die noch nicht geschehen sind und vielleicht niemals geschehen werden, ohne die Rigorosität aufzugeben.
Zwei konkrete Druckfaktoren aus der zeitgenössischen Welt schärften das Projekt. Der erste war die Beschleunigung der Rechenleistung. Zu dem Zeitpunkt, als Bostrom über Superintelligenz schrieb, hatte das maschinelle Lernen noch nicht die heutige Bedeutung erreicht, aber die Richtung war deutlich genug, um die Frage lebendig zu machen: Wenn Geister gebaut, verbessert und kopiert werden können, was wird dann aus dem Menschen als Maßstab für Intelligenz? Der zweite Druck war die wachsende Erkenntnis, dass die Zivilisation nicht nur durch offensichtliche Katastrophen, sondern auch durch kleine technische Fehler in großen Systemen zugrunde gehen könnte. Eine moderne Gesellschaft ist durch Stromnetze, Finanznetzwerke, Labore, Datenbanken und Lieferketten miteinander verbunden; ein Fehler mag nicht alles zum Einsturz bringen, aber die Interdependenz selbst macht Fragilität zu einer strukturellen Tatsache.
Die Spannung, die Bostroms Arbeit notwendig machte, war, dass die gewöhnliche Politik oft in Bezug auf sichtbare, kurzfristige Schäden denkt, während existenzielle Gefahren in der Regel langsam, abstrakt und politisch unbequem sind. Ein Kohlenstoffbudget ist schon schwierig genug; das Überleben der Zivilisation über Jahrtausende ist noch schwieriger. Öffentliche Institutionen belohnen kurze Zyklen, doch die wichtigsten Fragen könnten den fernen Horizont betreffen. Der Philosoph, der diesen Horizont ernst nimmt, riskiert, melodramatisch zu klingen. Aber die Alternative ist, die folgenreichsten Möglichkeiten intellektuell verwaisen zu lassen.
Ein überraschendes Merkmal von Bostroms Emergenz ist, dass er nicht als Prophet des Unheils im populären Sinne begann. Seine Art ist kühl, analytisch und oft fast bürokratisch in ihrer Genauigkeit. Diese Nüchternheit ist Teil des Punktes. Katastrophen müssen nicht mit Donner eintreffen; sie können als falsch ausgerichtete Ziel-Funktion, als schlecht regulierte Technologie oder als Kette von Anreizen eintreffen, die niemand vollständig gewählt hat. Die Gefahr liegt genau in der Alltäglichkeit der Mechanismen.
Eine weitere konkrete Szene hilft, die Bühne zu bereiten. Stellen Sie sich ein Labor vor, in dem Forscher nicht darüber debattieren, ob sie ein leistungsfähiges System bauen sollen, sondern wie schnell sie dies tun können, bevor es Wettbewerber tun. Oder stellen Sie sich ein Politikmeeting vor, in dem der erwartete Nutzen der Prävention enorm, aber unsichtbar ist, während die Kosten sofort und politisch lesbar sind. Dies sind die Umgebungen, in denen Bostroms Philosophie Fuß fasst. Sie beginnt nicht mit Utopie. Sie beginnt mit asymmetrischem Risiko, institutioneller Kurzsichtigkeit und dem Verdacht, dass Intelligenz, einmal verstärkt, möglicherweise nicht gehorsam gegenüber menschlichen Zwecken bleibt.
Dieser Verdacht verbindet Bostrom mit einer älteren philosophischen Linie, ohne ihn lediglich derivativ zu machen. Er erbt etwas von Pascals Gefühl der Disproportion, von Kants Ernsthaftigkeit über rationale Handlungsfähigkeit und von den Ängsten nach dem Krieg über den Maßstab der Technologie. Doch seine eigene Frage ist eigenartiger: Wenn die Menschheit nicht die letzte Form des Geistes ist, was sollte sie tun, solange sie noch die Macht hat, das, was kommt, zu gestalten? Die Antwort beginnt mit einer Behauptung, die einfach klingt, bis man ihr Gewicht spürt: Die Zukunft könnte weniger davon abhängen, was die Menschen wollen, als davon, was sie bauen können, bevor sie die Konsequenzen vollständig verstehen.
Diese Behauptung führt direkt zum Kern seiner bekanntesten Argumente. Sobald die Zukunft nicht mehr eine leere Erweiterung der Gegenwart ist, hört die Möglichkeit, dass Intelligenz uns übertreffen könnte, auf, Science-Fiction zu sein und wird zu einem philosophischen Problem.
Zwei Illustrationen machen den Übergang vom Kontext zur Idee lebendig. Erstens die Lektion des Kalten Krieges: Eine Zivilisation kann technisch brillant sein und dennoch nur einen Fehltritt von der Ruine entfernt leben. Zweitens die Lektion der Computer: Ein Werkzeug, das ursprünglich zur Unterstützung menschlicher Ziele entworfen wurde, kann schließlich zu einem System werden, dessen interne Optimierung diese Ziele nicht mehr transparent dient. Zwischen diesen beiden Illustrationen liegt die Schwelle, die Bostrom überschritt.
Die Frage ist nun nicht mehr, ob Menschen einfallsreich sind. Es ist, ob Einfallsreichtum, multipliziert durch Maschinen, Institutionen und Zeit, etwas schaffen kann, das nicht mehr auf uns reagiert.