Les arguments de Bostrom ont été influents en partie parce qu'ils sont vulnérables de manières éclairantes. Leurs critiques ne se contentent pas de se plaindre que les scénarios sont dramatiques ; elles contestent les hypothèses qui rendent les scénarios percutants. Les objections les plus profondes concernent la probabilité, la valeur et le cadre politique, et chacune a sa force. Son travail a souvent circulé moins comme une doctrine établie que comme une provocation : un ensemble d'affirmations qui semblent les plus fragiles précisément là où elles sont les plus ambitieuses.
La première critique cible le raisonnement sur le risque existentiel lui-même. Les sceptiques soutiennent que se concentrer sur l'extinction peut déformer les priorités morales en faisant en sorte que des événements rares mais spectaculaires éclipsent les dommages persistants de la pauvreté, de la guerre et de l'injustice. Si l'on parle trop de la fin du monde, on peut négliger le monde que nous habitons réellement. Cette objection est la plus forte lorsque le risque existentiel est traité comme un substitut à l'éthique ordinaire plutôt que comme un complément. Bostrom est à son meilleur lorsqu'il insiste sur le fait que la prévention des catastrophes et le bien-être présent ne doivent pas être des ennemis, mais la tension demeure réelle. Dans les contextes politiques, le danger n'est pas seulement théorique : la définition de l'agenda est une forme de pouvoir, et ce qui est désigné comme « existentiel » peut façonner les budgets, le financement de la recherche et l'attention institutionnelle.
Une deuxième critique vient de ceux qui pensent que Bostrom accorde trop de poids à la probabilité spéculative. Comment, exactement, devrions-nous estimer la chance d'une superintelligence, ou d'une simulation, ou d'un effondrement civilisationnel irréversible ? Les chiffres sont souvent sous-déterminés. Des philosophes tels que Toby Ord, bien que largement sympathiques, essaient de systématiser la question dans un registre plus prudent ; d'autres, y compris de nombreux chercheurs en IA, soutiennent que l'incertitude devrait tempérer la rhétorique apocalyptique. L'inquiétude n'est pas que le risque soit imaginaire, mais que le discours public puisse confondre vivacité et preuve. Cela importe parce que les affirmations les plus frappantes dans l'orbite de Bostrom sont souvent formulées dans le langage du risque extrême, où l'événement de faible probabilité n'est pas seulement un autre élément dans un bilan, mais un horizon qui peut engloutir tout le reste.
L'argument de la simulation a suscité des critiques particulièrement vives. David Chalmers a pris au sérieux le discours sur la simulation pour développer ses implications philosophiques, mais beaucoup d'autres objectent que l'argument repose sur des hypothèses controversées concernant la conscience, les classes de référence et les motivations des civilisations avancées. Même si les simulations sont possibles, pourquoi penser que les sociétés avancées en créeraient un nombre énorme ? Et si elles le faisaient, pourquoi penser que nous pouvons attribuer des probabilités stables à notre présence dans l'une d'elles ? L'argument est ingénieux, mais il pourrait prouver davantage sur la fragilité de nos concepts que sur l'ontologie de notre monde. Sa force réside dans sa structure, et non dans un rapport empirique établi ; c'est en partie pourquoi il reste si contesté.
Il existe également une objection métaphysique. Certains philosophes doutent que les esprits simulés, même s'ils sont comportementalement parfaits, possèdent réellement une conscience. Si cela était vrai, alors l'argument de la simulation perdrait une partie de sa force. Pourtant, cette critique soulève sa propre difficulté, car elle risque de réintroduire une frontière mystérieuse entre la mentalité authentique et artificielle juste au moment où la philosophie de l'esprit se déplace dans la direction opposée. Le travail de Bostrom force la question plutôt que de la résoudre. Le résultat est une sorte de pression philosophique particulière : l'argument oblige à choisir entre des intuitions concurrentes sur l'esprit, la matière et la probabilité, tout en refusant de fournir un test empirique final.
L'agenda d'alignement de l'IA rencontre un type différent de scepticisme. Des critiques, comme celles issues de la tradition de l'intelligence incarnée et socialement située, soutiennent que l'intelligence n'est pas une propriété scalaire unique qui peut simplement être amplifiée jusqu'à devenir surhumaine. La cognition humaine, disent-ils, est profondément ancrée dans des corps, des institutions et des environnements, et les systèmes machine peuvent échouer de manières que les modèles plus abstraits de Bostrom ne saisissent pas. D'autres s'inquiètent que se concentrer sur une superintelligence hypothétique détourne l'attention des dommages à court terme déjà visibles dans la surveillance, le déplacement des travailleurs, le biais et l'automatisation militaire. Ce n'est pas une préoccupation abstraite. Les dossiers réglementaires, les contrats d'approvisionnement et les mémos internes sur les risques révèlent déjà comment les systèmes machine peuvent passer de la démonstration en laboratoire à l'infrastructure publique bien avant que quiconque ne s'accorde sur ce que « l'alignement » devrait signifier.
Une tension frappante se dessine ici. Si l'on sous-estime les risques à long terme, on peut s'endormir dans la catastrophe. Si l'on les surestime, on peut justifier une forme de gestion technocratique élitiste qui écarte le jugement démocratique. Le cadre de Bostrom peut sembler inviter précisément le type de gouvernance experte que les critiques de la culture du risque trouvent préoccupante. Qui décide quels futurs comptent comme existentialement importants ? Qui fixe les termes de la prudence acceptable lorsque l'innovation elle-même est politiquement contestée ? Ces questions ne sont pas des ornements rhétoriques ; elles se posent chaque fois que des gouvernements, des entreprises et des organes consultatifs tentent de traduire un danger spéculatif en politique. En arrière-plan se trouvent des institutions familières de surveillance et de responsabilité : ministères, comités parlementaires, organismes de normalisation et agences de réglementation qui peuvent être appelés à agir avant que les preuves ne semblent complètes.
La critique charitable la plus forte, peut-être, est que la perspective de Bostrom peut aplatir le pluralisme en traitant l'avenir comme un problème d'optimisation unique. L'histoire humaine peut résister à ce cadre. Certaines valeurs sont locales, conflictuelles et irréductiblement politiques. Une civilisation qui survit mais perd sa liberté, sa diversité ou sa dignité peut ne pas être considérée comme prospère même si elle évite l'extinction. Bostrom peut reconnaître cela, mais la structure de ses arguments incite parfois à un comptage plus étroit que la vie humaine ne le mérite. La question n'est pas seulement philosophique. Dans la pratique administrative, une fois qu'une catégorie de risque est formalisée, il peut devenir plus facile de compter les pertes mesurables que celles qui sont civilisationnelles, culturelles ou démocratiques.
Deux cas concrets montrent la pression. Un gouvernement construit des mécanismes de surveillance de l'IA à grande échelle et réduit ainsi certains risques techniques, mais au prix de la concentration du pouvoir dans quelques institutions. Ou un domaine de recherche devient si alarmé par des modèles de pointe qu'il ralentit l'innovation utile tandis que les systèmes en boîte noire prolifèrent ailleurs. Le choix n'est pas entre prudence et imprudence ; il est souvent entre des risques concurrents, chacun ayant un prix moral. Dans de tels contextes, les détails comptent : quel bureau rédige la règle, quel comité approuve le budget, quelles versions de modèle sont exemptées, quelle piste d'audit est préservée. Le danger visible peut n'être qu'une partie de l'histoire ; le danger caché réside dans la rapidité avec laquelle la logique d'urgence devient une gouvernance de routine.
Cette logique est familière dans l'histoire plus large de la réglementation. Lorsqu'un risque est jugé suffisamment important, les institutions tendent à élargir leur propre discrétion. Les critiques de Bostrom craignent que le langage de la prudence existentielle puisse ainsi devenir auto-renforçant. Pourtant, l'échec opposé est également visible dans les archives : des moments où des avertissements étaient disponibles, mais pas pris suffisamment au sérieux pour modifier le cap. La tension n'est pas entre certitude et paranoïa, mais entre des formes de négligence. Qu'est-ce qui peut être attrapé à temps ? Qu'est-ce qui reste invisible jusqu'à ce que les dommages soient irréversibles ? Ce sont des questions pratiques, pas seulement conceptuelles.
Pourtant, la critique révèle également le sérieux de Bostrom. Il n'offre pas de réconfort. Il propose un défi : si l'avenir est vaste et fragile, pouvons-nous penser suffisamment bien pour le gouverner ? Les meilleurs arguments des critiques ne dissolvent pas le défi ; ils le rendent plus exigeant. Nous devons décider si la responsabilité à long terme est un élargissement indispensable de l'éthique ou une abstraction dangereuse qui se cache derrière l'injustice présente. C'est pourquoi le débat persiste à travers les disciplines, des séminaires de philosophie aux briefings politiques et aux ateliers techniques.
Cette question, aiguisée par les objections, envoie le travail de Bostrom dans son après-vie. Même là où ses conclusions sont mises en doute, le style de l'enquête s'est avéré difficile à déloger.