La critica più forte all'ipotesi della simulazione non è che sia sciocca, ma che possa essere troppo indeterminata per guadagnarsi la fiducia che la formulazione di Bostrom invita a riporre. Il calcolo della probabilità dell'argomento dipende da assunzioni riguardanti la tecnologia futura, i motivi degli esseri postumani e la giusta classe di riferimento per gli osservatori auto-localizzanti. Ognuna di queste assunzioni è contestabile. Rimuovendo un numero sufficiente di esse, la conclusione diventa meno un risultato probabilistico e più una previsione speculativa.
Una linea di critica sfida l'asimmetria tra possibilità e probabilità. Una civiltà potrebbe essere in grado di eseguire simulazioni eppure non avere motivo di farlo in quantità massicce. Potrebbe valorizzare l'autenticità, la privacy, la moderazione ecologica o forme di trascendenza incompatibili con la coltivazione degli antenati. Anche se si immagina una specie postumana fiorente, non si può inferire senza ulteriori argomentazioni che sarebbe interessata a popolare moltitudini di mondi digitali coscienti. L'ipotesi suona spesso potente perché comprime "potrebbe" in "probabilmente lo farà". I critici obiettano che questa non è una compressione innocente.
Una seconda critica proviene dalla filosofia della mente. Supponiamo che un computer replichi esattamente l'organizzazione causale di un cervello umano. Ciò garantisce la coscienza? Alcuni funzionalisti dicono di sì o quasi di sì. Altri negano che la computazione formale da sola sia sufficiente. Le teorie biologiche della mente insistono sul fatto che il giusto substrato fisico potrebbe essere importante. Secondo queste visioni, l'ipotesi della simulazione potrebbe al massimo produrre duplicati comportamentali, non soggetti esperienti genuini. Se così fosse, la popolazione di "osservatori" simulati potrebbe essere una popolazione solo in apparenza, e il motore probabilistico dell'argomento si inceppa.
Un'illustrazione vivida chiarisce il punto. Un motore di scacchi può produrre giocate brillanti senza comprendere il gioco nel senso umano. Una tempesta simulata può modellare il movimento delle nuvole senza bagnare nessuno. I critici chiedono se la vita cosciente sia più simile all'abilità negli scacchi o più simile all'umidità. Se quest'ultima, allora una descrizione digitale potrebbe non catturare affatto il fenomeno. Non si tratta di una mera questione semantica. Colpisce il presupposto che potrebbero esserci molte menti simulate numericamente distinte le cui esperienze contano nel modo pertinente.
L'argomento probabilistico auto-localizzante affronta un'altra tensione: il problema della classe di riferimento. Quando Bostrom afferma che è probabile che siamo simulati se gli osservatori simulati superano di gran lunga quelli reali, deve identificare quali osservatori contano come comparatori rilevanti. Ci confrontiamo con tutti gli osservatori simili agli esseri umani, tutti gli esseri coscienti, tutti gli esseri con i nostri ricordi, o tutte le entità con le nostre attuali evidenze? Scelte diverse producono probabilità diverse. Questo è il tipo di questione che può far vacillare un argomento apparentemente nitido. Il risultato può dipendere meno dalla realtà che da come si partiziona la realtà.
C'è anche un'obiezione filosofica più profonda: l'ipotesi potrebbe essere infalsificabile in un modo che la priva di potere esplicativo. Se qualsiasi evidenza per una simulazione può essa stessa essere simulata, allora la teoria minaccia di assorbire ogni possibile osservazione. Alcuni difensori abbracciano questa conseguenza e affermano che l'ipotesi è un'inferenza metafisica piuttosto che scientifica. I critici rispondono che un'affermazione che spiega ogni possibile osservazione potrebbe finire per non spiegare nulla. Una teoria che non può essere differenziata dall'esperienza rischia di diventare una sofisticata riformulazione dell'ignoranza.
Eppure, le obiezioni più interessanti non sono di tipo denigratorio. Esse spingono l'idea a rivelare i suoi costi. Ad esempio, se il nostro mondo è simulato, quale diventa lo status delle leggi naturali? Sono leggi genuine, o semplicemente regole del software? Se sono regole, allora la necessità fisica potrebbe essere declassata in regolarità ingegnerizzata. Questo è un cambiamento sorprendente, perché può far sembrare l'universo meno fondamentale proprio quando diventa più intelligibile. Il successo stesso dell'esplicazione potrebbe implicare una retrocessione.
Un'altra tensione appare nell'immagine morale dei simulatori. Se esistono, sono abbastanza potenti da creare sofferenza su larga scala. Ciò li rende crudeli? Non necessariamente. Un biologo può studiare gli insetti senza malizia. Ma l'analogia funziona in entrambi i sensi: se i simulatori possono intervenire e non lo fanno, allora il silenzio del sistema diventa carico di significato etico. L'ipotesi riporta, in abiti computazionali, il vecchio problema della governance nascosta. Perché il mondo è com'è, e cosa dice la sua struttura sugli esseri superiori, se tali esseri esistono?
Alcuni critici, tra cui filosofi della fisica, hanno anche sostenuto che l'universo potrebbe non essere simulabile computazionalmente in alcun senso diretto. La teoria dei campi quantistici, la dinamica caotica e la pura ricchezza informativa della realtà potrebbero sconfiggere qualsiasi macchina finita che cerca di riprodurla con piena fedeltà. I sostenitori rispondono con compressione, approssimazione e rendering selettivo; i critici rispondono che tali risposte possono scivolare tra simulazione e semplice modellazione. Il dibattito non è banale. Si chiede se "simulazione" nomini una relazione metafisica o solo un risultato pratico di ingegneria.
Le obiezioni non distruggono l'ipotesi tanto quanto drenano la facile fiducia che la circonda. L'argomento sopravvive meglio quando viene formulato modestamente: se certe assunzioni ambiziose sono valide, allora dovremmo assegnare una probabilità non banale all'essere simulati. Questo è ben lontano dalla prova. Tuttavia, la resilienza dell'idea è sorprendente. Anche quando i critici espongono i suoi punti deboli, l'immagine continua a tornare perché organizza dubbi familiari in una forma che la tecnologia moderna rende nuovamente plausibile. Messa alla prova nel fuoco, emerge non convalidata, ma impossibile da ignorare.
Quella persistenza è ciò che conferisce all'ipotesi della simulazione la sua vita dopo la morte. Il capitolo finale non è quindi un verdetto, ma una storia di echi: come una scommessa filosofica è diventata un oggetto culturale e perché la questione continua a perseguitare le discussioni sulla realtà, sull'IA e sul nostro stesso futuro tecnologico.