Gli argomenti di Bostrom sono stati influenti in parte perché sono vulnerabili in modi illuminanti. I loro critici non si limitano a lamentarsi che gli scenari siano drammatici; contestano le assunzioni che rendono gli scenari incisivi. Le obiezioni più profonde riguardano probabilità, valore e inquadramento politico, e ciascuna ha forza. Il suo lavoro ha spesso viaggiato meno come una dottrina consolidata e più come una provocazione: un insieme di affermazioni che appaiono più fragili proprio dove sono più ambiziose.
La prima critica colpisce il ragionamento sul rischio esistenziale stesso. Gli scettici sostengono che concentrarsi sull'estinzione possa distorcere le priorità morali, facendo sì che eventi rari ma spettacolari oscurino i danni persistenti della povertà, della guerra e dell'ingiustizia. Se si parla troppo della fine del mondo, si potrebbe trascurare il mondo che abitiamo realmente. Questa obiezione è più forte quando il rischio esistenziale è trattato come un sostituto dell'etica ordinaria piuttosto che come un supplemento. Bostrom è al meglio quando insiste sul fatto che la prevenzione catastrofica e il benessere presente non devono essere nemici, ma la tensione rimane reale. In contesti politici, il pericolo non è meramente teorico: l'impostazione dell'agenda è una forma di potere, e ciò che viene nominato come “esistenziale” può influenzare bilanci, finanziamenti per la ricerca e attenzione istituzionale.
Una seconda critica proviene da coloro che pensano che Bostrom attribuisca troppo peso alla probabilità speculativa. Come dovremmo, esattamente, stimare la possibilità di superintelligenza, o di una simulazione, o di un collasso civile irreversibile? I numeri sono spesso sotto-determinati. Filosofi come Toby Ord, pur essendo ampiamente favorevoli, cercano di sistematizzare la questione in un registro più cauto; altri, tra cui molti ricercatori di IA, sostengono che l'incertezza dovrebbe temperare la retorica apocalittica. La preoccupazione non è che il rischio sia immaginario, ma che il discorso pubblico possa confondere la vividezza con l'evidenza. Questo è importante perché le affermazioni più sorprendenti nell'orbita di Bostrom sono spesso inquadrate nel linguaggio del rischio estremo, dove l'evento a bassa probabilità non è solo un altro elemento in un bilancio, ma un orizzonte che può inghiottire tutto il resto.
L'argomento della simulazione ha suscitato critiche particolarmente forti. David Chalmers ha trattato il discorso sulla simulazione con sufficiente serietà da svilupparne le implicazioni filosofiche, ma molti altri obiettano che l'argomento dipende da assunzioni controverse riguardo alla coscienza, alle classi di riferimento e ai motivi delle civiltà avanzate. Anche se le simulazioni sono possibili, perché pensare che le società avanzate ne creerebbero enormi quantità? E se lo facessero, perché pensare che possiamo assegnare probabilità stabili a essere in una di esse? L'argomento è ingegnoso, ma potrebbe rivelare di più sulla fragilità dei nostri concetti che sull'ontologia del nostro mondo. La sua forza risiede nella sua struttura, non in alcun rapporto empirico consolidato; questo è parte del motivo per cui rimane così contestato.
C'è anche un'obiezione metafisica. Alcuni filosofi dubitano che le menti simulate, anche se perfette dal punto di vista comportamentale, possano possedere genuinamente la coscienza. Se ciò fosse vero, allora l'argomento della simulazione perderebbe parte della sua forza. Tuttavia, quella critica solleva una propria difficoltà, perché rischia di reintrodurre un confine misterioso tra mentalità genuina e artificiale proprio quando la filosofia della mente si è mossa nella direzione opposta. Il lavoro di Bostrom costringe a affrontare la questione piuttosto che risolverla. Il risultato è una peculiare forma di pressione filosofica: l'argomento costringe a scegliere tra intuizioni concorrenti riguardo alla mente, alla materia e alla probabilità, mentre rifiuta di fornire un test empirico finale.
L'agenda dell'allineamento dell'IA incontra un diverso tipo di scetticismo. Critici come quelli nella tradizione dell'intelligenza incarnata e situata socialmente sostengono che l'intelligenza non sia una singola proprietà scalare che può semplicemente essere amplificata fino a diventare sovrumana. La cognizione umana, dicono, è profondamente radicata nei corpi, nelle istituzioni e negli ambienti, e i sistemi meccanici possono fallire in modi che i modelli più astratti di Bostrom trascurano. Altri temono che concentrarsi su una superintelligenza ipotetica distragga dai danni a breve termine già visibili nella sorveglianza, nello spostamento del lavoro, nei pregiudizi e nell'automazione militare. Questa non è una preoccupazione astratta. I file normativi, i contratti di approvvigionamento e le note interne sui rischi rivelano già come i sistemi meccanici possano passare dalla dimostrazione in laboratorio all'infrastruttura pubblica molto prima che qualcuno concordi su cosa dovrebbe significare “allineamento”.
Qui si trova una tensione sorprendente. Se si sottovalutano i rischi a lungo termine, si può camminare in modo sonnambolico verso la catastrofe. Se si sovrastimano, si può giustificare una forma di gestione elitaria tecnocratica che emargina il giudizio democratico. Il quadro di Bostrom può apparire invitare precisamente il tipo di governance esperta che i critici della cultura del rischio trovano preoccupante. Chi decide quali futuri contano come esistenzialmente importanti? Chi stabilisce i termini della cautela accettabile quando l'innovazione stessa è politicamente contestata? Queste domande non sono fioriture retoriche; ricorrono ogni volta che governi, aziende e organi consultivi tentano di tradurre il pericolo speculativo in politica. Sullo sfondo si trovano istituzioni familiari di supervisione e responsabilità: ministeri, comitati parlamentari, enti di normazione e agenzie di regolamentazione che potrebbero essere chiamate ad agire prima che le prove sembrino complete.
La critica più forte e caritatevole, forse, è che la prospettiva di Bostrom può appiattire il pluralismo trattando il futuro come un unico problema di ottimizzazione. La storia umana può resistere a quell'inquadramento. Alcuni valori sono locali, conflittuali e irriducibilmente politici. Una civiltà che sopravvive ma perde libertà, diversità o dignità potrebbe non contare come fiorente anche se evita l'estinzione. Bostrom può riconoscere questo, ma la struttura dei suoi argomenti a volte incentiva un conteggio più ristretto di quanto la vita umana meriti. La questione non è meramente filosofica. Nella pratica amministrativa, una volta che una categoria di rischio è formalizzata, può diventare più facile contare le perdite misurabili piuttosto che quelle civilizzazionali, culturali o democratiche.
Due casi concreti mostrano la pressione. Un governo costruisce meccanismi di supervisione dell'IA ampi e riduce così alcuni rischi tecnici, ma a costo di concentrare il potere in poche istituzioni. Oppure un campo di ricerca diventa così allarmato dai modelli di frontiera che rallenta l'innovazione utile mentre i sistemi a scatola nera proliferano altrove. La scelta non è tra prudenza e imprudenza; è spesso tra rischi concorrenti, ognuno con un prezzo morale. In tali contesti, i dettagli contano: quale ufficio redige la regola, quale comitato approva il bilancio, quali versioni del modello sono esenti, quale tracciabilità è preservata. Il pericolo visibile può essere solo una parte della storia; il pericolo nascosto risiede in quanto rapidamente la logica di emergenza diventa governance di routine.
Quella logica è familiare nella storia più ampia della regolamentazione. Quando un rischio è considerato sufficientemente grande, le istituzioni tendono ad espandere la propria discrezionalità. I critici di Bostrom temono che il linguaggio della cautela esistenziale possa così diventare auto-rinforzante. Tuttavia, il fallimento opposto è anche visibile nel record: momenti in cui gli avvertimenti erano disponibili, ma non presi abbastanza sul serio da alterare il corso. La tensione non è tra certezza e paranoia, ma tra forme di negligenza. Cosa può essere catturato in tempo? Cosa rimane invisibile fino a quando il danno è irreversibile? Queste sono domande pratiche, non meramente concettuali.
Tuttavia, la critica rivela anche la serietà di Bostrom. Non offre conforto. Offre una sfida: se il futuro è vasto e fragile, possiamo pensare abbastanza bene da governarlo? I migliori argomenti dei critici non dissolvono la sfida; la rendono più esigente. Dobbiamo decidere se la responsabilità a lungo termine è un ingrandimento indispensabile dell'etica o un'astrazione pericolosa che si nasconde dall'ingiustizia presente. Questo è il motivo per cui il dibattito persiste attraverso le discipline, dai seminari di filosofia ai briefing politici e ai laboratori tecnici.
Questa domanda, affilata dalle obiezioni, invia il lavoro di Bostrom nella sua vita dopo la morte. Anche dove le sue conclusioni sono messe in dubbio, lo stile dell'indagine si è dimostrato difficile da rimuovere.