Perché i rischi di sofferenza sono i rischi esistenziali peggiori e come possiamo prevenirli

Per spezzare la sua volontà, Matt aumenta la velocità con cui il tempo passa per Greta. Mentre Matt aspetta solo pochi secondi, Greta sopporta effettivamente molti mesi di isolamento.

Fortunatamente, questo non è successo davvero. Infatti, ho tratto questa storia e gli screenshot da un episodio della serie televisiva britannica Black Mirror.

Non solo non è successo, ma è anche praticamente certo che non succederà. È improbabile che qualcuno degli scenari futuri che stiamo immaginando ora si realizzi esattamente in questa forma. Ma, sostengo, ci sono molti scenari plausibili che sono in qualche modo simili, o addirittura peggiori, di questo. Li chiamerò rischi S, dove “S” sta per “sofferenza” Spiegherò subito cosa sono i rischi S e come potrebbero concretizzarsi. Poi parlerò del motivo per cui gli aspiranti altruisti efficaci potrebbero volersi concentrare sulla prevenzione dei rischi S, e di quali tipi di lavoro si possono realizzare.

I. Rischi S: cosa sono

Nel modo in cui vorrei introdurli, i rischi S sono una sottoclasse di rischi esistenziali, chiamati anche rischi X. Sarà quindi utile ricordare il concetto di rischio X. Nick Bostrom ne dà la seguente definizione:⁠1

Rischio esistenziale: un rischio per il quale un esito negativo potrebbe annientare la vita intelligente di origine terrestre o ridurne drasticamente e permanentemente il potenziale.

Bostrom ha anche suggerito che un modo per capire come il rischio esistenziale si differenzi dagli altri rischi è quello di considerare due dimensioni del rischio. Queste due dimensioni sono la portata e la gravità.

Possiamo usare queste dimensioni per mappare i diversi tipi di rischi in una figura bidimensionale. Lungo l’asse verticale, i rischi sono ordinati in base alla loro portata. In altre parole, ci chiediamo quanti individui verrebbero colpiti. Si tratterebbe di una sola persona, di tutti gli abitanti di una regione, di tutte le persone in vita sulla Terra in un determinato momento o addirittura di tutte le persone in vita più le generazioni future? Lungo l’asse orizzontale, mappiamo i rischi in base alla loro gravità. In altre parole, chiediamo quanto sarebbe grave un esito negativo per un singolo individuo colpito.

Ad esempio, un singolo incidente automobilistico mortale avrebbe una gravità estrema. In questo senso, è piuttosto grave. Tuttavia, in un altro senso, potrebbe andare peggio, in quanto colpisce solo un piccolo numero di persone e quindi ha una portata personale piuttosto che globale o anche solo regionale. Ma ci sono anche rischi di maggiore gravità; per esempio, essere torturati per il resto della vita, senza possibilità di fuga, è probabilmente peggiore di un incidente stradale mortale. Oppure, per fare un esempio reale, consideriamo gli allevamenti intensivi. Di solito pensiamo che, ad esempio, la vita delle galline allevate in gabbia sia così brutta che sarebbe meglio non farle esistere. Questo è il motivo per cui riteniamo positivo che il cibo di questa conferenza sia in gran parte vegano.

Per tornare al titolo del mio intervento, posso ora spiegare perché i rischi S sono i peggiori rischi esistenziali. I rischi S sono i peggiori perché, secondo la mia definizione, hanno la massima portata e la massima gravità possibili. (Preciserò l’affermazione secondo cui i rischi S sono i peggiori rischi esistenziali). Vorrei quindi suggerire la seguente definizione.

Rischio S: Un rischio il cui esito negativo porterebbe a gravi sofferenze su scala cosmica, di gran lunga superiori a tutte le sofferenze finora esistite sulla Terra.

Quindi, i rischi S sono più o meno come gli allevamenti intensivi, ma con una portata ancora più ampia.

Per capire meglio questa definizione, ingrandiamo la parte della mappa che mostra il rischio esistenziale.

Una sottoclasse di rischi è costituita da quelli che, per quanto riguarda la loro portata, colpirebbero tutte le generazioni umane future e, per quanto riguarda la loro gravità, eliminerebbero tutto ciò che è prezioso. Un esempio centrale di tali devastanti rischi pangenerazionali è il rischio di estinzione umana.

I rischi di estinzione sono quelli che hanno ricevuto maggiore attenzione finora. Concettualmente, però, i rischi esistenziali contengono un’altra classe di rischi. Si tratta di rischi di esiti ancora peggiori dell’estinzione sotto due aspetti. In primo luogo, per quanto riguarda la loro portata, non minacciano solo le future generazioni di esseri umani o i nostri successori, ma tutta la vita senziente nell’intero universo. In secondo luogo, per quanto riguarda la loro gravità, non solo eliminano tutto ciò che sarebbe di valore, ma comportano anche molti disvalori, cioè caratteristiche che vorremmo evitare a tutti i costi. Pensate alla storia che ho raccontato all’inizio, ma immaginate che l’isolamento di Greta sia moltiplicato per molti ordini di grandezza, ad esempio perché riguarda una popolazione molto ampia di menti virtuali senzienti.

Fermiamoci un attimo. Finora ho introdotto il concetto di rischio S. Ricapitolando, si tratta di rischi di grave sofferenza su scala cosmica, il che li rende una sottoclasse di rischio esistenziale.

A seconda di cosa si intende per “ridurne il potenziale” nella definizione di rischio esistenziale, potrebbero esserci dei rischi S che non sono rischi X. Questo sarebbe vero se si pensa che il raggiungimento del pieno potenziale della vita intelligente di origine terrestre potrebbe comportare una sofferenza su scala astronomica, ovvero la realizzazione di un rischio S. Pensate a un quarto dell’universo pieno di sofferenza e a tre quarti pieni di felicità. Considerare un tale risultato come il pieno potenziale dell’umanità sembra richiedere l’opinione che la sofferenza implicata sarebbe superata da altre caratteristiche desiderabili del raggiungimento di questo pieno potenziale, come una grande quantità di felicità. Sebbene tutti i punti di vista morali plausibili sembrino concordare sul fatto che prevenire la sofferenza in questo scenario sarebbe un bene, potrebbero essere in disaccordo su quanto sia importante farlo. Sebbene molte persone ritengano plausibile che assicurare un futuro florido sia più importante, il Foundational Research Institute aderisce a un diverso gruppo di punti di vista, che chiamiamo etica incentrata sulla sofferenza. (Nota: abbiamo aggiornato questa sezione nel giugno 2019).

Passiamo ora a parlare del perché e del come prevenire i rischi S.

II. Rischi S: come e perché prevenirli

Tutti i sistemi di valori plausibili concordano sul fatto che la sofferenza, a parità di condizioni, è indesiderabile. Ovvero, tutti concordano sul fatto che abbiamo motivi per evitare la sofferenza. I rischi S sono rischi di sofferenza massiccia, quindi spero che siate d’accordo sul fatto che è bene evitarli.

Tuttavia, probabilmente siete qui perché vi interessa l’altruismo efficace. Non volete sapere se prevenire i rischi S sia una cosa buona, perché ci sono molte cose buone che potreste fare. Riconoscete che fare del bene ha un costo opportunità, quindi cercate di fare il massimo bene possibile. È plausibile che prevenire i rischi S possa soddisfare questo standard più elevato? Si tratta di una domanda molto complessa. Per capire quanto sia complessa, voglio prima introdurre un’argomentazione errata per concentrarsi sulla riduzione del rischio S. (Non sto sostenendo che qualcuno abbia avanzato una simile argomentazione per i rischi S o per i rischi X). Questa argomentazione errata è la seguente.

Premessa 1: la cosa migliore da fare è prevenire i rischi peggiori.

Premessa 2: i rischi S sono i peggiori.

Conclusione: La cosa migliore da fare è prevenire i rischi S.

Ho detto che questo argomento non è valido. Perché?

Prima di approfondire l’argomento, eliminiamo una potenziale fonte di ambiguità. Da un certo punto di vista, la premessa 1 potrebbe essere un giudizio di valore. In questo senso, potrebbe significare che, a prescindere da ciò che ci si aspetta che accada in futuro, si pensa che ci sia una ragione specifica per prioritizzare la prevenzione dei peggiori risultati possibili. Si potrebbe dire molto sui pro e i contro e sulle implicazioni di tale punto di vista, ma non è questo il senso della premessa 1 di cui intendo parlare. In ogni caso, non credo che una lettura puramente valoriale della premessa 1 sia sufficiente a far decollare l’argomento. Più in generale, credo che i vostri valori possano darvi motivi sostanziali o addirittura decisive per concentrarvi sui rischi S, ma non mi dilungherò oltre.

Quello su cui voglio invece concentrarmi è che, (quasi) indipendentemente dai tuoi valori, la premessa 1 è falsa. O almeno, è falsa se per “i rischi peggiori” intendiamo ciò di cui abbiamo parlato finora, cioè il posizionarsi molto in alto lungo le dimensioni della portata e della gravità.

Quando si cerca di trovare l’azione con il più alto impatto etico ci sono, ovviamente, criteri più rilevanti della portata e della gravità di un rischio. Ciò che manca sono la probabilità del rischio, la possibilità di prevenirlo e la sua trascuratezza. I rischi S sono per definizione i peggiori in termini di portata e gravità, ma non necessariamente in termini di probabilità, trattabilità e trascuratezza.

Questi criteri aggiuntivi sono chiaramente rilevanti. Ad esempio, se i rischi S avessero una probabilità pari a zero o se la loro riduzione fosse impossibile, non avrebbe alcun senso cercare di ridurli.

Dobbiamo quindi scartare questa argomentazione errata. Non sarò in grado di rispondere in modo definitivo alla domanda su quali siano le circostanze in cui dovremmo concentrarci sui rischi S, ma offrirò alcune riflessioni iniziali sulla probabilità, la trattabilità e la trascuratezza dei rischi S.

Sosterrò che i rischi S non sono molto più improbabili del rischio di estinzione legato all’intelligenza artificiale. Spiegherò perché penso che questo sia vero e affronterò due obiezioni.

Potreste pensare “è assurdo”, non possiamo nemmeno mandare gli esseri umani su Marte, perché preoccuparsi della sofferenza su scala cosmica? Questa è stata certamente la mia immediata reazione d’istinto quando mi sono imbattuto per la prima volta in questi concetti. Ma come aspiranti altuisti efficaci, dovremmo essere cauti nel prendere per buone queste reazioni da “sistema 1”. Siamo infatti consapevoli che un ampio corpus di ricerche psicologiche su euristiche e bias cognitivi suggerisce che le nostre stime di probabilità intuitive sono spesso guidate dalla facilità con cui riusciamo a ricordare un esempio prototipico dell’evento che stiamo considerando. Per i tipi di eventi che non hanno precedenti nella storia, non possiamo ricordare alcun esempio prototipico e quindi, se non stiamo attenti, sottostimiamo sistematicamente la probabilità di tali eventi.

Quindi dovremmo esaminare criticamente questa reazione intuitiva secondo cui i rischi S sono improbabili. Se lo facciamo, dovremmo prestare attenzione a due sviluppi tecnologici che sono almeno plausibili e che abbiamo motivo di aspettarci per ragioni indipendenti. Si tratta della senzienza artificiale e dell’IA superintelligente, quest’ultima in grado di sbloccare molte altre capacità tecnologiche come la colonizzazione dello spazio.

Per senzienza artificiale si intende l’idea che la capacità di avere esperienze soggettive e in particolare la capacità di soffrire non sia limitata agli animali biologici. Sebbene non vi sia un accordo universale su questo punto, di fatto la maggior parte delle opinioni contemporanee nella filosofia della mente implica che la senzienza artificiale sia, in linea di principio, possibile. E per il caso particolare delle emulazioni del cervello, i ricercatori hanno delineato una tabella di marcia concreta, identificando le tappe fondamentali e i dubbi rimanenti.

Per quanto riguarda l’IA superintelligente, non mi dilungherò oltre perché si tratta di una tecnologia che ha ricevuto molta attenzione da parte della comunità dell’altruismo efficace. Mi limiterò a rimandare all’eccellente libro di Nick Bostrom sull’argomento, intitolato Superintelligenza, e aggiungerò che i rischi S relativi alla senzienza artificiale e all’IA non allineata sono stati discussi da Bostrom con il termine “crimine mentale”.

Ma se dovessi ricordare solo una cosa sulla probabilità dei rischi S, che sia questa: Non si tratta di una scommessa di Pascal! In breve, come ricorderete, Pascal visse nel XVII secolo e si chiese se dovessimo osservare i precetti religiosi. Uno degli argomenti che prese in considerazione fu che, per quanto riteniamo improbabile l’esistenza di Dio, non vale la pena rischiare di finire all’inferno. In altre parole, l’inferno è così brutto che si dovrebbe dare la priorità a evitarlo, anche se si pensa che sia molto improbabile.

Ma non è questa l’argomentazione che stiamo portando avanti rispetto ai rischi S. La scommessa di Pascal invoca un’ipotesi basata su un’antica raccolta di libri selezionati in modo arbitrario. Su questa base, non si può affermare in modo difendibile che la probabilità di un tipo di inferno sia maggiore della probabilità di ipotesi concorrenti.

Al contrario, le preoccupazioni sui rischi S si basano sulle nostre migliori teorie scientifiche e su molte conoscenze empiriche implicite sul mondo. Consideriamo tutte le prove che abbiamo e poi articoliamo una distribuzione di probabilità su come potrebbe svolgersi il futuro. Poiché prevedere il futuro è così difficile, l’incertezza residua sarà piuttosto elevata. Ma questo tipo di ragionamento potrebbe, in linea di principio, giustificare la conclusione che il rischio S non è trascurabilmente piccolo.

Ok, ma forse vi viene in mente un’altra argomentazione: dato che un universo pieno di sofferenza è un risultato piuttosto specifico, potreste pensare che sia estremamente improbabile che una cosa del genere accada, a meno che qualcuno o qualcosa non abbia intenzionalmente ottimizzato tale risultato. In altre parole, si può pensare che i rischi S richiedano un intento malvagio, e che tale intento malvagio sia molto improbabile.

Penso che una parte di questa argomentazione sia corretta: sono d’accordo che è molto improbabile creare un’IA con l’obiettivo ultimo di creare sofferenza, o che gli esseri umani creino intenzionalmente un gran numero di IA che soffrono. Ma credo che l’intento malvagio rappresenti solo una minima parte di ciò di cui dovremmo preoccuparci, perché ci sono altre due strade più plausibili.

Per esempio, consideriamo la possibilità che i primi esseri senzienti artificiali che creeremo, potenzialmente in numero molto elevato, siano “senza voce”, incapaci di comunicare con il linguaggio scritto. Se non stiamo molto attenti, potremmo farli soffrire senza nemmeno accorgercene.

Consideriamo poi la storia archetipica del rischio legato all’IA: un massimizzatore superintelligente. Anche in questo caso, il punto non è che qualcuno pensi che questo particolare scenario sia molto probabile. È solo un esempio di un’ampia classe di scenari in cui inavvertitamente creiamo un potente sistema simile a un agente che persegue un obiettivo che non è né allineato ai nostri valori, né attivamente malvagio. Il punto è che questo massimizzatore può comunque causare sofferenza per motivi strumentali. Per esempio, potrebbe eseguire simulazioni senzienti per scoprire di più sulla scienza della produzione di graffette, o per valutare la probabilità di incontrare alieni (che potrebbero interrompere la produzione di graffette); in alternativa, potrebbe generare sottoprogrammi “lavoratori” senzienti per i quali la sofferenza svolge un ruolo di guida all’azione simile al modo in cui gli esseri umani imparano a non toccare una piastra calda.

Una “prima generazione senza voce” di IA senzienti e un massimizzatore che crea sofferenza per motivi strumentali sono due esempi di come un rischio S possa realizzarsi non per un’intenzione malvagia, ma per caso.

In terzo luogo, i rischi S possono sorgere come parte di un conflitto.

Per capire il significato del terzo punto, torniamo alla storia raccontata all’inizio di questo intervento. L’operatore umano Matt non era malvagio nel senso che dava valore intrinseco alla sofferenza di Greta. Voleva solo assicurarsi che Greta rispettasse i comandi del suo proprietario, qualunque essi fossero. Più in generale, se gli agenti competono per un pool di risorse, c’è il rischio che si impegnino in comportamenti strategici a somma negativa che causano sofferenza, anche se ciascuno disapprova la sofferenza.

Il risultato è che il rischio di gravi sofferenze non richiede motivazioni rare come il sadismo o l’odio. Anche nella storia ci sono molte prove concrete di questo principio preoccupante; per esempio, si guardi alla maggior parte delle guerre o agli allevamenti intensivi. Nessuno dei due è causato da intenzioni malvagie.

A proposito, se ve lo siete chiesto, la storia di Black Mirror non era un rischio S, ma ora possiamo vedere che illustra due punti importanti: primo, l’importanza della senzienza artificiale e, secondo, la grave sofferenza causata da un agente senza intenzioni malvagie.

Per concludere: per essere preoccupati dai rischi S, non abbiamo bisogno di ipotizzare una nuova tecnologia o una nuova caratteristica qualitativamente diversa da quella già presa in considerazione dalla comunità che si occupa dei rischi legati all’IA. Quindi, direi che i rischi S non sono molto più improbabili dei rischi esistenziali legati all’IA. O, per lo meno, che se qualcuno è preoccupato per i rischi esistenziali legati all’IA ma non per i rischi S, l’onere della prova è a suo carico.

Riconosco che si tratta di una domanda impegnativa. Tuttavia, credo che ci siano alcune cose che possiamo fare oggi per ridurre questi rischi.

In primo luogo, c’è una certa sovrapposizione con il lavoro già svolto nell’area dei rischi esistenziali. In particolare, alcuni lavori sulla sicurezza tecnica dell’IA e sulle politiche relative all’IA stanno affrontando efficacemente sia i rischi legati all’estinzione che i rischi S. Detto questo, ogni specifico lavoro sulla sicurezza dell’IA può essere molto più rilevante per un tipo piuttosto che per l’altro. Per fare un esempio semplice, se potessimo assicurarci che un’IA superintelligente si spenga di default tra 1000 anni, questo non aiuterebbe molto a ridurre il rischio di estinzione, ma impedirebbe un rischio S di lunga durata. Per alcune riflessioni più serie sul progresso differenziale nella sicurezza dell’IA, vi rimando al rapporto tecnico del Foundational Research Institute su Suffering-focused AI Safety.

Quindi la buona notizia è che stiamo già lavorando per ridurre i rischi S. Ma si noti che questo non è vero per tutto il lavoro sui rischi esistenziali; per esempio, costruire rifugi in caso di catastrofe o ridurre le probabilità di essere tutti spazzati via da una pandemia micidiale può ridurre la probabilità di estinzione ma, in prima approssimazione, non cambia la traiettoria del futuro, una volta garantita la sopravvivenza dell’umanità.

Accanto a interventi più mirati, esistono anche interventi di ampio respiro che plausibilmente prevengono i rischi S in modo più indiretto. Ad esempio, il rafforzamento della cooperazione internazionale potrebbe diminuire la probabilità di conflitti, e abbiamo visto che il comportamento a somma negativa nei conflitti è una potenziale fonte di rischi S. Oppure, andando più in profondità, possiamo fare ricerca per identificare quali tipi di interventi ampi sono efficaci per ridurre i rischi S. Quest’ultimo aspetto è parte di ciò che stiamo facendo al Foundational Research Institute.

Ho accennato alla possibilità che esistano interventi in grado di ridurre i rischi S. C’è un altro aspetto della trattabilità: ci sarà un sostegno sufficiente per realizzare tali interventi? Per esempio, ci saranno finanziamenti sufficienti? Potremmo temere che parlare di sofferenza cosmica e di senzienza artificiale sia ben oltre la soglia del discorso accettabile o, in altre parole, che i rischi S siano semplicemente troppo strani.

Penso che questa sia una preoccupazione legittima, ma non credo che dovremmo concludere che cercare di prevenire i rischi S sia futile. Ricordiamoci che 10 anni fa le preoccupazioni per i rischi legati all’IA superintelligente erano quasi universalmente ridicolizzate, liquidate o travisate come se riguardassero Terminator.

Al contrario, oggi abbiamo Bill Gates che recensisce positivamente un libro che parla di emulazione completa del cervello, massimizzatori di graffette e crimini mentali. In altre parole, la storia della sicurezza dell’IA dimostra che possiamo raccogliere un sostegno significativo per cause apparentemente strane, se i nostri sforzi sono sostenuti da argomenti solidi.

Infine, ma non meno importante, quanto è trascurato il lavoro sui rischi S?

È chiaro che non è del tutto trascurato. Ho già detto che la sicurezza dell’IA e la politica in materia di IA possono ridurli, quindi è probabile che parte del lavoro svolto, ad esempio, dal Machine Intelligence Research Institute o dal Future of Humanity Institute si occupi effettivamente di questi rischi.

Tuttavia, mi sembra che questi rischi ricevano molta meno attenzione dei rischi di estinzione. In effetti, ho visto che i rischi esistenziali vengono equiparati ai rischi di estinzione.

In ogni caso, credo che i rischi S ricevano meno attenzione di quanto sia giustificato. Questo è particolarmente vero per gli interventi mirati a ridurre i rischi S, cioè per gli interventi che non ridurrebbero anche altre classi di rischio esistenziale. In questo caso potrebbero esserci delle opportunità a portata di mano, dal momento che il lavoro esistente non è ottimizzato per ridurre i rischi S.

Per quanto ne so, il Foundational Research Institute è l’unica organizzazione nell’ecosistema dell’altruismo efficace che si concentra esplicitamente sulla riduzione dei rischi S.

In sintesi: per rispondere alla domanda se sia opportuno concentrarsi sulla riduzione dei rischi S, sono rilevanti sia i giudizi empirici che quelli di valore. Dal punto di vista empirico, le domande di maggiore importanza sono: quanto sono probabili i rischi S? Quanto è facile prevenirli? Chi altro sta lavorando su questo tema?

Per quanto riguarda la probabilità, i rischi S possono essere improbabili, ma sono molto più di una semplice possibilità concettuale. Possiamo vedere quali tecnologie potrebbero plausibilmente causare gravi sofferenze su scala cosmica, e nel complesso i rischi S non sembrano molto più improbabili dei rischi di estinzione legati all’IA.

Le tecnologie più plausibili che potrebbero causare questi rischi sono la sentienza artificiale e l’IA superintelligente. Pertanto, in prima approssimazione, queste cause sono molto più rilevanti per la loro riduzione rispetto ad altre cause legate ai rischi esistenziali, come la biosicurezza o la deviazione degli asteroidi.

In secondo luogo, la riduzione di questi rischi è almeno minimamente trattabile. Probabilmente non abbiamo ancora trovato gli interventi più efficaci in questo campo. Tuttavia, possiamo indicare alcuni interventi che riducono il rischio legato all’IA e su cui si lavora oggi, in particolare alcuni lavori in corso sulla sicurezza dell’IA e sulle politiche dell’IA.

Ci sono anche interventi ampi che possono ridurre indirettamente i rischi S, ma non comprendiamo ancora bene il quadro macrostrategico.

Infine, sembra che i rischi S siano più trascurati rispetto ai rischi di estinzione. Allo stesso tempo, ridurre i rischi S è difficile e richiede un lavoro all’avanguardia. Perciò, sosterrei che il Foundational Research Institute occupa una nicchia importante con molto spazio per altri che vogliano unirsi.

Detto ciò, non mi aspetto di aver convinto ognuno di voi a concentrarsi sulla riduzione dei rischi S. Penso che, realisticamente, avremo una moltitudine di priorità nella comunità, con alcuni di noi concentrati sulla riduzione dei rischi di estinzione, altri sulla riduzione dei rischi S, e così via.

Pertanto, vorrei concludere questo intervento con una visione per la comunità che plasmerà il futuro lontano.

Chi di noi ha a cuore il futuro lontano deve affrontare un lungo viaggio. Ma è sbagliato inquadrarlo come una scelta binaria tra estinzione e utopia.

Ma in un altro senso, la metafora è azzeccata. Abbiamo di fronte un lungo viaggio, ma è un viaggio attraverso un territorio difficile da attraversare, e all’orizzonte c’è un continuum che va da un temporale infernale alla più bella giornata estiva. L’interesse a plasmare il futuro lontano determina chi è (bloccato) nel veicolo, ma non cosa fare di più preciso con il volante. Alcuni di noi si preoccupano soprattutto di evitare il temporale, mentre altri sono più motivati dalla speranza esistenziale di raggiungere il giorno d’estate. Non riusciamo a tenere sotto controllo la complicata rete di strade che abbiamo davanti, ma ci è facile vedere chi c’è nell’auto e possiamo parlare con loro, quindi forse la cosa più efficace che possiamo fare ora è confrontare le nostre mappe del territorio e metterci d’accordo su come gestire i disaccordi rimasti senza far deragliare il veicolo.

Grazie.

Per ulteriori informazioni su rischi S, visita foundational-research.org. Se hai domande, puoi inviarmi un’e-mail all’indirizzo max@foundational-research.org o metterti in contatto con me tramite Facebook.

Pubblicazione originale: Max Daniel (2017) S-risks: why they are the worst existential risks, and how to prevent them (EAG Boston 2017), Center on Long-Term Risk.