Rischio esistenziale totale
Il rischio esistenziale totale è il rischio cumulativo di una catastrofe esistenziale.
Il concetto di rischio esistenziale totale consente di confrontare diversi rischi specifici in termini di contributo al rischio complessivo di catastrofe. Questo confronto può essere fatto perché si presume che i rischi esistenziali particolari differiscano solo per la loro probabilità e non anche per la loro gravità. Di solito questa ipotesi è giustificata, poiché le storie del mondo che comportano catastrofi esistenziali tendono a differire in termini di valore in maniera trascurabile, rispetto a come ciascuna di esse differisce dalle storie del mondo in cui il potenziale umano è pienamente realizzato. Il collasso permanente della civiltà, per esempio, può essere un po’ migliore o un po’ peggiore dell’estinzione umana; ma entrambi sono infinitamente peggiori di un mondo in cui l’umanità ha raggiunto il suo pieno potenziale.1
L’ipotesi, tuttavia, potrebbe non reggere in casi particolari. In primo luogo, una catastrofe esistenziale infernale non distrugge solo il valore potenziale, ma crea anche un disvalore su scala astronomica. Se la catastrofe è la peggiore possibile, sarebbe significativamente peggiore di una catastrofe esistenziale non infernale.
In secondo luogo, come osserva Ord, è più probabile che alcuni rischi si verifichino in mondi ad alto potenziale. Una tecnologia che contribuisce a un rischio di questo tipo sarebbe penalizzata se valutata con il metro di giudizio del rischio esistenziale totale. Un esempio immediato è l’intelligenza artificiale, che aumenta il rischio esistenziale legato all’allineamento all’IA, ma può anche portare l’umanità a realizzare il suo pieno potenziale.2
Toby Ord (2020) The Precipice: Existential Risk and the Future of Humanity, London: Bloomsbury Publishing, chap. 6.