Punto debole del “secolo più importante”: il lock-in
Questo è (per ora) il secondo di due post che coprono quelli che considero i punti più deboli della serie “Il secolo più importante”. (Il primo è qui).
Il punto debole che tratterò qui è la discussione sul “lock-in”: l’idea che l’intelligenza artificiale trasformativa potrebbe portare a società che sono stabili per miliardi di anni. Se fosse vero, ciò significherebbe che l’andamento di questo secolo potrebbe influenzare la vita in modo prevedibile e sistematico per un periodo di tempo insondabile.
La mia trattazione principale di questo argomento si trova in una sezione del mio pezzo sulle persone digitali. Si tratta di una trattazione piuttosto maldestra, non super approfondita, e non è sostenuta da una relazione tecnica approfondita (anche se rimando ad alcune note informali del fisico Jess Riedel che ha realizzato mentre lavorava presso Open Philanthropy). Overcoming Bias mi ha criticato su questo punto, dando luogo a un breve scambio nei commenti.
Non sarò molto più esauriente o convincente in questa sede, ma dirò qualcosa di più su come l’argomento complessivo del “secolo più importante” sia influenzato se ignoriamo questa parte, e qualcosa di più sul perché trovo plausibile il “lock-in”.
(Si noti anche che il “lock-in” sarà discusso a lungo in un libro di Will MacAskill di prossima pubblicazione, Cosa dobbiamo al futuro).
In questo articolo, userò il termine “lock-in” per indicare “cose fondamentali della società, come chi è al potere o quali religioni/ideologie sono dominanti, sono bloccate al loro posto per un tempo indefinito, verosimilmente per miliardi di anni”, e “dinamismo” o “instabilità” per indicare il contrario: “queste cose cambiano su orizzonti temporali molto più brevi, come decenni/ secoli/millenni”. Come già notato , di base considero il “ lock-in” una possibilità spaventosa, anche se è immaginabile che certi tipi di lock-in (per esempio, delle protezioni dei diritti umani) possano essere positivi.
Per prima cosa, vediamo cosa succede se buttiamo via tutta questa parte dell’argomentazione e ipotizziamo che il “lock-in” non sia affatto una possibilità, ma accettiamo il resto delle previsioni. In altre parole, ipotizziamo che:
In questo caso, credo che ci sia ancora un senso importante in cui questo sarebbe il “secolo più importante per l’umanità”: sarebbe la nostra ultima possibilità di plasmare la transizione da un mondo gestito dagli esseri umani a un mondo gestito da qualcosa di molto diverso dagli esseri umani. Questa è una delle due definizioni di “secolo più importante” date qui.
Più in generale, in questo caso, penso che ci sia un senso importante in cui la serie “secolo più importante” dovrebbe essere pensata come “indicare una questione drasticamente sottovalutata; corretta nelle sue implicazioni più consequenziali e controverse, se non in ogni dettaglio”. Quando si parla delle questioni più importanti del nostro tempo (in realtà, anche quando si parla specificamente delle probabili conseguenze dell’IA avanzata), raramente si discute molto del tipo di questioni enfatizzate in questa serie, ma lo si dovrebbe fare, che questa serie sia corretta o meno sulla possibilità di “lock-in”.
Come è stato fatto notarequi, in definitiva mi interessa di più se la serie “Il secolo più importante” sia corretta in questo senso — individuare questioni drasticamente sottovalutate — che non quanto sia probabile che il suo titolo finisca per descrivere la realtà. (Anche se mi interessano entrambi.) È per questo motivo che ritengo che la discussione relativamente scarna sul lock-in sia un “punto debole” di minore importanza rispetto al punto debole di cui ho scritto in precedenza, che solleva dubbi sul fatto che l’intelligenza artificiale avanzata cambierebbe il mondo molto rapidamente o molto spesso.
Ma ho incluso la menzione del lock-in perché penso che sia una possibilità reale e che renderebbe la posta in gioco di questo secolo ancora più alta.
Probabilmente nella storia ci sono state molte persone (imperatori, dittatori) che hanno avuto un enorme potere sulla loro società e che avrebbero voluto che le cose andassero avanti così come erano per sempre. Ci possono anche essere stati momenti in cui i governi democraticamente eletti avrebbero “bloccato” almeno alcune cose della loro società per sempre, se avessero potuto.
Ma non ci sono riusciti. Perché no?
Credo che le ragioni siano riconducibili ad alcune categorie, e che le persone digitali (o le IA disallineate, ma per ora mi concentrerò sulle persone digitali per semplicità) potrebbero cambiare il quadro in modo significativo.
Per prima cosa elencherò i fattori che potrebbero essere modificati facilmente dalla tecnologia e in seguito un fattore che sembra esserlo meno.
Invecchiamento e morte. Tutti i potenti devono morire a un certo punto. Possono cercare di trasferire il potere ai figli o agli alleati, ma nel passaggio di consegne cambiano molte cose (e su periodi di tempo molto lunghi, ci sono molti passaggi di consegne).
Le persone digitali non devono necessariamente invecchiare o morire. (Più in generale, sembra abbastanza probabile che sufficienti progressi nella scienza e nella tecnologia possano eliminare l’invecchiamento e la morte, anche se non attraverso le persone digitali). Quindi, se un particolare insieme di essi avesse potere su una particolare parte della galassia, la morte e l’invecchiamento non dovrebbero interferire affatto.
Altri cambiamenti demografici. Nel corso del tempo, la composizione di una data popolazione cambia e, in particolare, una generazione sostituisce la precedente. Spesso questo porta a cambiamenti nei valori e nelle dinamiche di potere.
Senza l’invecchiamento o la morte, e con un’estrema sostituibilità, potremmo esaurire rapidamente la capacità di carico di una particolare area, che potrebbe quindi non subire alcun cambiamento nella composizione della popolazione (o subire cambiamenti molto più piccoli e controllati di quelli a cui siamo abituati oggi ma nessun caso in cui un’intera generazione viene sostituita da una nuova). Il ricambio generazionale sembra essere, ad oggi, un importante fattore di dinamismo.
Caos. Ad oggi, anche quando un governo è ufficialmente “al comando” di una società, ha una capacità molto limitata di monitorare e intervenire su tutto ciò che accade. Ma credo che il progresso tecnologico abbia già aumentato enormemente la capacità di un governo di esercitare un controllo su un gran numero di persone e su una vasta area geografica. Un’esplosione dei progressi scientifici e tecnologici potrebbe aumentare radicalmente il controllo pratico dei governi su ciò che accade.
(Le persone digitali forniscono un esempio estremo: controllare il server che gestisce un ambiente virtuale significherebbe essere in grado di monitorare e controllare tutto ciò che riguarda le persone in quell’ambiente. E le personalità più potenti potrebbero creare molte copie di se stesse per il monitoraggio e l’applicazione della legge).
Eventi naturali. Una società umana può venire sconvolta da ogni genere di eventi: cambiamenti climatici e meteorologici, esaurimento delle risorse, ecc. Progressi sufficienti nella scienza e nella tecnologia potrebbero ridurre questo tipo di perturbazioni a livelli estremamente bassi (e in particolare, le persone digitali hanno un fabbisogno di risorse piuttosto limitato, tale da non dover esaurire le risorse per miliardi di anni).
Alla ricerca del miglioramento. Anche se alcuni dittatori e imperatori preferirebbero mantenere le cose come sono per sempre, la maggior parte dei governi di oggi non ha questa aspirazione: i funzionari eletti si considerano responsabili nei confronti di grandi popolazioni di cui cercano di migliorare la vita.
Tuttavia, i progressi della scienza e della tecnologia significherebbero un controllo nettamente maggiore sul mondo, nonché un margine potenzialmente minore per ulteriori miglioramenti (in genere mi aspetto che il tasso di miglioramento debba diminuire a un certo punto). In questo modo potrebbe essere sempre più probabile che un governo o una politica decidano di preferire che le cose rimangano così come sono.
Ma questi fattori potrebbero essere eliminati così a fondo da causare stabilità per miliardi di anni? Penso di sì, se una parte sufficiente della società fosse digitale (per esempio, persone digitali), in modo tale che chi cerca la stabilità possa usare la correzione digitale degli errori (essenzialmente, facendo copie multiple di qualsiasi cosa fondamentale, che possono essere usate per annullare qualsiasi cambiamento per qualsiasi motivo — per saperne di più, si vedano le note informali di Jess Riedel, che sostengono che la correzione digitale degli errori potrebbe essere usata per raggiungere livelli di stabilità piuttosto estremi).
Un esempio tangibile potrebbe essere costituito da ambienti virtuali strettamente controllati, contenenti persone digitali, programmati per resettarsi completamente (o per resettare le proprietà fondamentali) se un qualsiasi fattore importante cambia. Rappresentano di fatto un modo ipotetico per eliminare essenzialmente tutti i fattori di cui sopra come fonti di cambiamento.
Ma anche se preferiamo evitare di pensare a questi scenari specifici, credo che ci siano casi più ampi di progressi scientifici e tecnologici esplosivi che riducono radicalmente il ruolo di ciascuno dei fattori sopra citati, come descritto sopra.
Naturalmente, il fatto che un governo possa raggiungere il “lock-in” non significa che lo farà. Ma nel corso di un periodo di tempo abbastanza lungo, sembra che le società “anti-lock-in” avrebbero semplicemente sempre più possibilità di diventare società “pro-lock-in”, mentre anche pochi anni di società “pro-lock-in” potrebbero risultare in un lock-in indefinito. (E in un mondo di persone digitali che operano molto più velocemente degli esseri umani, potrebbe passare molto “tempo” entro la fine di questo secolo).
Anche se un governo avesse il controllo completo della sua società, questo non garantirebbe la stabilità, perché potrebbe sempre essere attaccato dall’esterno. E a differenza dei fattori precedenti, questo non è un aspetto che i progressi radicali della scienza e della tecnologia sembrano in grado di cambiare in modo sostanziale: in un mondo di persone digitali, i diversi governi sarebbero ancora in grado di attaccarsi l’un l’altro e sarebbero in grado di negoziare tra loro con la minaccia di un attacco sullo sfondo.
Questo potrebbe causare una sostenibilità tale da rendere il mondo in continuo cambiamento. Questo è il punto sottolineato da Overcoming Bias critique.
Ritengo che questa dinamica possa forse essere una fonte di dinamismo duraturo. Alcuni motivi per cui potrebbe non esserlo:
Una di queste situazioni, o una combinazione di esse (ad esempio, gli attacchi sono possibili ma rischiosi e costosi; le potenze mondiali scelgono di non attaccarsi a vicenda per non scatenare una guerra), potrebbe portare alla scomparsa definitiva della competizione militare come fattore, e dare ad alcuni governi la possibilità di “bloccare” le caratteristiche essenziali delle loro società.
Sopra ho elencato alcuni fattori che potrebbero forse continuare a essere fonti di dinamismo anche dopo un’esplosione del progresso scientifico e tecnologico. Credo di aver iniziato a dare un’idea del perché, come minimo, le fonti di dinamismo potrebbero essere notevolmente ridotte nel caso di persone digitali o di altre tecnologie radicalmente avanzate, rispetto a oggi.
Ora voglio dividere i diversi futuri possibili in tre grandi categorie:
Blocco discrezionale totale. Questo è il caso in cui un dato governo (o una coalizione o un assetto negoziale) è in grado di bloccare essenzialmente qualsiasi proprietà scelga per la sua società, a tempo indeterminato.
Questo potrebbe accadere se tutte le fonti di dinamismo sopra descritte venissero meno e i governi scegliessero di perseguire il lock-in.
Dinamiche competitive prevedibili. Penso che la fonte di dinamismo che ha maggiori probabilità di persistere (in un mondo di persone digitali o di scienza e tecnologia comparabilmente avanzate) sia l’ultima discussa nella sezione precedente: la competizione militare tra società avanzate.
Tuttavia, penso che potrebbe persistere in un modo che renda gli esiti sul lungo periodo decisamente prevedibili. Infatti, penso che “esiti sul lungo periodo decisamente prevedibili” sia parte della visione implicita nella Critica del superamento dei pregiudizi, che sostiene che il mondo dovrà essere popolato quasi esclusivamente da esseri che passano quasi tutta la loro esistenza a lavorare (poiché la popolazione si espanderà al punto che sarà necessario lavorare costantemente anche solo per sopravvivere).
Se ci ritroviamo con un mondo pieno di esseri digitali che hanno il pieno controllo sul loro ambiente ad eccezione della competizione militare con gli altri, potremmo aspettarci che ci sarà una forte pressione sugli esseri digitali più ambiziosi, più produttivi, più laboriosi, più aggressivi, ecc. che finiranno per popolare la maggior parte della galassia. Potrebbero essere esseri che non fanno altro che lottare per accaparrarsi le risorse.
Vero dinamismo. Piuttosto che un mondo in cui i governi bloccano le proprietà che loro (e/o la maggioranza dei loro elettori) vogliono, o un mondo in cui gli esseri digitali competono con conseguenze perlopiù prevedibili, potremmo ritrovarci con un mondo in cui ci sono vera libertà e dinamismo, forse deliberatamente preservato attraverso l’adozione di misure specifiche per fermare le due possibilità di cui sopra e imporre un certo livello di diversità e persino di casualità.
Dopo aver elencato queste possibilità, vorrei avanzare l’ipotesi che se potessimo ritrovarci con una qualsiasi di queste tre, e se questo secolo determinasse quale (o quale combinazione) ci ritroveremmo, ciò costituirebbe un buon motivo per ritenere che questo secolo abbia un impatto particolarmente degno di nota, e quindi sia il secolo più importante di tutti i tempi per la vita intelligente sulla Terra.
Per esempio, diciamo che dal punto di vista odierno abbiamo la stessa probabilità di ottenere (a) un mondo in cui i governi potenti utilizzano il “lock-in”, (b) un mondo in cui la concorrenza sfrenata porta la galassia a essere dominata dai più forti/produttivi/aggressivi, o (c) un mondo veramente dinamico in cui gli eventi futuri sono imprevedibili e importanti. In questo caso, se ci ritroviamo con (c), e gli eventi futuri finiscono per essere enormemente interessanti e conseguenziali, penso che ci sarebbe ancora un’importanza, nel senso che lo sviluppo più importante di tutti i tempi è stato l’instaurazione di quella stessa dinamica. (Dato che una delle altre due avrebbe potuto invece finire per determinare la forma della civiltà nella galassia nel lungo periodo).
Un altro modo per dirlo: se il lock-in (e/o dinamiche prevedibilmente competitive) è una seria possibilità a partire da questo secolo, l’opportunità di prevenirlo potrebbe rendere questo secolo il più importante di tutti.
Abbiamo parlato in modo molto dettagliato di futuri radicalmente sconosciuti e a questo punto i lettori potrebbero avere la sensazione che le cose siano diventate troppo specifiche e complesse per poterne tenere conto. Ma credo che le intuizioni di massima siano piuttosto semplici e solide. Riassumendo in generale:
Spero che queste ulteriori riflessioni siano state utili per capire il mio punto di vista, ma continuo a riconoscere che questa è una delle parti meno sviluppate della serie e sono interessato ad approfondire l’argomento.