Come affrontare al meglio il secolo più importante?

Allineamento dell'IAGovernance dell'IAIntelligenza artificiale trasformativa

In precedenza, nella serie “Il secolo più importante”, ho sostenuto che c’è un’alta probabilità⁠a che i prossimi decenni vedano:

Lo sviluppo di una tecnologia come il PASTA (processo di automazione del progresso scientifico e tecnologico).
Una conseguente esplosione della produttività che porterà allo sviluppo di ulteriori tecnologie trasformative.
L’inizio di una civiltà galattica stabile, forse caratterizzata da persone digitali, o forse gestita da Error: no children passed to this tooltip.

È una visione ottimistica del mondo o pessimistica? Per me è entrambe le cose e nessuna delle due, perché questa serie di eventi potrebbe finire per essere molto buona o molto cattiva per il mondo, a seconda dei dettagli di come si svolgerà.

Quando parlo di essere nel “secolo più importante”, non intendo solo dire che si verificheranno eventi significativi. Intendo dire che noi, le persone che vivono in questo secolo, abbiamo la possibilità di avere un impatto enorme su un gran numero di persone a venire, se riusciamo a dare un senso alla situazione e a trovare azioni utili.

Ma è anche importante capire perché questo è un grande “se”, perché il secolo più importante presenta un quadro strategico impegnativo, tale che molte delle cose che possiamo fare potrebbero migliorare o peggiorare le cose (ed è difficile dire quale delle due).

In questo post, presenterò due modelli contrastanti per capire come trarre il meglio dal secolo più importante.

Il modello della “cautela ”. In questo modello, molti dei risultati peggiori derivano dallo sviluppare una tecnologia tipo il PASTA in modo troppo veloce, affrettato o avventato. Potrebbe essere necessario raggiungere un coordinamento (possibilmente globale) per attenuare le pressioni a correre e fare attenzione. (Attenzione)
Il modello della “Competizione”. Questo modello non si concentra sul come e quando il PASTA viene sviluppato, ma su chi (quali governi, quali aziende, ecc.) è il primo a beneficiare della conseguente esplosione della produttività. (Concorrenza)
Le persone che scelgono il modello della “cautela” e quelle che adottano quello della “competizione” spesso favoriscono azioni molto diverse, persino contraddittorie. Le azioni che sembrano importanti per le persone in un modello spesso sembrano attivamente dannose per le persone nell’altro.
- Temo che il modello della “competizione” sia sopravvalutata per difetto e ne discuto qui di seguito il motivo. (Altro)
- Per ottenere maggiore chiarezza su come soppesare questi modelli e su quali azioni abbiano maggiori probabilità di essere utili, abbiamo bisogno di maggiori progressi sulle domande aperte sull’entità dei diversi tipi di rischio legati all’IA trasformativa. (Domande aperte)
Nel frattempo, ci sono alcune azioni di grande utilità che sembrano in grado di migliorare le prospettive dell’umanità a prescindere. (Azioni solidamente utili)

Il modello della “cautela”

Ho sostenuto la possibilità che questo secolo veda la transizione verso un mondo in cui persone digitali o tempistiche di sviluppo dell’IA disallineate (o qualcos’altro di molto diverso dagli esseri umani di oggi) siano la forza principale negli eventi mondiali.

Il modello della “cautela” sottolinea che alcuni tipi di transizione sembrano migliori di altri. Elencati in ordine⁠b dal peggiore al migliore:

Peggiore: IA disallineata

Ho discusso questa possibilità in precedenza, attingendo a una serie di altre discussioni più approfondite.⁠c L’idea di base è che i sistemi di IA potrebbero finire per avere obiettivi propri e cercare di espandersi in tutto lo spazio realizzando questi obiettivi. Gli esseri umani, e/o tutti i valori umani, potrebbero essere messi in disparte (o fatti estinguere, se altrimenti fossimo d’intralcio).

Il secondo peggiore: Maturità tecnologica antagonistica

Se arriviamo al punto in cui ci sono persone digitali e/o IA (non disallineate) in grado di copiare se stesse senza limiti e di espandersi in tutto lo spazio, potrebbe esserci un’intensa pressione a muoversi — e a moltiplicarsi (tramite la copia) — il più velocemente possibile per ottenere maggiore influenza sul mondo. Questo potrebbe portare a diversi paesi/coalizioni che cercano furiosamente di superarsi a vicenda, e/o a veri e propri conflitti militari, sapendo che in breve tempo la posta in gioco potrebbe diventare altissima.

Mi aspetto che questo tipo di dinamica rischi di far finire gran parte della galassia in un brutto stato⁠d.

Uno di questi cattivi stati sarebbe “permanentemente sotto il controllo di una singola persona (digitale) (e/o delle sue copie)”. A causa del potenziale delle persone digitali di creare civiltà stabili, sembra che un dato regime totalitario possa finire per radicarsi permanentemente in parti sostanziali della galassia.

I popoli/paesi/coalizioni che sospettano l’un l’altro di rappresentare questo tipo di pericolo, cioè di stabilire potenzialmente civiltà stabili sotto il loro controllo, potrebbero competere e/o attaccarsi a vicenda fin dall’inizio per impedirlo. Questo potrebbe portare a guerre con esiti difficili da prevedere (a causa dei progressi tecnologici difficili da prevedere che il PASTA potrebbe portare).

Il secondo migliore: Negoziazione e governance

I Paesi potrebbero prevenire questo tipo di dinamica Maturità tecnologica antagonistica pianificando in anticipo e negoziando tra loro. Per esempio, forse ogni Paese o persona potrebbe essere autorizzato a creare un certo numero di persone digitali (nel rispetto delle tutele dei diritti umani e di altre norme), limitatamente a una certa regione dello spazio.

Sembra che ci sia un’enorme gamma di potenziali specificità, alcune molto più buone e giuste di altre.

Il migliore: Riflessione

Il mondo potrebbe raggiungere un livello di coordinamento abbastanza alto da ritardare qualsiasi passo irreversibile (anche dando il via a una dinamica di Maturità Tecnologica Antagonistica).

Potrebbe quindi esserci qualcosa di simile a ciò che Toby Ord (in The Precipice) chiama la “Lunga riflessione”:⁠e un periodo prolungato in cui le persone potrebbero decidere collettivamente gli obiettivi e le speranze per il futuro, idealmente rappresentando il compromesso più equo disponibile tra diverse prospettive. La tecnologia avanzata potrebbe in teoria aiutare questo processo molto meglio di quanto non possa fare oggi⁠f.

Ci sono infinite domande su come funzionerebbe una tale “riflessione” e se c’è davvero speranza che possa raggiungere un risultato ragionevolmente buono ed equo. Dettagli come “quali tipi di persone digitali vengono create per prime” potrebbero avere un’enorme importanza. Attualmente si discute poco di questo tipo di argomenti.⁠g

Altro

Probabilmente ci sono molti tipi di transizioni possibili che non ho nominato qui.

Il ruolo della prudenza

Se la scaletta di cui sopra è corretta, allora il futuro della galassia appare migliore nella misura in cui:

Viene evitata un’IA disallineata: i potenti sistemi di IA agiscono per aiutare gli umani, piuttosto che perseguire obiettivi propri.
La Maturità tecnologica antagonistica è evitata. Ciò significa probabilmente che le persone non impiegano sistemi avanzati di IA, o le tecnologie che potrebbero portare, in modo antagonistico (a meno che ciò non si renda necessario per evitare qualcosa di peggio).
Si raggiunge un coordinamento sufficiente affinché i personaggi chiave possano “prendersi il loro tempo” e la riflessione diventa una possibilità.

Idealmente, tutti coloro che hanno il potenziale per costruire qualcosa di simile a un PASTA sarebbero in grado di riversare le proprie energie nella costruzione di qualcosa di sicuro (non disallineato), pianificando attentamente (e negoziando con gli altri) le modalità di realizzazione, senza fretta o corsa. Tenendo presente questo, forse dovremmo:

Lavorare per migliorare la fiducia e la cooperazione tra le principali potenze mondiali. Forse attraverso versioni incentrate sull’IA di Pugwash (una conferenza internazionale che mira a ridurre il rischio di conflitti militari), forse respingendo le mosse dei falchi nelle relazioni estere.
Scoraggiando i governi e gli investitori dall’investire denaro nella ricerca sull’IA, incoraggiando i laboratori di IA a considerare a fondo le implicazioni delle loro ricerche prima di pubblicarle o scalarle, ecc. Rallentando le cose in questo modo si potrebbe guadagnare più tempo per fare ricerca per evitare l’IA disallineata, più tempo per costruire meccanismi di fiducia e cooperazione, più tempo per ottenere in generale chiarezza strategica, e una minore probabilità della dinamica della Maturità tecnologica antagonistica.

Il modello della “competizione”

(Nota: c’è un certo potenziale di confusione tra l’idea di “competizione” e quella di Maturità Tecnologica Antagonistica⁠h).

Il modello della “competizione” si concentra meno sul modo in cui avviene la transizione verso un futuro radicalmente diverso, e più su chi prende le decisioni fondamentali mentre avviene.

Se una tecnologia tipo il PASTA viene sviluppata principalmente (o per prima) nel paese X, il governo del paese X potrebbe prendere molte decisioni cruciali su se e come regolamentare una potenziale esplosione di nuove tecnologie.
Inoltre, le persone e le organizzazioni che in quel momento sono alla guida dell’IA e di altre tecnologie potrebbero essere particolarmente influenti in queste decisioni.

Ciò significa che potrebbe essere molto importante “chi è alla guida dell’IA trasformativa”: quale Paese o quali Paesi, quali persone o organizzazioni.

I governi che faranno da apripista all’IA trasformativa saranno regimi autoritari?
Quali governi hanno maggiori probabilità di avere (effettivamente) una ragionevole comprensione dei rischi e della posta in gioco, quando prendono decisioni fondamentali?
Quali governi hanno meno probabilità di cercare di usare la tecnologia avanzata per consolidare il potere e il dominio di un gruppo? (Purtroppo, non posso dire che ce ne sia qualcuno che mi piaccia molto). Quali sono più propensi a lasciare aperta la possibilità di cose come “evitare risultati bloccati, lasciando il tempo al progresso generale in tutto il mondo di aumentare le probabilità di un buon risultato per tutti?”.
Domande simili valgono per le persone e le organizzazioni che guidano la strada dell’IA trasformativa. Quali sono quelle che hanno maggiori probabilità di spingere le cose in una direzione positiva?

Alcuni ritengono che oggi si possano fare affermazioni sicure su quali Paesi specifici, e/o quali persone e organizzazioni, dovremmo sperare che siano alla guida dell’IA trasformativa. Queste persone potrebbero sostenere azioni come:

Aumentare le probabilità che i primi sistemi PASTA siano costruiti in Paesi meno autoritari, il che potrebbe significare, ad esempio, spingere per maggiori investimenti e attenzione allo sviluppo dell’IA in questi Paesi.
Sostenere e cercare di accelerare i laboratori di IA gestiti da persone che probabilmente prenderanno decisioni sagge (su questioni come il rapporto con i governi, quali sistemi di IA pubblicare e distribuire piuttosto che tenere segreti, ecc.)

Perché temo che la “competizione” sia sopravvalutata rispetto alla “cautela”

Per impostazione predefinita, mi aspetto che molte persone gravitino verso il modello della “competizione” piuttosto che verso quello della “cautela”, per ragioni che non ritengo eccezionali, quali:

Penso che le persone siano naturalmente più animate dall’idea di “aiutare i buoni a battere i cattivi” piuttosto che dall’idea di “aiutare tutti noi a evitare di ottenere un risultato universalmente negativo, per ragioni impersonali come ‘abbiamo progettato sistemi di intelligenza artificiale approssimativi’ o ‘abbiamo creato una dinamica in cui la fretta e l’aggressività sono premiate’.
Mi aspetto che le persone tenderanno ad essere troppo sicure di sé su quali sono i Paesi, le organizzazioni o le persone “buone”.
Abbracciando il modello della “competizione” si tende a intraprendere azioni (come lavorare per accelerare lo sviluppo dell’IA di un particolare Paese o di un’organizzazione) che sono redditizie, eccitanti e stimolanti. Abbracciare il modello della “cautela” spesso non dà queste sensazioni.
Le maggiori preoccupazioni su cui si concentra il modello della “cautela” — IA disallineata e Maturità tecnologica antagonistica — sono un po’ astratte e difficili da comprendere. Per molti versi sembrano essere i rischi più alti, ma è più facile essere visceralmente spaventati dal rischio di “rimanere indietro rispetto a paesi/organizzazioni/persone che mi spaventano” che essere visceralmente spaventati da qualcosa come “ottenere un cattivo risultato per il futuro a lungo termine della galassia perché abbiamo affrettato le cose in questo secolo”.
- Penso che l’IA disallineata sia un rischio particolarmente difficile da prendere sul serio per molti. Suona stravagante e fantascientifico; le persone che se ne preoccupano tendono a essere interpretate come se stessero immaginando qualcosa come Terminator, e può essere difficile che le loro preoccupazioni più dettagliate vengano comprese.
- Spero di pubblicare in futuro altri post che aiutino a dare un’idea intuitiva del perché ritengo che il rischio legato all’IA sia reale.

Quindi, a scanso di equivoci, dirò che ritengo che lail modello della “cautela” abbia molte carte in regola. In particolare, IA disallineata e Maturità Tecnologica Antagonistica sembrano molto peggio di altri potenziali tipi di transizione, ed entrambe sembrano cose che hanno una reale possibilità di rendere l’intero futuro della nostra specie (e dei suoi successori) molto peggiore di quanto potrebbe essere.

Temo che un’eccessiva attenzione alla “competizione” porti a minimizzare il rischio di disallineamento e ad affrettare la messa in opera di sistemi non sicuri e imprevedibili, che potrebbero avere molte conseguenze negative.

Detto questo, do molta importanza a entrambi i modelli, ma resto nel complesso ho ancora dei dubbi su quale sia il modello più importante e utile (se lo è l’uno o l’altro).

Domande fondamentali aperte per “cautela” vs. “competizione”

Le persone che adottano il modello della “cautela” e quelle che adottano il modello della “competizione” spesso favoriscono azioni molto diverse, persino contraddittorie. Le azioni che sembrano importanti per le persone in una modello spesso sembrano attivamente dannose per le persone nell’altra.

Ad esempio, le persone che si collocano nel modello della “competizione” spesso sono favorevoli ad andare avanti il più velocemente possibile nello sviluppo di sistemi di intelligenza artificiale più potenti; per le persone che si collocano nel modello della “cautela”, la fretta è una delle cose principali da evitare. Le persone che si collocano nel modello della “competizione” sono spesso favorevoli a relazioni estere antagonistiche, mentre quelle che si collocano nel modello della “cautela” desiderano che le relazioni estere siano più cooperative.

(Detto questo, questa dicotomia è una semplificazione. Molte persone, me compreso, si ritrovano in entrambi i modelli e ciascuno dei due potrebbe implicare azioni normalmente associate all’altro; per esempio, potreste adottare il modello della “cautela”, ma ritenere che sia necessario affrettarsi ora per stabilire un paese con un vantaggio abbastanza chiaro nell’IA che possa poi prendersi il suo tempo, dare priorità all’evitare un’IA disallineata, ecc.)

Vorrei potervi dire con sicurezza quanto peso attribuire a ciascun modello e quali azioni hanno maggiori probabilità di essere utili, ma non posso. Penso che avremmo più chiarezza se avessimo risposte migliori ad alcune domande chiave aperte:

Domanda aperta: quanto è difficile il problema dell’allineamento?

Il percorso verso il futuro che sembra peggiore è quello dell’IA disallineata⁠i.

Alcuni ritengono che il problema dell’allineamento sarà molto difficile, che la nostra unica speranza di risolverlo è in un mondo in cui disponiamo di enormi quantità di tempo e non siamo in competizione per sviluppare un’IA avanzata e che evitare il risultato “IA disallineata” dovrebbe essere di gran lunga la considerazione dominante per il secolo più importante. Queste persone tendono a favorire fortemente gli interventi di “cautela” descritti sopra: credono che affrettare lo sviluppo dell’IA aumenti il nostro rischio già sostanziale legato all’IA di ottenere il peggior risultato possibile.
Alcuni credono che sarà facile e/o che l’intera idea di “IA disallineata” sia fuorviante, sciocca o addirittura incoerente, una pianificazione per un evento futuro troppo specifico. Queste persone sono spesso più interessate agli interventi sulla “competizione” descritti in precedenza: ritengono che l’IA avanzata sarà probabilmente utilizzata in modo efficace da qualsiasi Paese (o in alcuni casi da piccole coalizioni o aziende) che la svilupperà per primo, e quindi la domanda è “chi la svilupperà per primo?”.
E molte persone si trovano in una posizione intermedia.

La diffusione in questo caso è estrema. Ad esempio, si vedano i risultati di un “sondaggio informale a due domande [inviato] a ~117 persone che si occupano di rischio dell’IA a lungo termine, in cui si chiedeva il livello di rischio esistenziale legato al fatto che ‘l’umanità non fa abbastanza ricerca sulla sicurezza tecnica dell’IA’ e che ‘i sistemi di IA non fanno/ottimizzano ciò che le persone che li impiegano vogliono/intendono’”. (Come mostra il grafico a dispersione, le persone hanno dato risposte simili alle due domande).

Abbiamo intervistati che pensano che ci sia una probabilità inferiore al 5 % che i problemi di allineamento riducano drasticamente le possibilità di un bel futuro; intervistati che pensano che ci sia una probabilità superiore al 95%; e praticamente tutto quello che c’è in mezzo.⁠j La mia sensazione è che questa sia una rappresentazione corretta della situazione: anche tra le poche persone che hanno trascorso più tempo a pensare a questi argomenti, non c’è praticamente alcun consenso o convergenza su quanto sarà difficile il problema dell’allineamento.

Spero che col tempo il campo delle persone che fanno ricerca sull’allineamento dell’IA⁠k cresca e che, con il progredire della ricerca sull’IA e sull’allineamento, si faccia chiarezza sulla difficoltà del problema dell’allineamento dell’IA. Questo, a sua volta, potrebbe fornire maggiore chiarezza sulla priorità della “cautela” rispetto alla “competizione”.

Altre domande aperte

Anche se fosse chiara la difficoltà del problema dell’allineamento, rimarrebbero molte domande spinose.

Dobbiamo aspettarci un’IA trasformativa entro i prossimi 10-20 anni o molto più tardi? I principali sistemi di IA passeranno da molto limitati a molto capaci rapidamente (“hard takeoff”) o gradualmente (“slow takeoff”)?⁠l Dobbiamo sperare che i progetti governativi svolgano un ruolo importante nello sviluppo dell’IA o che l’IA trasformativa emerga principalmente dal settore privato? Alcuni governi sono più propensi di altri a lavorare per un uso attento, inclusivo e umano dell’IA trasformativa? Cosa dovremmo sperare che faccia un governo (o un’azienda) se ottiene la capacità di accelerare drasticamente il progresso scientifico e tecnologico attraverso l’IA?

Tenendo a mente queste e altre domande, spesso è molto difficile analizzare una singola azione, come l’avvio di un nuovo laboratorio di IA, la richiesta di maggiore cautela e di salvaguardie nello sviluppo dell’IA di oggi, ecc., e dire se aumenta la probabilità di buoni risultati a lungo termine.

Azioni solidamente utili

Nonostante questo stato di incertezza, ecco alcune cose che sembrano decisamente utile fare al momento:

Ricerca tecnica sul problema dell’allineamento. Alcuni ricercatori lavorano alla costruzione di sistemi di IA in grado di ottenere “risultati migliori” (vincere più giochi da tavolo, classificare correttamente più immagini, ecc), ma un numero più esiguo lavora su problemi come:

Addestrare i sistemi di IA a incorporare il feedback umano nel modo in cui eseguono i compiti di sintesi, in modo che i sistemi di IA riflettano le preferenze umane difficilmente definibili, cosa che potrebbe essere importante poter fare in futuro.
Capire “cosa pensano e come ragionano i sistemi di IA” per renderli meno misteriosi.
Capire come impedire ai sistemi di IA di esprimere giudizi estremamente negativi su immagini progettate per ingannarli, e altri lavori incentrati sull’evitare i comportamenti “peggiori” dei sistemi di IA.
Lavoro teorico su come un sistema di IA possa essere molto avanzato, ma non imprevedibile nei modi sbagliati.

Questo tipo di lavoro potrebbe ridurre il rischio legato all’IA disallineata e/o portare a una maggiore chiarezza su quanto sia grande la minaccia. Alcune si svolgono nel mondo accademico, altre nei laboratori di IA e altre ancora in organizzazioni specializzate.

Ricerca di chiarezza strategica: fare ricerca che potrebbe affrontare altre domande cruciali (come quelle elencate sopra), per aiutare a chiarire quali tipi di azioni immediate sembrano più utili.

Aiutare i governi e le società a diventare, beh, più gentili. Aiutare il Paese X ad anticipare gli altri nello sviluppo dell’IA potrebbe migliorare o peggiorare le cose, per le ragioni sopra esposte. Ma sembra decisamente positivo lavorare per un Paese X con valori migliori e più inclusivi, e un governo i cui decisori chiave abbiano maggiori probabilità di prendere decisioni ponderate e orientate ai buoni valori.

Diffondere idee e costruire comunità. Oggi, mi sembra che il mondo sia estremamente a corto di persone che condividano alcune aspettative e preoccupazioni di base, come ad esempio:

Credere che la ricerca sull’IA possa portare a cambiamenti rapidi e radicali del tipo estremo descritto qui (ben oltre cose come, ad esempio, l’aumento della disoccupazione).
Credere che il problema dell’allineamento (discusso sopra) sia almeno plausibilmente una preoccupazione reale, e prendere sul serio il modello della “cautela”.
Guardare all’intera situazione nell’ottica di “Otteniamo il miglior risultato possibile per il mondo intero sul lungo periodo”, in contrapposizione a prospettive più comuni come “Cerchiamo di fare soldi” o “Cerchiamo di far sì che il mio Paese guidi il mondo nella ricerca sull’IA”.

Penso che sia molto importante che ci siano più persone con questo obiettivo di base, in particolare che lavorano per i laboratori di IA e per i governi. Se e quando avremo maggiore chiarezza strategica su quali azioni potrebbero massimizzare le probabilità che il “secolo più importante” vada bene, mi aspetto che queste persone siano nella posizione di potersi rendere utili.

Diverse organizzazioni e persone si sono adoperate per esporre le persone all’obiettivo di cui sopra e per aiutarle a incontrare altri che lo condividono. Credo che un buon numero di progressi (in termini di crescita delle comunità) sia venuto da questo.

Donazioni? Si può donare oggi a luoghi come questo. Ma devo ammettere che, in generale, non c’è un’equazione diretta tra “denaro” e “migliorare le probabilità che il secolo più importante vada bene”. Non è detto che se si inviassero semplicemente, ad esempio, mille miliardi di dollari nel posto giusto, potremmo tutti dormire sonni tranquilli di fronte a sfide come il problema dell’allineamento e i rischi di distopie digitali.

Mi sembra che attualmente, come specie, siamo terribilmente a corto di persone che prestino una qualsiasi attenzione alle sfide più importanti che ci attendono, e non abbiamo fatto il lavoro necessario per avere una buona chiarezza strategica sulle azioni tangibili da intraprendere. Non possiamo risolvere questo problema con il denaro.⁠m Prima di tutto, dobbiamo prenderlo più seriamente e comprenderlo meglio.

Il prossimo (e ultimo) articolo della serie: Un appello a rimanere vigili

Pubblicazione originale: Holden Karnofsky (2021) How to make the best of the most important century?, Cold Takes, 14 di settembre.