Questo articolo inizia con un riassunto di quando dovremmo aspettarci lo sviluppo di un’IA trasformativa, sulla base delle molteplici prospettive trattate in precedenza nella serie. Penso che sia utile anche se avete letto tutti gli articoli precedenti, ma se volete saltarlo, cliccate qui.
In seguito affronto la domanda: “Perché non c’è un solido consenso di esperti su questo argomento e cosa significa per noi?”.
Penso che ci sia più del 10 % di possibilità di vedere un’IA trasformativa entro 15 anni (entro il 2036); 50 % di possibilità di vederla entro 40 anni (entro il 2060); e 2/3 di possibilità di vederla in questo secolo (entro il 2100).
(Per “IA trasformativa” intendo “un’IA abbastanza potente da portarci in un futuro nuovo e qualitativamente diverso”. Mi concentro in particolare su ciò che chiamo PASTA: sistemi di intelligenza artificiale che possono essenzialmente automatizzare tutte le attività umane necessarie per accelerare il progresso scientifico e tecnologico. Ho già sostenuto che un PASTA potrebbe essere sufficiente a rendere questo il secolo più importante, grazie al potenziale di Error: no children passed to this tooltip e ai .)
Questa è la mia conclusione, basata su una serie di rapporti tecnici che affrontano le previsioni sull’IA da diverse angolazioni. Molti di questi rapporti sono stati prodotti da Open Philanthropy negli ultimi anni, quando abbiamo cercato di sviluppare un quadro completo delle previsioni sull’IA trasformativa per informare i nostri finanziamenti lungoterministi.
Ecco un riassunto in una sola tabella delle diverse implicazioni della previsione sull’IA trasformativa che ho discusso, con link a discussioni più dettagliate in post precedenti e ai rapporti tecnici sottostanti:
Il sondaggio degli esperti implicaa una probabilità del ~20 % entro il 2036; ~50 % entro il 2060; ~70 % entro il 2100. Domande leggermente diverse (poste a una minoranza di intervistati) danno stime molto più tardive.
Framework degli ancoraggi biologici. In base agli schemi abituali dei costi di “addestramento dell’IA”, quanto costerebbe addestrare un modello di IA grande come un cervello umano per svolgere i compiti più difficili per gli esseri umani? E quando sarà abbastanza economico da potersi aspettare che qualcuno lo faccia?
Ci sono molte ragioni per pensare che questo secolo sia un secolo “speciale” prima di guardare ai dettagli dell’IA. Molte delle ragioni sono state trattate nei pezzi precedenti; un’altra è trattata nella riga successiva.
Che previsioni faresti sulle tempistiche di sviluppo dell’IA, basandoti solo su informazioni di base su (a) quanti anni le persone hanno cercato di costruire un’IA trasformativa; (b) quanto hanno “investito” in essa (in termini di numero di ricercatori sull’IA e di potenza di calcolo dell’IA utilizzata); (c) se l’hanno già fatto (finora, non l’hanno fatto)? (More)
Stime centrali: 8 % entro il 2036; 13 % entro il 2060; 20 % entro il 2100.b A mio avviso, questo rapporto evidenzia che la storia dell’IA è breve, gli investimenti nell’IA stanno aumentando rapidamente e quindi non dovremmo essere troppo sorpresi se l’IA trasformativa verrà sviluppata presto.
Sulla base dell’analisi dei modelli economici e della storia economica, quanto è probabile una “crescita esplosiva” — definita come una crescita annua dell’economia mondiale superiore al 30 % — entro il 2100? È abbastanza al di fuori di ciò che è “normale” da dover dubitare della conclusione? (More)
Report on whether AI could drive explosive economic growth conclude: “Trovo che le considerazioni economiche non forniscano una buona ragione per scartare la possibilità che la TAI (acronimo inglese per “IA trasformativa”) venga sviluppata in questo secolo. In effetti, esiste una prospettiva economica plausibile da cui ci si aspetta che i sistemi di IA sufficientemente avanzati causino una crescita esplosiva”.
”In che modo le persone hanno previsto l’IA… in passato, e dovremmo modificare le nostre opinioni oggi per correggere i modelli che possiamo osservare nelle previsioni precedenti? … Abbiamo sentito l’opinione che l’IA sia stata soggetta a ripetuti annunci eccessivi in passato, e che quindi dovremmo aspettarci che le proiezioni odierne siano probabilmente troppo ottimistiche”. (More)
“Il picco dell’hype per l’IA sembra essere stato raggiunto tra il 1956 e il 1973. Tuttavia, il livello di hype derivante da alcune delle più note previsioni sull’IA di questo periodo è comunemente esagerato.”
Per trasparenza, si noti che molte delle relazioni tecniche sono analisi di Open Philanthropy, di cui io sono co-CEO.
Dopo aver considerato quanto sopra, mi aspetto che alcuni lettori provino ancora un senso di disagio. Anche se pensano che le mie argomentazioni siano sensate, potrebbero chiedersi: se questo è vero, perché non è più ampiamente discusso e accettato? Qual è l’opinione degli esperti?
La mia sintesi dello stato dell’opinione degli esperti in questo momento è la seguente:
Le affermazioni che sto facendo non contraddicono nessun particolare consenso di esperti. (In effetti, le probabilità che ho indicato non sono troppo lontane da ciò che i ricercatori di IA sembrano prevedere, come mostrato nella prima riga). Ma ci sono alcuni segnali che ci fanno pensare che non stanno riflettendo troppo sulla questione.
I rapporti tecnici di Open Philanthropy su cui ho fatto affidamento sono stati sottoposti a una significativa revisione da parte di esperti esterni. Ricercatori di machine learning hanno revisionato Draft report on AI timelines; neuroscienziati hanno revisionato How much computational power does it take to match the human brain?; gli economisti hanno recensito Report on whether AI could drive explosive economic growth; gli accademici focalizzati su argomenti rilevanti in materia di incertezza e/o probabilità hanno recensito Semi-informative priors over AI timelines.c (Alcune di queste recensioni presentavano punti di disaccordo significativi, ma nessuno di questi punti sembrava essere un caso in cui i rapporti contraddicevano un chiaro consenso degli esperti o della letteratura).
Ma non c’è nemmeno un consenso attivo e solido di esperti a sostegno di affermazioni come “C’è almeno il 10 % di possibilità di un’IA trasformativa entro il 2036” o “C’è una buona probabilità che ci troviamo nel secolo più importante per l’umanità ”, come invece c’è a sostegno, ad esempio, della necessità di agire contro il cambiamento climatico.
In definitiva, le mie affermazioni riguardano argomenti che semplicemente non hanno un “campo” di esperti dedicato a studiarli. Questo, di per sé, è un fatto spaventoso e spero che alla fine cambierà.
Ma nel frattempo dovremmo essere disposti ad agire sull’ipotesi del “secolo più importante”?
Di seguito parlerò:
Di come potrebbe essere un “settore di previsione sull’IA”.
-Di una “visione scettica” che sostiene che le discussioni odierne su questi temi sono troppo piccole, omogenee e isolate (su questo sono d’accordo) — e che quindi non dovremmo agire sull’ipotesi del “secolo più importante” finché non ci sarà un campo maturo e robusto (su questo non sono d’accordo).
Perché penso che dovremmo prendere sul serio l’ipotesi nel frattempo, finché, e a meno che, non si sviluppi un tale settore:
Non abbiamo tempo di aspettare un solido consenso di esperti.
Se ci sono buone confutazioni in giro — o potenziali futuri esperti che potrebbero sviluppare tali confutazioni — non le abbiamo ancora trovate. Più l’ipotesi viene presa sul serio, più è probabile che tali confutazioni appaiano. (Ovvero la teoria della Legge di Cunningham: “il modo migliore per ottenere una risposta giusta è pubblicare una risposta sbagliata”).
Penso che insistere costantemente su un solido consenso di esperti sia un modello di ragionamento pericoloso. A mio avviso, è giusto correre il rischio di auto-illudersi e di essere isolati, a patto poi di fare la cosa giusta quando è più importante.
Che tipo di competenza è la competenza in previsione sull’IA?
Le domande analizzate nei rapporti tecnici elencati sopra comprendono:
Le capacità dell’IA stanno diventando sempre più impressionanti nel tempo? (IA, storia dell’IA)
Come possiamo confrontare i modelli di IA con i cervelli animali e umani? (IA, neuroscienze)
Come possiamo confrontare le capacità dell’IA con quelle degli animali? (IA, etologia)
Come possiamo stimare il costo dell’addestramento di un grande sistema di intelligenza artificiale per un compito difficile, basandoci sulle informazioni che abbiamo sull’addestramento di sistemi di IA precedenti? (IA, curve fitting)
Come possiamo fare una stima con informazioni minime sull’IA trasformativa, basandoci solo su quanti anni/ricercatori/dollari sono stati investiti finora in questo campo? (Filosofia, probabilità)
Quanto è probabile una crescita economica esplosiva in questo secolo, sulla base della teoria e delle tendenze storiche? (Economia della crescita, storia economica)
Come è stato l‘“entusiasmo per l’IA” in passato? (Storia)
Quando si parla delle implicazioni più ampie dell’IA trasformativa per il “secolo più importante”, ho anche discusso cose come “Quanto sono fattibili le persone digitali e la creazione di insediamenti spaziali in tutta la galassia?”. Questi argomenti toccano la fisica, le neuroscienze, l’ingegneria, la filosofia della mente e altro ancora.
Non c’è un lavoro o delle credenziali che facciano di qualcuno un esperto sulla questione di quando possiamo aspettarci un’IA trasformativa, o se siamo nel secolo più importante.
(In particolare, non sono d’accordo con l’affermazione secondo cui dovremmo affidarci esclusivamente ai ricercatori sull’IA per queste previsioni. Oltre al fatto che non sembra che stiano pensando molto intensamente all’argomento, credo che affidarsi a persone specializzate nella costruzione di modelli di IA sempre più potenti per dirci quando potrebbe arrivare l’IA trasformativa sia come affidarsi alle aziende di ricerca e sviluppo dell’energia solare (o alle aziende di estrazione del petrolio, a seconda di come la si guardi) per fare previsioni sulle emissioni di carbonio e sul cambiamento climatico. Certamente hanno una visione sul tema, ma la previsione è un’attività distinta dall’innovazione o dalla costruzione di sistemi all’avanguardia).
E non sono nemmeno sicuro che queste domande abbiano la forma giusta per un campo accademico. Cercare di fare previsioni sull’IA trasformativa, o determinare le probabilità che ci troviamo nel secolo più importante, mi sembra:
Più simile al modello elettorale di FiveThirtyEight (“Chi vincerà le elezioni?”) che alla scienza politica accademica (“Come interagiscono i governi e gli elettori?”);
Più simile al trading dei mercati finanziari (“Questo prezzo salirà o scenderà in futuro?”) che all’economia accademica (“Perché esistono le recessioni?”);d
Più simile alla ricerca di GiveWell (“Quale organizzazione di beneficenza aiuterà di più le persone, per dollaro?”) che all’economia dello sviluppo accademica (“Cosa causa la povertà e cosa può ridurla?”)e
In altre parole, non mi è chiaro quale possa essere la “sede istituzionale” naturale per le competenze sulla previsione sull’IA e sul “secolo più importante”. Ma mi sembra giusto dire che oggi non esistono grandi e solide istituzioni dedicate a questo tipo di domande.
Come dovremmo agire in assenza di un solido consenso di esperti?
Il punto di vista scettico
In mancanza di un solido consenso di esperti, mi aspetto che alcune persone (in realtà, la maggior parte) siano scettiche, a prescindere dagli argomenti presentati.
Ecco una versione di una reazione scettica molto generale per la quale provo una certa empatia:
Stai facendo un’affermazione esagerata sul fatto di vivere nel secolo più importante. Questo comportamento corrisponde all’auto-illusione.
Avete sostenuto che l’onere della prova non dovrebbe essere così alto, perché ci sono molti indizi che portano a credere di vivere in un’epoca notevole e instabile. Ma … Non mi fido di me stesso per valutare queste affermazioni, o le vostre affermazioni sull’IA, o qualsiasi altra cosa su questi argomenti così estremi.
Sono preoccupato da quante poche persone sembrano impegnarsi in questi argomenti. Per quanto piccola, omogenea e isolata sembri essere la discussione. Nel complesso, sembra più una storia che persone intelligenti si stanno raccontando (con un sacco di grafici e numeri per razionalizzarla) sul loro posto nella storia. Non sembra “reale”.
Ripassa quando ci sarà un settore maturo di forse centinaia o migliaia di esperti, che si criticano e si valutano a vicenda, e avranno raggiunto lo stesso tipo di consenso che vediamo per il cambiamento climatico.
Capisco che possiate sentirvi così. Anch’io mi sono sentito così a volte, specialmente sui punti #1-#4. Ma darò tre ragioni per cui il punto #5 non mi sembra corretto.
Ragione 1: non possiamo aspettare un solido consenso di esperti
Temo che l’arrivo di un’IA trasformativa possa essere una sorta di versione al rallentatore e a più alto rischio della pandemia di COVID-19. Se si considerano le migliori informazioni e analisi oggi disponibili, è lecito aspettarsi che accadrà qualcosa di grosso. Ma la situazione presenta molte incognite, non rientra negli schemi che le nostre istituzioni gestiscono regolarmente. E ogni anno in più di azione è prezioso.
Si potrebbe anche pensare a una versione accelerata della dinamica del cambiamento climatico. Immaginate se le emissioni di gas serra avessero iniziato ad aumentare solo di recentef (invece che a metà del 1800), e se non esistesse un campo consolidato della climatologia. Sarebbe una pessima idea aspettare decenni per la nascita di un campo, prima di cercare di ridurre le emissioni.
Motivo 2: la Legge di Cunningham (“il modo migliore per ottenere una risposta giusta è postare una risposta sbagliata”) potrebbe essere la nostra migliore speranza di trovare la falla in questi argomenti
Sono serio, però.
Diversi anni fa, alcuni colleghi e io abbiamo sospettato che l’ipotesi del “secolo più importante” potesse essere vera, ma prima di impegnarci troppo volevamo vedere se potevamo trovarvi delle falle fatali.
Un modo di interpretare le nostre azioni negli ultimi anni è come se stessimo facendo tutto il possibile per imparare che l’ipotesi è sbagliata.
Per prima cosa, abbiamo cercato di parlare con le persone che lavorano negli ambiti fondamentali: ricercatori di IA, economisti, ecc. Ma:
Avevamo idee vaghe delle argomentazioni di questa serie (per lo più o forse interamente raccolte da altre persone). Non eravamo in grado di esporle con chiarezza e specificità.
C’erano molti punti essenziali che pensavamo potessero essere verificati,g ma che non avevamo ancora messo a fuoco e che non potevamo presentare per una revisione.
Nel complesso, non siamo riusciti ad articolare un discorso abbastanza concreto per dare agli altri la possibilità di respingerlo.
Ci siamo quindi impegnati a fondo nella creazione di relazioni tecniche su molti degli argomenti chiave. (Queste relazioni sono ora pubbliche e disponibili nella tabella in cima all’articolo.) In questo modo ci siamo messi nella condizione di pubblicare le argomentazioni e di incontrare possibili controargomentazioni fatali.
Poi abbiamo commissionato delle revisioni ad esperti esternih.
Parlando solo a titolo personale, l’ipotesi del “secolo più importante” sembra essere sopravvissuta a tutto questo. Anzi, dopo aver esaminato i vari aspetti e aver approfondito i dettagli, ne sono più convinto di prima.
Ma diciamo che questo è dovuto al fatto che i veri esperti — persone che non abbiamo ancora trovato, con controargomentazioni devastanti — trovano l’intera faccenda così sciocca che non si preoccupano di impegnarsi. Oppure, diciamo che oggi ci sono persone che potrebbero un giorno diventare esperte di questi argomenti e demolire queste argomentazioni. Cosa potremmo fare per arrivarci?
La risposta migliore che ho trovato è: “Se questa ipotesi diventasse più conosciuta, più ampiamente accettata e più influente, riceverebbe un maggiore scrutinio”.
Questa serie è un tentativo di fare un passo in questa direzione, per dare maggiore credibilità all’ipotesi del “secolo più importante”. Sarebbe una buona cosa se l’ipotesi fosse vera; sembra anche il miglior passo successivo se il mio unico obiettivo fosse quello di mettere in discussione le mie convinzioni e scoprire che è falsa.
Naturalmente, non sto dicendo di accettare o promuovere l’ipotesi del “secolo più importante” se non vi sembra corretta. Ma penso che se la vostra unica riserva riguarda la mancanza di un solido consenso, continuare a ignorare la situazione sembra strano. Se le persone si comportassero in questo modo in generale (ignorando qualsiasi ipotesi che non sia sostenuta da un solido consenso), non sono certo di capire in che modo una qualsiasi ipotesi (comprese quelle vere) potrebbe allora passare da marginale ad accettata.
Ragione 3: lo scetticismo così generale sembra una cattiva idea
Quando mi occupavo di GiveWell, di tanto in tanto le persone dicevano qualcosa del tipo: “Sai, non puoi sottoporre ogni argomento agli standard a cui GiveWell sottopone le sue organizzazioni di beneficenza consigliate (ricerca di studi randomizzati controllati, solidi dati empirici, ecc.). Alcune delle migliori opportunità di fare del bene saranno quelle meno ovvie, quindi questo standard rischia di escludere alcune delle maggiori opportunità potenziali di produrre un impatto”.
La trovo un’argomentazione corretta. Penso che sia importante verificare il proprio approccio generale al ragionamento e agli standard probatori e chiedersi: “Quali sono gli scenari in cui il mio approccio fallisce e in cui preferirei davvero che avesse successo?”. A mio avviso, è giusto correre il rischio di auto-illudersi e di essere isolati, a fronte di fare la cosa giusta quando conta di più.
Penso che la mancanza di un solido consenso di esperti e le preoccupazioni per l’auto-illusione e l’isolamento forniscano una buona ragione per “scavare a fondo” sull’ipotesi del “secolo più importante”, piuttosto che accettarla immediatamente. Chiedere dove potrebbe esserci una falla non scoperta, cercare qualche pregiudizio nel gonfiare la nostra importanza, ricercare le parti più discutibili dell’argomentazione, ecc.
Ma se avete indagato sulla questione nel modo in cui era ragionevole/pratico per voi e non avete trovato un difetto al di là di considerazioni come “Non c’è un solido consenso di esperti” e “Sono preoccupato per l’auto-illusione e l’isolamento”, allora penso che scartare l’ipotesi sia il tipo di cosa che essenzialmente garantisce che non sarete tra le prime persone a notare e ad agire su una questione di enorme importanza, se si presenterà l’opportunità. Penso che questo sia un sacrificio eccessivo, in termini di rinuncia a potenziali opportunità di fare del bene.
