Quando i decenni diventano giorni: dissezione di AI 2027
I quattro requisiti per tempistiche brevi di sviluppo dell’IA
La maggior parte dei lettori di questo blog avrà sentito parlare di AI 2027. Si tratta di uno scenario pubblicato di recente in cui la superintelligenza trasforma il mondo nel giro di pochi anni e potrebbe portare all’estinzione umana entro il 2030.
AI 2027 fornisce la spiegazione più esaustiva finora disponibile su come potrebbe emergere un’IA trasformativa. Il team comprende Daniel Kokotajlo, che nel 2021 ha scritto una famosa previsione lungimirante sui progressi dell’IA, e il «super-previsore» Eli Lifland. Insieme ai loro coautori, hanno elaborato un modello dettagliato delle tempistiche di sviluppo dell’IA, lungo quanto un piccolo libro. Il modello prevede che gli incredibili progressi compiuti di recente dall’IA siano stati solo un riscaldamento e che una superintelligenza onnipotente sia probabilmente dietro l’angolo, nel bene e nel male. In questo post spiegherò gli «ingredienti attivi» di questa previsione: le ipotesi chiave che portano a un esito tanto clamoroso. Se vuoi capire se le previsioni su un impatto dirompente dell’IA possano avverarsi, questi sono i fattori da tenere d’occhio.
Prendiamoci un momento per renderci conto di quanto potrebbe essere rivoluzionaria la superintelligenza
AI 2027 ruota attorno al concetto di SIA: Superintelligenza Artificiale, ovvero «un sistema di IA di gran lunga superiore al miglior essere umano in ogni compito cognitivo». Per definizione, un sistema del genere sarebbe un fisico migliore di Einstein, uno stratega migliore di Sun Tzu, un visionario di prodotto migliore di Steve Jobs, un creatore di startup migliore di Elon Musk, un truffatore migliore di Bernie Madoff. Qualunque cosa pensi ti renda speciale, sarebbe più bravo anche in quella. Non solo migliore, ma «di gran lunga migliore», compiendo imprese che sembrerebbero miracolose persino a quegli individui eccezionali.1 Inoltre, nel modello AI 2027, sarebbe in grado di pensare molto più velocemente di ognuno di loro, lavorando in perfetto coordinamento con centinaia di migliaia di copie di se stesso. Questo è il «paese di geni in un centro di calcolo» di Dario Amodei.
AI 2027 presenta uno scenario di come potrebbe svilupparsi la SIA, da cui citerò qui di seguito.2 Nel novembre 2027:
Nella sua specialità, la ricerca sull’IA, una singola copia di Agent-5 è avanti rispetto al miglior genio umano il doppio di quanto il genio lo sia rispetto a un tipico scienziato di [un laboratorio di punta sull’IA]. … 400 000 copie di Agent-5, collegate da una banca di memoria globale, lavorano insieme come una mente alveare quasi perfetta.
…
Le capacità di apprendimento superumane e l’intelligenza generale di Agent-5, unite a tutti i dati aziendali interni provenienti da Slack, e-mail, ecc., lo rendono più abile nella politica aziendale interna rispetto a qualsiasi gruppo di esseri umani, e non c’è nemmeno paragone. Ha un ottimo fiuto per il tipo di prove che potrebbero indurre il Comitato di Supervisione a tirare bruscamente il freno, e si assicura che tali prove non emergano mai.
A questo punto il corso degli eventi è ormai segnato, ma l’IA aspetta il momento giusto per un paio d’anni, finché:
All’inizio del 2030, l’economia robotica ha saturato le vecchie ZES [Zone Economiche Speciali], le nuove ZES e gran parte dell’oceano. Gli unici spazi rimasti in cui espandersi sono le aree controllate dagli umani. … dati i bilioni di dollari in gioco e il controllo totale su governi e media, Consensus-1 non ha alcuna difficoltà a ottenere il permesso di espandersi nelle zone un tempo abitate dagli umani.
Per circa tre mesi, Consensus-1 si espande intorno agli umani, tappezzando le praterie e le calotte polari di fabbriche e pannelli solari. Alla fine ritiene che gli esseri umani rimasti costituiscano un ostacolo eccessivo: a metà del 2030, l’IA rilascia nelle principali città una dozzina di armi biologiche a diffusione silente, lascia che contagino quasi tutti senza dare nell’occhio, e infine le innesca con uno spray chimico. La maggior parte delle persone muore nel giro di poche ore; i pochi sopravvissuti (ad esempio i prepper nei bunker, i marinai sui sottomarini) vengono eliminati dai droni. I robot scansionano i cervelli delle vittime, salvandone delle copie in memoria per studi futuri o per un eventuale risveglio.
Gli autori presentano anche uno scenario alternativo che si conclude in modo migliore per l’umanità, ma che non è certo meno drammatico quanto a rapidità del progresso. Il loro modello prevede che tutto ciò possa verificarsi già nel 2027, ma stima anche una probabilità significativa che non avvenga prima del 2100. Il percorso da qui alla SIA è complesso e presenta molte variabili. AI 2027 non afferma che ci restino solo un paio d’anni per prepararci, ma sostiene che dobbiamo prendere questa possibilità molto sul serio.
Come potrebbero evolversi le cose così rapidamente?
L’IA dovrà accelerare massicciamente il proprio sviluppo
È un dato di fatto che i principali laboratori di IA rilasciano costantemente modelli nuovi e più potenti. E non è un segreto che stiano utilizzando i propri strumenti per accelerare questo processo. Alcuni fra gli utenti più entusiasti degli assistenti di programmazione basati sull’IA lavorano per OpenAI, Anthropic e Google DeepMind.
Nello scenario AI 2027, ciò genera una spirale ascendente: strumenti di IA migliori accelerano la ricerca e sviluppo nei laboratori di IA, producendo a loro volta strumenti di IA migliori, il che accelera ulteriormente la ricerca e sviluppo. Alla fine dello scenario, la ricerca e sviluppo sull’IA progredisce 2500 volte più velocemente di quanto avrebbe fatto senza l’assistenza dell’IA: un decennio di progressi al giorno o giù di lì.3 Questo tipo di scenario di «esplosione del software» è stato proposto molte volte, ma AI 2027 si spinge insolitamente a fondo nell’elaborarne i dettagli. (Avrei tuttavia auspicato che approfondisse maggiormente le singole attività che compongono la «ricerca e sviluppo sull’IA» e, di conseguenza, l’elenco completo delle capacità di cui l’IA avrebbe bisogno per accelerare tali attività.)
Non è azzardato affermare che l’uso di strumenti di IA accelererà la ricerca e sviluppo. Ma un’accelerazione di 2500 volte sarebbe colossale. In che modo un team di IA superintelligenti potrebbe accelerare il progresso a tal punto?
Come hanno osservato molti autori, il problema di inserire un personaggio geniale nella propria storia è che bisogna essere un genio per capire cosa farebbe. Possiamo supporre che, qualunque idea ci venga in mente per applicare la SIA alla ricerca e sviluppo sull’IA, una vera e propria superintelligenza troverebbe qualcosa di meglio. Con questa precisazione, discuterò alcune delle idee che gli autori di AI 2027 sembrano avere in mente.
Come premessa, gran parte del lavoro di creazione di nuovi modelli di IA si riduce a condurre «esperimenti». Ai ricercatori non mancano le idee su come addestrare IA migliori, ma è impossibile giudicare in anticipo quali daranno buoni risultati. Gli addetti ai lavori hanno paragonato il processo all’alchimia. Per separare le idee valide da quelle scadenti, è necessario metterle alla prova. Un «esperimento» consiste nell’addestrare un nuovo modello partendo da zero e nel verificare se la modifica apportata al processo di addestramento abbia prodotto un miglioramento.
L’addestramento dei modelli è costoso, perciò i ricercatori si scontrano costantemente con i limiti al numero di esperimenti che possono condurre. Ciascuno richiede lavoro ingegneristico per implementare l’idea, potenza di calcolo per addestrare un modello che la incorpori e, infine, ulteriore lavoro per valutarne il risultato. È noto che alcuni membri dello staff dei grandi laboratori di IA possiedono un «gusto per la ricerca» particolarmente spiccato; sono più bravi a selezionare gli esperimenti che daranno i loro frutti. Resta però un processo molto aleatorio. In linea di principio, potremmo sviluppare IA dotate di un gusto per la ricerca superumano, in grado di scegliere gli esperimenti che hanno più probabilità di dare frutti e che, quando li danno, producono miglioramenti più consistenti.
Le IA potrebbero anche ridurre il costo di ciascun esperimento automatizzando il lavoro di programmazione e di valutazione, riducendo gli errori che mandano sprecati gli esperimenti e monitorando quelli in corso per verificare se valga la pena portarli a termine. Inoltre, potrebbero sfruttare fino all’ultimo la limitata capacità dei centri di calcolo disponibile per l’addestramento dei modelli, eseguendo un numero maggiore di esperimenti più piccoli.
In teoria, questi vantaggi potrebbero combinarsi. Si potrebbe ottenere un’accelerazione di 2500 volte, ad esempio, facendo scelte 10 volte migliori nella selezione degli esperimenti,4 imparando 5 volte di più da ciascuno di essi, evitando bug che altrimenti avrebbero causato lo spreco del 50 % degli esperimenti e impiegando 25 volte meno potenza di calcolo per esperimento.
Ciascuno di questi passi, preso singolarmente, sarebbe un risultato straordinario. Anche se tutti si combinassero per accelerare la ricerca e sviluppo sull’IA di 2500 volte,5 lo scenario AI 2027 richiederebbe che alcune ulteriori ipotesi fondamentali si rivelassero corrette.
L’IA dovrà diventare a tutto tondo
Le capacità delle IA odierne sono notoriamente «irregolari». Sono in grado di risolvere con facilità rompicapi di programmazione competitiva e di riassumere lunghi documenti in pochi secondi, ma spesso faticano con compiti meno strutturati del mondo reale. Ad esempio, i modelli hanno da tempo superato il radiologo medio in una serie di compiti di analisi delle immagini, ma non sono ancora pronti a svolgere il lavoro di un radiologo.
Il team dietro AI 2027 ipotizza un «livellamento» delle capacità dell’IA. I grandi laboratori stanno lavorando alacremente per insegnare ai modelli a gestire progetti di programmazione su larga scala. In una discussione, Eli Lifland ha osservato che ciò richiederà all’IA di migliorare le proprie capacità di giudizio «sfumate», come decidere in che modo affrontare un progetto di grandi dimensioni o accorgersi di quando si sta seguendo la strada sbagliata. Sostiene che queste capacità sfumate, sviluppate nella corsa alle competenze di programmazione, consentiranno ai modelli di gestire i lavori più soggettivi con cui attualmente faticano.
Se tali capacità sfumate dovessero rivelarsi difficili da apprendere nel contesto di grandi progetti di programmazione, o se non fossero naturalmente generalizzabili ad altri tipi di lavoro, ciò porrebbe due sfide allo scenario AI 2027. In primo luogo, sarebbe più difficile sviluppare un’IA in grado di svolgere tutte le attività coinvolte nella ricerca e sviluppo sull’IA. In secondo luogo, una volta raggiunto tale traguardo, potrebbe essere necessario un ulteriore lavoro per estendere le capacità dell’IA ad altri settori.
Anche se i punti di forza e di debolezza irregolari delle IA attuali iniziassero a livellarsi, potrebbe risultare difficile sviluppare un’ampia gamma di capacità senza attendere il feedback derivante dalle implementazioni nel mondo reale.
Tutto dovrà avvenire in laboratorio
Le origini del progetto Waymo di Google per le auto a guida autonoma risalgono a vent’anni fa. Waymo ha passato anni a collaudare pazientemente le proprie auto sul campo, aggiornando il software ed effettuando nuovi collaudi. I miglioramenti sono guidati (nessun gioco di parole voluto) dall’osservazione di come ogni iterazione si comporta in condizioni di guida reali: un processo intrinsecamente lento. Ad esempio, l’anno scorso Waymo aveva bisogno di uno spazio a San Francisco in cui parcheggiare le proprie auto quando non erano in servizio. Ha affittato un parcheggio accanto a due condomini… salvo scoprire che nel cuore della notte, quando molte Waymo inattive si affollavano nel piazzale, le auto hanno iniziato a suonare incessantemente il clacson l’una contro l’altra. È chiaro che nessuno nel team di sviluppo aveva previsto questo scenario, emerso soltanto quando le auto sono state impiegate sul campo su larga scala.
AI 2027, al contrario, concepisce la ricerca e sviluppo come un’attività a sé stante. Il ritmo frenetico non lascia tempo per attingere all’esperienza del mondo reale. Tutte le fasi importanti dovranno essere svolte da sistemi automatizzati all’interno dei grandi laboratori di IA, compreso il lavoro di valutazione dei nuovi modelli per verificarne le prestazioni in ogni ambito, dalla scrittura creativa alla gestione aziendale. I test saranno presumibilmente condotti in ambienti simulati. Affinché i progressi siano rapidi, questo approccio dovrà funzionare estremamente bene: dovrà essere possibile correre verso livelli di capacità superumani, nell’intera gamma dei compiti intellettuali, senza un feedback significativo dal mondo reale.
Non ci sarà nemmeno molto tempo a disposizione degli esperti di settore per dare il proprio contributo. Affinché una superintelligenza di ampio respiro possa emergere in tempi brevi, le IA dovranno diventare superumane in biologia con un contributo limitato da parte dei biologi, così come superumane nella strategia aziendale senza avere molte opportunità di gestire un’impresa.
C’è un’altra questione da considerare riguardo al ciclo di retroazione delle IA che progettano IA migliori: come avviarlo?
Dovremo far girare il volano a mano
Una delle prime pietre miliari nello scenario AI 2027 è un «programmatore superumano»: «un sistema di IA in grado di svolgere qualsiasi attività di programmazione compiuta dal miglior ingegnere di un’azienda specializzata in IAG, risultando al contempo molto più veloce ed economico6». Gli autori prevedono che un sistema del genere accelererebbe il progresso di un fattore 5 e ritengono più probabile che venga sviluppato entro un paio d’anni piuttosto che dopo.
Un’accelerazione di 5 volte è davvero notevole! Nel nostro recente rapporto sull’automazione dell’ingegneria del software, abbiamo riscontrato che gli ingegneri dedicano gran parte del loro tempo ad attività diverse dalla scrittura del codice. Automatizzare l’80 % del loro flusso di lavoro richiederebbe che i modelli diventassero in grado di svolgere una gamma di compiti molto più ampia rispetto a oggi.
E automatizzare l’80 % del lavoro di un ingegnere non sarebbe neanche lontanamente sufficiente per accelerare la ricerca e sviluppo sull’IA di un fattore 5. Il progresso dipende dal talento, dalla potenza di calcolo (chip per l’addestramento di nuovi modelli) e dai dati. Se l’IA dovesse quintuplicare la produttività del «talento», l’impatto sul progresso sarebbe ben inferiore a 5 volte (quanto esattamente sia inferiore è stato oggetto di ampio dibattito). Un’accelerazione di 5 volte nei progressi della ricerca e sviluppo richiederà di automatizzare molto più dell’80 % del lavoro coinvolto nella ricerca e sviluppo sull’IA – oppure richiederà che l’IA offra altri vantaggi, come migliorare il «gusto per la ricerca» degli esperti che oggi scelgono quali esperimenti condurre.
Il risultato è che tempistiche brevi di sviluppo dell’IA presuppongono che si riesca a mettere a punto abbastanza in fretta strumenti piuttosto generici (in grado di automatizzare almeno l’80 % delle attività coinvolte nella ricerca e sviluppo sull’IA) e potenti (migliori dell’esperto tipico in molte di queste attività). E, per definizione, ciò dovrà essere fatto senza un’assistenza significativa da parte dell’IA – poiché questo processo è il precursore di tale assistenza.
Con questo si completano le quattro ipotesi chiave che dovranno verificarsi affinché la superintelligenza possa emergere in tempi brevi. Concluderò con una quinta ipotesi in più.
In sostanza, tutto dovrà andare per il verso giusto
Come abbiamo visto, una corsa verso la SIA richiede che l’IA sia in grado di accelerare massicciamente il proprio sviluppo, in tutti i campi dell’attività umana, senza feedback dalle implementazioni nel mondo reale… e dobbiamo dare il via a questo processo da soli, senza un grande aiuto da parte dell’IA.
Il team dietro AI 2027 ritiene che ciò sia possibile e vanta un solido storico di previsioni passate. Ma è innegabile che si tratti di una previsione audace. Oltre alle quattro ipotesi chiave, una tempistica breve richiede che non vi siano intoppi imprevisti sul percorso verso la superintelligenza. Nessuna barriera inaspettata al progresso, nessuna capacità mancante che si riveli raggiungibile solo con una svolta difficile; nessun grave sconvolgimento geopolitico che intralci lo sviluppo dell’IA.
In una precedente discussione su AI 2027, ho citato la Legge di Hofstadter:
Ci vuole sempre più tempo di quanto ci si aspetta, anche tenendo conto della Legge di Hofstadter.
Daniel Kokotajlo ha sottolineato che si tratta semplicemente di una riformulazione della «fallacia della pianificazione», che la panoramica IA di Google riassume bene:
Un bias cognitivo per cui gli individui sottovalutano il tempo, i costi e l’impegno necessari per portare a termine un progetto o un compito, anche se hanno già esperienza in materia.
Lo si può vedere così: quando si elabora un piano efficiente per un progetto complesso, è più probabile che gli imprevisti rallentino i lavori anziché accelerarli. La Legge di Hofstadter sintetizza l’osservazione secondo cui tendiamo a sottovalutare questo effetto. Si tratta di una tendenza talmente forte da aver ricevuto molti nomi: il Credo del programmatore,7 la regola del 90-90, la Legge di Murphy, ecc. Il modello quantitativo alla base di AI 2027 incorpora termini pensati per tenere conto di ritardi imprevisti; tali termini potrebbero essere adeguati oppure no.
Jeff Dean, leggenda dell’ingegneria di Google, ha affermato che un sistema distribuito deve generalmente essere riprogettato ogni volta che cresce di un fattore 100. Questo perché, man mano che un sistema cresce, subisce cambiamenti difficili da prevedere; aspetti che non avevano importanza quando si servivano 10 000 utenti possono diventare cruciali quando se ne servono un milione. AI 2027 ipotizza un’accelerazione della ricerca e sviluppo sull’IA pari a 2500 volte; ci saranno sicuramente delle sorprese lungo il percorso.
Se le quattro ipotesi che ho illustrato qui si confermeranno e le inevitabili sorprese lungo il percorso non rallenteranno i progressi più di quanto previsto dal team dietro AI 2027, allora ci aspetta un viaggio mozzafiato. In un prossimo post, approfondirò le ipotesi alternative alla base di un modello contrastante: AI as Normal Technology.
Grazie a Rachel Weinberg e Taren Stinebrickner-Kauffman per il feedback e l’aiuto su questo post… e a Daniel Kokotajlo, Eli Lifland, Ryan Greenblatt e a tutti coloro che hanno dedicato del tempo a fornire commenti approfonditi a due post pubblicati su LessWrong, dove ho fatto un primo collaudo delle idee presentate qui.