Punti in comune tra AI 2027 e AI intesa come tecnologia tradizionale
AI 2027 e AI as Normal Technology sono stati entrambi pubblicati nell’aprile di quest’anno. Entrambi sono stati letti molto più di quanto noi, i loro autori, ci aspettassimo.
Alcuni di noi (Eli, Thomas, Daniel, gli autori di «AI 2027») si aspettano che l’IA trasformi radicalmente il mondo entro il prossimo decennio, fino a includere possibilità fantascientifiche come la superintelligenza, le nanofabbriche e gli sciami di Dyson. Il progresso sarà continuo, ma accelererà rapidamente nel momento in cui le IA automatizzeranno la ricerca sull’IA.
Altri (Sayash e Arvind, gli autori di «AI as Normal Technology») ritengono che gli effetti dell’IA saranno molto più, beh, normali. Sì, possiamo aspettarci una crescita economica, ma si tratterà del miglioramento graduale, anno dopo anno, che ha accompagnato innovazioni tecnologiche come l’elettricità o Internet, non di una rottura radicale nell’arco della storia umana.
Si tratta di divergenze sostanziali, che sono state in parte dibattute qui e qui.
Ciononostante, abbiamo scoperto di avere tutti più punti in comune di quanto ci si potrebbe aspettare.
In questo saggio ci siamo riuniti per discutere i punti su cui concordiamo in merito a come probabilmente procederà (o non procederà) il progresso dell’IA nei prossimi anni.1
1. Prima dell’IAG forte, l’IA sarà una tecnologia normale
In linea di massima, anche gli autori di AI 2027 concordano sul fatto che l’IA sia una tecnologia normale prima dell’intelligenza artificiale generale (IAG) forte.
(Persone diverse intendono cose diverse con l’espressione «IAG forte», il che ha causato una notevole confusione. Ai fini di questo post, intendiamo qualcosa di simile a «esseri umani nel cloud» — ovvero sistemi di IA in grado di apprendere, adattarsi, generalizzare a nuove situazioni, operare in modo autonomo e coordinarsi tra loro almeno al pari dei migliori esseri umani. In generale, possono fare praticamente tutto ciò che sanno fare gli esseri umani, con la stessa efficacia ma in modo più rapido ed economico.)2
Prima di disporre di un’IAG forte, quando i sistemi di IA diventeranno abbastanza validi da automatizzare un qualsiasi compito, gli umani che lo svolgevano potranno probabilmente passare a un altro. Ad esempio, quando una parte del processo di ricerca sull’IA verrà automatizzata, il processo nel suo complesso incontrerà un collo di bottiglia altrove. Di conseguenza, il progresso totale della ricerca accelererà, ma non in modo drastico. L’IA funzionerà principalmente come uno strumento; non sarà in grado di operare in modo autonomo per lunghi periodi. La diffusione dell’IA nell’intera economia continuerà a essere piuttosto graduale: i vari settori affideranno lentamente i compiti alle IA man mano che si convinceranno della loro affidabilità e costruiranno le infrastrutture, le interfacce e i nuovi flussi di lavoro necessari.
2. Un’IAG forte sviluppata e implementata nel futuro prossimo non sarebbe una tecnologia normale
Anche gli autori di AI as Normal Technology concordano sul fatto che, se un’IAG forte venisse sviluppata e implementata nel prossimo decennio, la situazione non sarebbe affatto normale. Poiché l’IAG forte, per definizione, eguaglierà o supererà gli esseri umani migliori in termini di affidabilità, apprendimento, adattamento e generalizzazione, sarà necessariamente più abile di loro nel passare a nuovi compiti man mano che quelli vecchi vengono automatizzati.
Secondo Arvind e Sayash, il concetto di “IAG forte”, o qualsiasi altro concetto di IAG, è una proprietà congiunta del sistema e del suo ambiente. Ritengono che l’IAG forte non verrà sviluppata in laboratorio (ad esempio, scalando i modelli linguistici di grandi dimensioni). Piuttosto, la realizzazione di un’IAG forte richiederà un ciclo di retroazione con il mondo reale che porrà dei limiti al ritmo del progresso. Pertanto, se un’IAG forte venisse sviluppata e implementata nel prossimo decennio, ci troveremmo in un mondo in cui la visione della tecnologia normale ha fallito e/o non è più utile. D’altra parte, un percorso più graduale verso l‘“IAG forte” potrebbe mantenere utile questo quadro di riferimento, sebbene essi ritengano che il punto di arrivo di tale percorso si collochi al di fuori di un orizzonte ragionevolmente prevedibile e pianificabile.
Al contrario, gli autori di «AI 2027» vedono gli attuali sviluppi come precursori dell’IAG forte. Si aspettano che i progressi siano continui, ma rapidi, e che accelerino drasticamente quando le IA automatizzeranno completamente la ricerca sull’IA. Le principali aziende di IA sostengono che automatizzeranno la ricerca sull’IA e raggiungeranno la superintelligenza entro il 2027 o il 2028. Gli autori di «AI 2027» non ne sono certi, ma ritengono che, con ogni probabilità, ciò avverrà entro il prossimo decennio.
3. La maggior parte dei benchmark esistenti probabilmente verrà saturata presto
I progressi nell’IA vengono spesso misurati valutandone la capacità di risolvere problemi tratti da vari «benchmark».3
Siamo tutti convinti che, nei prossimi anni, la maggior parte dei benchmark esistenti, e le loro estensioni standard, raggiungeranno la «saturazione» — ovvero, i sistemi di IA eguaglieranno o supereranno le prestazioni di esperti umani in tutti i compiti oggetto di valutazione.
Per essere più precisi, riteniamo possibile che entro il 2027 o il 2028 i sistemi di IA raggiungano la saturazione in tutti i benchmark di capacità citati nei rapporti tecnici di GPT-5, Claude 4 o Gemini 2.5. Ciò include benchmark di risposta alle domande come MMLU o Humanity’s Last Exam e benchmark agentici come SWE-Bench, RE-Bench, MLE-Bench o Terminal Bench. Se sottoponessimo a un esperto umano nel settore di riferimento una qualsiasi domanda specifica tratta da uno di questi benchmark e lo valutassimo secondo le regole del benchmark stesso, riteniamo possibile che i sistemi di IA ottengano punteggi superiori a quelli dei migliori esseri umani. Crediamo che ciò possa valere anche per i benchmark etichettati come «IAG», come ARC-AGI (v1, v2 o persino v3). Riteniamo inoltre che questo possa applicarsi a un singolo sistema di IA, senza che sia necessario mettere a punto i singoli modelli caso per caso.
Arvind e Sayash ritengono che questi benchmark abbiano una scarsa validità di costrutto e, di conseguenza, che la saturazione non significhi che il compito corrispondente sarà facile da automatizzare. Il semplice fatto che un sistema di IA sia in grado di risolvere i problemi di SWE-Bench con prestazioni superiori a quelle umane non implica che sarà in grado di iniziare a sostituire gli esseri umani nel lavoro di ingegneria del software. Almeno per i prossimi 50 anni, prevedono che ci saranno molti lavori in cui gli umani supereranno le migliori IA.
Thomas, Eli e Daniel concordano sul fatto che esista un importante divario tra i punteggi dei benchmark e l’utilità nel mondo reale; il loro disaccordo verte sull’entità di tale divario. Ritengono che alcuni di questi benchmark (ad esempio, RE-Bench e HCAST) costituiscano un’importante fonte di prova per valutare quanto siamo vicini all’automazione della ricerca e sviluppo nell’ambito dell’IA.
4. Le IA potrebbero ancora fallire regolarmente nell’esecuzione di compiti umani banali; un’IAG forte potrebbe non arrivare in questo decennio
All’estremo opposto, crediamo tutti che, probabilmente, i sistemi di IA continueranno a fallire regolarmente nell’automazione di compiti che gli esseri umani ritengono relativamente semplici. Ad esempio, entro la fine del 2029, nessuno di noi sarebbe così sorpreso se i sistemi di IA non fossero in grado di gestire in modo affidabile compiti semplici come “prenotami un volo per Parigi” utilizzando un normale sito web pensato per gli esseri umani.4
La pensiamo così per la maggior parte dei compiti che le persone affrontano regolarmente nel corso della vita: acquistare prodotti online, compilare la dichiarazione dei redditi, programmare riunioni, ecc. Ci aspettiamo che un sistema di IA sia in grado di ottenere punteggi elevati nelle versioni benchmark di questi compiti, ma una volta calato nel mondo reale, non prevediamo con certezza che riesca a superare costantemente le prestazioni umane.
Riteniamo che ciò sia vero per diversi motivi, ma principalmente perché gestire in modo affidabile la “lunga lista” degli errori rappresenta una sfida. Allo stesso tempo, è possibile che i sistemi di IA risolvano bene i compiti in media, ma si comportino molto peggio di quanto farebbe qualsiasi umano nel caso peggiore. Crediamo che negli ambiti in cui un umano può ragionevolmente verificarne il lavoro, i sistemi di IA saranno sufficientemente affidabili da risultare utili nella pratica. Tuttavia, concordiamo tutti sul fatto che sia possibile che, anche entro il 2029, i sistemi di IA non possano essere utilizzati in contesti ad alta affidabilità.5 Sebbene i modelli di “ragionamento” contribuiscano a mitigare questo genere di semplici incomprensioni, non ci aspettiamo che risolvano del tutto il problema.
Ci aspettiamo tutti che un’IAG forte probabilmente non arriverà prima del 2029 e che, all’inizio del 2029, il mondo sarà ancora sostanzialmente simile a quello di oggi. Ci saranno sistemi di IA in grado di svolgere con successo un numero sempre maggiore di compiti, ma gli esseri umani continueranno sostanzialmente a svolgere la maggior parte delle attività e le IA non saranno in grado di compiere autonomamente nuove scoperte scientifiche.
Arvind e Sayash concordano su questo punto perché non si aspettano che un‘“IAG forte” arrivi a breve.
Ma anche gli autori di AI 2027 concordano, sebbene solo in minima parte; ritengono che il loro scenario di un‘“IAG forte nel 2027” sia plausibile, ma più rapido rispetto alle loro aspettative mediane. Le tempistiche mediane di Daniel, Eli e Thomas per lo sviluppo di un’IAG forte sono rispettivamente il 2030, il 2035 e il 2033.6
5. L’IA avrà (almeno) la stessa importanza di Internet
Sebbene non siamo d’accordo sul limite massimo delle sue capacità, concordiamo tutti sul fatto che l’IA avrà una «grande importanza». (Formalizzare questo concetto è piuttosto impegnativo, ma ci proveremo ora). Il mondo cambierà a seguito di questa tecnologia, e cose che sembravano fantascienza saranno presto possibili — proprio come il mondo di oggi è diverso da quello di trent’anni fa. In effetti, sotto molti aspetti, la tecnologia di cui disponiamo oggi supera le capacità della fantascienza dell’epoca.
Internet ha cambiato radicalmente il modo in cui funziona il mondo. Vuoi prenotare un volo? Non chiami un’agenzia di viaggi, ma vai sul sito web della compagnia aerea. Vuoi accedere al tuo conto bancario? Vai sul sito web della banca. Videochiamare qualcuno dall’altra parte del mondo? Guardare la tua serie TV preferita in streaming on demand? I social media? I giornali? Le enciclopedie? Lo shopping? Tutto questo si basa su Internet. Tutti crediamo che l’IA possa essere almeno altrettanto rivoluzionaria. Affermare di più è difficile quanto chiedere a qualcuno nel 1990 di prevedere in che modo Internet avrebbe trasformato la società. Avremmo ragione su alcuni punti, ci sbaglieremmo di grosso su altri e ci sfuggirebbero intere categorie di cambiamenti.
Arvind e Sayash concordano sul fatto che l’IA sia una tecnologia di uso generale che avrà effetti altrettanto rivoluzionari. A lungo termine, prevedono che l’IA potrebbe automatizzare la maggior parte dei compiti cognitivi, proprio come la rivoluzione industriale ha portato all’automazione della maggior parte dei compiti fisici, nel senso che le macchine oggi si fanno carico di una quantità di lavoro fisico di gran lunga superiore a quella svolta dalla popolazione umana. Detto questo, si aspettano che gli impatti dell’IA seguiranno in gran parte il percorso delle precedenti tecnologie di uso generale, che sono frenate dalle barriere alla diffusione e all’adozione piuttosto che dalle loro capacità. Inoltre, ritengono che per gli esseri umani resterà ancora molto da fare — come controllare i sistemi di IA e decidere in che modo debbano essere utilizzati.
Gli autori di AI 2027 credono chiaramente che l’IA avrà un’importanza almeno pari a quella di Internet. Ma ritengono che a questa seguirà molto rapidamente un’IA più importante di qualsiasi altra tecnologia mai sviluppata (in questo articolo indicata genericamente come IAG forte. Altrove viene talvolta chiamata SIA o superintelligenza, o semplicemente IAG).
I punti di accordo sopra citati vertono principalmente su previsioni specifiche riguardo a eventi che ci aspettiamo si verifichino (o non si verifichino) in questo decennio. Tuttavia, abbiamo anche molti punti di accordo su proposte politiche concrete. Nonostante le nostre diverse visioni del mondo, riteniamo che molte azioni siano ragionevoli in qualsiasi possibile scenario futuro e incoraggiamo ulteriori ricerche sui modi per mitigare i potenziali danni derivanti dall’IA avanzata.
Speriamo di riuscire a incoraggiare i decisori politici ad approvare una legislazione ragionevole su cui si possa raggiungere un ampio consenso, indipendentemente dalle tempistiche di sviluppo dell’IA in cui potremmo trovarci.
6. L’allineamento dell’IA è un problema irrisolto
Siamo tutti d’accordo sul fatto che l’«allineamento dell’IA» — ovvero il problema di addestrare le IA a comportarsi in modo coerente con i nostri valori e le nostre aspettative — non sia stato risolto per quanto riguarda gli attuali sistemi di IA.
Siamo tutti d’accordo sul fatto che sia importante investire nella ricerca volta ad allineare i sistemi di IA attuali e futuri — ad esempio, nella monitorabilità della catena di pensiero, nell’interpretabilità meccanicistica, nella supervisione scalabile e nella scienza della generalizzazione.
Siamo tutti d’accordo sul fatto che, seguendo la traiettoria attuale, le IA continueranno a essere disallineate, spesso in modi che sfuggono alle valutazioni. Pertanto, siamo tutti d’accordo sul fatto che non dovremmo fare affidamento sull’allineamento dell’IA come nostra ultima (o unica) linea di difesa contro un’IA avanzata disallineata. Dovremmo sviluppare meccanismi di controllo dei sistemi di IA che funzionino anche senza risolvere il problema dell’allineamento. Le persone dovrebbero considerare ogni sistema di IA come potenzialmente disallineato e agire di conseguenza — in particolare, dovremmo essere cauti riguardo al livello di fiducia riposto nei sistemi di IA e non conferire loro abbastanza potere da rappresentare un rischio catastrofico in caso di disallineamento.
Sayash e Arvind ritengono che, sebbene l’allineamento sia utile, altri meccanismi di controllo dei sistemi di IA contribuiscano a gestire gli impatti della diffusione dell’IA. Daniel, Eli e Thomas concordano sul fatto che ciò sia vero per i sistemi di IA più deboli, ma ritengono che risolvere l’allineamento sia estremamente importante per un’IAG forte, poiché si aspettano che altri meccanismi di controllo falliranno man mano che le IA diventeranno sempre più superumane.
7. Le IA non devono prendere decisioni importanti né controllare sistemi critici
Crediamo tutti che alle attuali IA non debba essere consentito di avere il controllo autonomo su sistemi critici.7 Ciò include casi estremi come affidare alle IA il controllo su centri di calcolo, armi nucleari, aziende tecnologiche o processi decisionali governativi.
8. La trasparenza, la verifica e la rendicontazione sono vantaggiose
Siamo tutti convinti che migliorare la trasparenza, le verifiche e la rendicontazione sia importante per garantire uno sviluppo sicuro dell’IA. Agli sviluppatori di IA di frontiera dovrebbe essere richiesto di essere trasparenti in merito alle misure di sicurezza adottate. Revisori indipendenti dovrebbero valutare regolarmente la sicurezza dei sistemi di IA mentre vengono addestrati e al termine dell’addestramento. Le tutele per i whistleblower dovrebbero essere rafforzate. Dovrebbero essere istituiti spazi protetti per i ricercatori indipendenti al fine di incoraggiare la ricerca sulla sicurezza. Gli sviluppatori di IA dovrebbero pubblicare rapporti dettagliati su come e perché ritengono che i loro sistemi siano sicuri per l’uso.
9. I governi devono sviluppare le capacità necessarie per monitorare e comprendere gli sviluppi nel settore dell’IA
Siamo tutti d’accordo sul fatto che sviluppare competenze tecniche all’interno del governo per monitorare i progressi e la diffusione delle capacità dell’IA sia utile per comprendere la tecnologia e valutarne le potenziali implicazioni sociali. I governi possono avere un ruolo nella valutazione dei modelli di IA (soprattutto in ambiti con implicazioni per la sicurezza nazionale), nella risoluzione dei problemi di coordinamento (ad esempio quando le difese devono essere implementate da soggetti diversi dalle aziende di IA) e nel comprendere e reagire in modo adeguato ai nuovi sviluppi.
10. La diffusione dell’IA nell’economia è generalmente positiva
Gli impatti produttivi dell’IA si concretizzeranno man mano che essa si diffonderà nella società. I governi e altri attori possono svolgere molteplici ruoli nel favorirne la diffusione. L’implementazione dell’IA può inoltre contribuire a rafforzare la resilienza, poiché chi si occupa di difesa può capire come utilizzare questi sistemi per rispondere meglio a rischi come gli attacchi informatici e altre minacce rese possibili all’IA.
A scanso di equivoci, non stiamo raccomandando di introdurre a forza l’IA ovunque il più rapidamente possibile. Intendiamo semplicemente dire che, in generale, è positivo che i prodotti e i servizi basati sull’IA si diffondano nell’economia; porteranno molti benefici immediati e ci aiuteranno anche a conoscere meglio l’IA, i suoi punti di forza e di debolezza, le sue opportunità e i suoi rischi.
11. Un’esplosione di intelligenza segreta — o qualsiasi cosa anche solo lontanamente simile — sarebbe negativa, e i governi dovrebbero vigilare al riguardo
Aziende tecnologiche come OpenAI e Anthropic stanno esplicitamente pianificando di automatizzare il proprio lavoro il più rapidamente possibile; in altre parole, mirano ad addestrare IA in grado di automatizzare completamente il processo stesso di ricerca e sviluppo dell’IA. Il conseguente “auto-miglioramento ricorsivo” potrebbe portare a un‘“esplosione di intelligenza” con rapidi aumenti di capacità (almeno, questo è ciò che prevedono gli autori di «AI 2027») oppure potrebbe essere ostacolato da altri fattori, come la mancanza di dati del mondo reale (almeno, questo è ciò che prevedono gli autori di «AI as Normal Technology»).8
Siamo tutti d’accordo, tuttavia, sul fatto che se i rapidi miglioramenti delle capacità dell’IA dovessero avvenire in segreto, ciò sarebbe pericoloso — e potenzialmente catastrofico. La segretezza ostacolerebbe la supervisione e il coordinamento che potrebbero rendersi necessari, indipendentemente da quanto trasformativa diventi la tecnologia. Al contrario, le informazioni sulle ultime tendenze relative alle capacità dell’IA, sulle linee guida e sui vincoli che le aziende cercano di integrare nei propri modelli, sulle tecniche di allineamento e controllo che utilizzano, nonché sugli incidenti di sicurezza e sui risultati delle valutazioni pertinenti a quanto sopra, devono diffondersi rapidamente dalle aziende al pubblico. La trasparenza sullo sviluppo dell’IA è ampiamente vantaggiosa per molteplici visioni del mondo, anche in assenza di auto-miglioramento ricorsivo o di un’IAG forte.
Conclusione
Il futuro rimane incerto. Tuttavia, almeno per i prossimi anni, siamo tutti più d’accordo che in disaccordo su come probabilmente procederà il progresso nell’IA. Speriamo che esplicitare i nostri punti di accordo in questa sede aiuti gli altri a comprendere meglio le nostre posizioni divergenti e la convinzione con cui le sosteniamo.
Distinguere tra questi due possibili futuri (futuri simili a AI 2027 rispetto a quelli descritti in AI as Normal Technology) è importante, e prima riusciremo a elaborare metodi che ci aiutino a prevedere verso quale futuro ci stiamo dirigendo, meglio sarà. Un importante contributo alla ricerca potrebbe quindi consistere nello sviluppo di metriche che aiutino a distinguere tra questi due futuri possibili prima di arrivarci. Stiamo, infatti, continuando a collaborare alla creazione di tali metriche. Restate sintonizzati.
Attribuzione: Nicholas Carlini ha riunito il gruppo e ha redatto la prima bozza, sulla base delle conversazioni avute con gli altri presso The Curve, il CSET e altrove. Gli altri autori l’hanno poi rielaborata più volte, riscrivendola e modificandola fino a ritenere che rispecchiasse fedelmente le loro opinioni. Grazie anche a Clara Collier per le revisioni e per la pubblicazione su questo blog.