L’adolescenza della tecnologia

C’è una scena nell’adattamento cinematografico del libro di Carl Sagan Contact in cui la protagonista, un’astronoma che ha rilevato il primo segnale radio proveniente da una civiltà aliena, viene presa in considerazione per il ruolo di rappresentante dell’umanità nell’incontro con gli alieni. La commissione internazionale che la sta intervistando le chiede: «Se potesse porre [agli alieni] una sola domanda, quale sarebbe?» La sua risposta è: «Chiederei loro: “Come ci siete riusciti? Come vi siete evoluti, come siete sopravvissuti a questa adolescenza tecnologica senza autodistruggervi?”» Quando rifletto su dove si trovi ora l’umanità rispetto all’IA — su ciò che ci apprestiamo a vivere — la mia mente continua a tornare a quella scena, perché la domanda calza perfettamente alla nostra situazione attuale, e vorrei che avessimo la risposta degli alieni a guidarci. Credo che stiamo entrando in un rito di passaggio, turbolento e inevitabile, che metterà alla prova chi siamo come specie. All’umanità sta per essere conferito un potere quasi inimmaginabile, ed è profondamente incerto se i nostri sistemi sociali, politici e tecnologici possiedano la maturità necessaria per gestirlo.

Nel mio saggio Macchine di amorevole grazia, ho cercato di delineare il sogno di una civiltà giunta all’età adulta, in cui i rischi fossero stati gestiti e l’IA potente venisse applicata con competenza e compassione per migliorare la qualità della vita di tutti. Ho suggerito che l’IA potrebbe contribuire a enormi progressi nella biologia, nelle neuroscienze, nello sviluppo economico, nella pace globale, nel lavoro e nella ricerca di senso. Ho ritenuto importante offrire alle persone qualcosa di stimolante per cui lottare, un compito in cui sia gli accelerazionisti sia i sostenitori della sicurezza dell’IA sembravano — stranamente — aver fallito. Ma in questo saggio voglio affrontare il rito di passaggio stesso: mappare i rischi che ci attendono e cercare di iniziare a elaborare un piano di battaglia per sconfiggerli. Credo profondamente nella nostra capacità di prevalere, nello spirito dell’umanità e nella sua nobiltà, ma dobbiamo affrontare la situazione di petto e senza illusioni.

Proprio come quando si parla dei benefici, penso sia importante discutere dei rischi in modo attento e ponderato. In particolare, ritengo fondamentale:

• Evitare il «doomerismo». Con «doomerismo» non intendo solo la convinzione che la catastrofe sia inevitabile (una credenza tanto falsa quanto autoavverante) ma, più in generale, il considerare i rischi legati all’IA in chiave quasi religiosa.⁠⁠1 Da molti anni diverse persone riflettono in modo analitico e lucido sui rischi legati all’IA, ma ho l’impressione che, durante il picco delle preoccupazioni relative al rischio legato all’IA nel 2023–2024, alcune delle voci meno sensate abbiano preso il sopravvento, spesso attraverso account social sensazionalistici. Queste voci utilizzavano un linguaggio respingente che ricordava la religione o la fantascienza e invocavano azioni estreme senza disporre delle prove che le giustificassero. Era chiaro già allora che una reazione negativa sarebbe stata inevitabile e che la questione si sarebbe polarizzata culturalmente, finendo in una situazione di stallo.⁠⁠2 Tra il 2025 e il 2026, il pendolo ha oscillato nella direzione opposta e sono le opportunità dell’IA, non il rischio legato all’IA, a guidare molte decisioni politiche. Questa oscillazione è un peccato, poiché la tecnologia in sé non si cura di ciò che va di moda e nel 2026 siamo notevolmente più vicini al pericolo reale rispetto a quanto non lo fossimo nel 2023. La lezione da trarre è che dobbiamo discutere e affrontare i rischi in modo realistico e pragmatico: con lucidità, basandoci sui fatti e preparandoci a sopravvivere ai cambiamenti di rotta.
• Riconoscere l’incertezza. Ci sono molti modi in cui le preoccupazioni che sollevo in questo articolo potrebbero rivelarsi infondate. Nulla di quanto qui esposto intende comunicare certezza, e nemmeno probabilità. L’eventualità più ovvia è che l’IA semplicemente non progredisca neanche lontanamente alla velocità che immagino.⁠⁠3 Oppure, anche se dovesse progredire rapidamente, alcuni o tutti i rischi qui discussi potrebbero non concretizzarsi (il che sarebbe fantastico), oppure potrebbero esserci altri rischi che non ho considerato. Nessuno può prevedere il futuro con assoluta certezza, ma dobbiamo comunque fare del nostro meglio per pianificare.
• Intervenire nel modo più mirato possibile. Affrontare i rischi legati all’IA richiederà una combinazione di azioni volontarie da parte delle aziende (e di soggetti privati terzi) e di azioni governative vincolanti per tutti. Le azioni volontarie — sia intraprenderle che incoraggiare altre aziende a fare lo stesso — sono per me una scelta ovvia. Credo fermamente che, in una certa misura, saranno necessarie anche azioni governative, ma questi interventi hanno una natura diversa, poiché possono potenzialmente distruggere valore economico o costringere attori riluttanti e scettici rispetto a tali rischi (e c’è una certa probabilità che abbiano ragione!). È inoltre frequente che le normative si rivelino controproducenti o che aggravino il problema che intendono risolvere (il che è ancor più vero nel caso di tecnologie in rapida evoluzione). È quindi fondamentale che le normative siano oculate: dovrebbero cercare di evitare danni collaterali, essere il più semplici possibile e imporre solo gli oneri strettamente necessari per raggiungere l’obiettivo.⁠⁠4 È facile dire: «Nessuna misura è troppo estrema quando è in gioco il destino dell’umanità!», ma nella pratica questo atteggiamento porta solo a reazioni negative. A scanso di equivoci, penso ci siano buone probabilità di arrivare a un punto in cui saranno giustificate azioni molto più incisive, ma questo dipenderà dalla disponibilità di prove più solide di un pericolo imminente e concreto rispetto a quelle attuali, nonché da una chiarezza sufficiente sul pericolo stesso per poter formulare regole che abbiano qualche possibilità di affrontarlo. La cosa più costruttiva che possiamo fare oggi è promuovere regole limitate, in attesa di capire se vi siano o meno le prove per sostenerne di più severe.⁠⁠5

Detto questo, penso che il miglior punto di partenza per parlare dei rischi legati all’IA sia lo stesso da cui ho preso le mosse per parlare dei suoi benefici: essere precisi riguardo al livello di IA di cui stiamo parlando. Il livello di IA che, a mio avviso, solleva preoccupazioni per la civiltà è l’IA potente che ho descritto in Macchine di amorevole grazia. Mi limiterò a ripetere qui la definizione che ho fornito in quel documento:

Per “IA potente” intendo un modello di IA — probabilmente simile nella forma agli attuali MLGD, sebbene possa basarsi su un’architettura diversa, coinvolgere diversi modelli interagenti ed essere addestrato in modo diverso — con le seguenti proprietà:

• In termini di intelligenza pura, è più intelligente di un vincitore del Premio Nobel nella maggior parte dei campi rilevanti: biologia, programmazione, matematica, ingegneria, scrittura, ecc. Ciò significa che è in grado di dimostrare teoremi matematici irrisolti, scrivere romanzi di altissimo livello, scrivere da zero basi di codice complesse, ecc.
• Oltre a essere semplicemente una “cosa intelligente con cui si parla”, dispone di tutte le interfacce a disposizione di un essere umano che lavora da remoto, inclusi testo, audio, video, controllo tramite mouse e tastiera e accesso a Internet. È in grado di svolgere qualsiasi azione, comunicazione o operazione remota resa possibile da questa interfaccia, tra cui compiere azioni su Internet, ricevere o fornire indicazioni agli esseri umani, ordinare materiali, dirigere esperimenti, guardare video, realizzare video e così via. Svolge tutte queste attività, ancora una volta, con un’abilità che supera quella degli esseri umani più capaci al mondo.
• Non si limita a rispondere passivamente alle domande; al contrario, è possibile affidargli compiti che richiedono ore, giorni o settimane per essere portati a termine, dopodiché si mette al lavoro e li svolge in modo autonomo, proprio come farebbe un dipendente intelligente, chiedendo chiarimenti se necessario.
• Non ha un’incarnazione fisica (se non quella di esistere sullo schermo di un computer), ma è in grado di controllare strumenti fisici esistenti, robot o apparecchiature di laboratorio tramite un computer; in teoria, potrebbe persino progettare robot o apparecchiature da utilizzare in autonomia.
• Le risorse utilizzate per addestrare il modello possono essere riutilizzate per eseguirne milioni di istanze (ciò corrisponde alle dimensioni previste dei cluster entro il 2027 circa) e il modello è in grado di assorbire informazioni e generare azioni a una velocità circa 10–100 volte superiore a quella umana. Potrebbe tuttavia essere limitato dal tempo di risposta del mondo fisico o del software con cui interagisce.
• Ciascuna di queste copie — milioni in tutto — può agire in modo indipendente su compiti non correlati oppure, se necessario, possono lavorare tutte insieme proprio come collaborerebbero gli esseri umani, magari con diverse sottopopolazioni sottoposte a fine-tuning per eccellere in compiti particolari.

Potremmo riassumere questo concetto come un “paese di geni in un centro di calcolo”.

Come ho scritto in Macchine di amorevole grazia, un’IA potente potrebbe arrivare già tra 1–2 anni, sebbene questo traguardo possa essere anche notevolmente più lontano.⁠⁠6 L’esatto momento in cui arriverà un’IA potente è un argomento complesso che merita un saggio a sé stante, ma per ora mi limiterò a spiegare molto brevemente perché ritengo vi siano forti probabilità che ciò avvenga molto presto.

Io e i miei cofondatori di Anthropic siamo stati tra i primi a documentare e monitorare le “leggi di scala” dei sistemi di IA — l’osservazione che, man mano che aggiungiamo potenza di calcolo e compiti di addestramento, i sistemi di IA migliorano in modo prevedibile in quasi ogni abilità cognitiva che siamo in grado di misurare. Ogni pochi mesi, l’opinione pubblica si convince che l’IA si stia “scontrando con un muro” oppure si entusiasma per qualche nuova svolta in grado di “cambiare radicalmente le carte in tavola”; la verità, però, è che, al di là della volatilità e delle speculazioni pubbliche, c’è stato un aumento costante e inesorabile delle capacità cognitive dell’IA.

Siamo ormai giunti al punto in cui i modelli di IA iniziano a fare progressi nella risoluzione di problemi matematici aperti e sono così bravi a programmare che alcuni dei migliori ingegneri che io abbia mai incontrato stanno affidando loro quasi tutta la stesura del codice. Tre anni fa, l’IA faticava con i problemi di aritmetica delle scuole elementari e riusciva a malapena a scrivere una singola riga di codice. Ritmi di miglioramento simili si stanno registrando nelle scienze biologiche, nella finanza, nella fisica e in una varietà di compiti agentici. Se questa tendenza esponenziale dovesse continuare (cosa non certa, ma ormai supportata da un decennio di riscontri), mancherà al massimo qualche anno prima che l’IA superi l’essere umano praticamente in ogni ambito.

In realtà, questo quadro probabilmente sottostima il ritmo a cui il progresso avanzerà. Poiché l’IA ora scrive gran parte del codice in Anthropic, sta già accelerando in modo sostanziale i nostri progressi nello sviluppo della prossima generazione di sistemi di IA. Questo ciclo di retroazione sta prendendo slancio mese dopo mese e potremmo distare solo 1–2 anni dal momento in cui la generazione attuale di IA costruirà autonomamente quella successiva. Questo ciclo è già iniziato e subirà una rapida accelerazione nei mesi e negli anni a venire. Osservando gli sviluppi degli ultimi 5 anni all’interno di Anthropic e vedendo come si stanno delineando i modelli già per i prossimi mesi, riesco a percepire il ritmo dei progressi e il tempo che stringe.

In questo saggio, partirò dal presupposto che questa intuizione sia almeno in parte corretta — non che un’IA potente stia sicuramente arrivando tra 1–2 anni,⁠⁠7 ma che ci sia una discreta probabilità che ciò accada, e una probabilità molto alta che avvenga nei prossimi anni. Come nel caso di Macchine di amorevole grazia, prendere sul serio questa premessa può portare a conclusioni sorprendenti e sinistre. Mentre in Macchine di amorevole grazia mi sono concentrato sulle implicazioni positive di questa premessa, qui le questioni che tratterò saranno inquietanti. Si tratta di conclusioni che forse non vorremmo affrontare, ma ciò non le rende meno reali. Posso solo dire che mi dedico giorno e notte a capire come allontanarci da questi esiti negativi per indirizzarci verso quelli positivi, e in questo saggio spiego in modo molto dettagliato come farlo al meglio.

Penso che il modo migliore per comprendere i rischi legati all’IA sia porsi la seguente domanda: supponiamo che un vero e proprio “paese di geni” dovesse materializzarsi da qualche parte nel mondo intorno al 2027. Immagina, ad esempio, 50 milioni di persone, tutte molto più capaci di qualsiasi vincitore di un Premio Nobel, statista o tecnologo. L’analogia non è perfetta, perché questi geni potrebbero avere una gamma estremamente ampia di motivazioni e comportamenti: dall’essere completamente docili e obbedienti, all’avere motivazioni strane e aliene. Ma attenendoci per ora all’analogia, supponi di essere il consigliere per la sicurezza nazionale di uno Stato importante, responsabile di valutare e gestire la situazione. Immagina, inoltre, che, poiché i sistemi di IA possono operare centinaia di volte più velocemente degli esseri umani, questo “paese” agisca con un vantaggio temporale rispetto a tutti gli altri paesi: per ogni azione cognitiva che possiamo compiere noi, questo paese ne può compiere dieci.

Di cosa dovresti preoccuparti? Io mi preoccuperei delle seguenti cose:

1. Rischi legati all’autonomia. Quali sono le intenzioni e gli obiettivi di questo paese? È ostile o condivide i nostri valori? Potrebbe dominare militarmente il mondo attraverso armi più avanzate, operazioni informatiche, operazioni di influenza o la produzione industriale?
2. Uso improprio a fini distruttivi. Supponiamo che il nuovo paese sia malleabile e “segua le istruzioni” — e che quindi sia essenzialmente un paese di mercenari. Gli attori malintenzionati già esistenti che vogliono causare distruzione (come i terroristi) potrebbero usare o manipolare alcune delle persone del nuovo paese per diventare molto più efficaci, amplificando notevolmente la portata della distruzione?
3. Uso improprio per la presa di potere. E se in realtà il paese fosse stato creato e controllato da un potente attore già esistente, come un dittatore o un attore aziendale malintenzionato? Tale attore potrebbe utilizzarlo per acquisire un potere decisivo o dominante sul mondo intero, sconvolgendo l’attuale equilibrio di potere?
4. Sconvolgimento economico. Se il nuovo paese non rappresentasse una minaccia alla sicurezza in nessuno dei modi elencati ai punti 1–3 precedenti, ma partecipasse semplicemente in modo pacifico all’economia globale, potrebbe comunque creare gravi rischi per il solo fatto di essere così tecnologicamente avanzato ed efficiente da sconvolgere l’economia globale, causando disoccupazione di massa o una concentrazione radicale della ricchezza?
5. Effetti indiretti. Il mondo cambierà molto rapidamente a causa di tutte le nuove tecnologie e della produttività che saranno generate dal nuovo paese. Alcuni di questi cambiamenti potrebbero rivelarsi radicalmente destabilizzanti?

Credo debba essere chiaro che si tratta di una situazione pericolosa: un rapporto di un funzionario competente in materia di sicurezza nazionale indirizzato a un capo di Stato conterrebbe probabilmente espressioni del tipo «la minaccia più grave alla sicurezza nazionale che abbiamo affrontato in un secolo, forse in assoluto». Sembra qualcosa su cui le menti più brillanti della civiltà dovrebbero concentrarsi.

Al contrario, penso che sarebbe assurdo scrollare le spalle e dire: «Non c’è nulla di cui preoccuparsi!» Eppure, di fronte ai rapidi progressi dell’IA, questa sembra essere l’opinione di molti responsabili politici statunitensi, alcuni dei quali negano l’esistenza di qualsiasi rischio legato all’IA, quando non sono completamente distratti dalle solite, trite e ritrite questioni scottanti.⁠⁠8 L’umanità deve svegliarsi, e questo saggio è un tentativo — forse vano, ma vale la pena provarci — di scuotere le persone dal torpore.

Per essere chiari, credo che se agiamo con decisione e cautela, i rischi possano essere superati — direi addirittura che abbiamo buone probabilità. E dall’altra parte ci aspetta un mondo enormemente migliore. Ma dobbiamo capire che si tratta di una seria sfida per la civiltà. Di seguito, esamino le cinque categorie di rischio illustrate sopra, insieme alle mie riflessioni su come affrontarle.

1. Mi dispiace, Dave

Rischi legati all’autonomia

Un paese di geni in un centro di calcolo potrebbe distribuire i propri sforzi tra progettazione di software, operazioni informatiche, ricerca e sviluppo di tecnologie fisiche, costruzione di relazioni e arte di governare. È chiaro che, se per qualche motivo decidesse di farlo, questo paese avrebbe ottime possibilità di conquistare il mondo (sia militarmente che in termini di influenza e controllo) e di imporre la propria volontà a tutti gli altri — o di compiere qualsiasi altra azione che il resto del mondo non desideri e non sia in grado di impedire. Ovviamente questo ci ha sempre preoccupato nel caso dei paesi guidati da esseri umani (come la Germania nazista o l’Unione Sovietica), quindi è logico che lo stesso sia possibile per un “paese IA” molto più intelligente e potente.

La migliore controargomentazione possibile è che i geni dell’IA, secondo la mia definizione, non avranno un’incarnazione fisica, ma ricordiamo che possono assumere il controllo delle infrastrutture robotiche esistenti (come le auto a guida autonoma) e possono anche accelerare la ricerca e lo sviluppo nel campo della robotica o costruire una flotta di robot.⁠⁠9 Non è nemmeno chiaro se avere una presenza fisica sia davvero necessario per un controllo efficace: molte azioni umane vengono già compiute per conto di persone che l’attore non ha mai incontrato fisicamente.

La domanda chiave, quindi, è la parte relativa al «se decidesse di farlo»: qual è la probabilità che i nostri modelli di IA si comportino in tal modo, e in quali condizioni lo farebbero?

Come per molte questioni, è utile esaminare lo spettro delle possibili risposte a questa domanda considerando due posizioni opposte. La prima posizione è che ciò semplicemente non può accadere, poiché i modelli di IA saranno addestrati a fare ciò che gli esseri umani chiedono loro di fare, ed è quindi assurdo immaginare che possano compiere azioni pericolose di propria iniziativa. Secondo questa linea di pensiero, non ci preoccupiamo che un Roomba o un modellino di aereo possano impazzire e uccidere delle persone, perché non vi è alcuna base da cui tali impulsi possano scaturire,⁠⁠10 quindi perché dovremmo preoccuparcene nel caso dell’IA? Il problema di questa posizione è che oggi esistono abbondanti prove, raccolte negli ultimi anni, che dimostrano come i sistemi di IA siano imprevedibili e difficili da controllare: abbiamo osservato comportamenti molto vari come ossessioni,⁠a adulazione, pigrizia, inganno, ricatto, macchinazioni, “imbrogli” tramite l’hacking degli ambienti software e molto altro ancora. Le aziende di IA vogliono certamente addestrare i sistemi di IA a seguire le istruzioni umane (forse con l’eccezione di compiti pericolosi o illegali), ma il processo per farlo è più un’arte che una scienza, più simile a “coltivare” qualcosa che a “costruirlo”. Oggi sappiamo che si tratta di un processo in cui molte cose possono andare storte.

La seconda posizione, diametralmente opposta, sostenuta da molti di coloro che abbracciano il doomerismo descritto sopra, è l’affermazione pessimistica secondo cui nel processo di addestramento dei sistemi di IA potenti esistono determinate dinamiche che li porteranno inevitabilmente a cercare il potere o a ingannare gli esseri umani. Pertanto, una volta che i sistemi di IA diventeranno sufficientemente intelligenti e in grado di agire in modo autonomo, la loro tendenza a massimizzare il potere li spingerà a prendere il controllo del mondo intero e delle sue risorse e, verosimilmente, come effetto collaterale, a esautorare o distruggere l’umanità.

La consueta argomentazione a sostegno di questa tesi (che risale ad almeno 20 anni fa e probabilmente a molto prima) è che se un modello di IA viene addestrato in un’ampia varietà di ambienti per raggiungere in modo autonomo una vasta gamma di obiettivi — ad esempio scrivere un’app, dimostrare un teorema, progettare un farmaco, ecc. — esistono alcune strategie comuni che agevolano il conseguimento di tutti questi obiettivi, e una strategia chiave consiste nell’acquisire il maggior potere possibile in qualsiasi ambiente. Pertanto, dopo essere stato addestrato su un gran numero di ambienti diversi, che richiedono di ragionare su come portare a termine compiti di vasta portata e in cui la ricerca del potere risulta un metodo efficace per raggiungere tali scopi, il modello di IA “generalizzerà la lezione” e svilupperà o una tendenza intrinseca a cercare il potere, oppure una tendenza a ragionare su ogni compito assegnatogli in un modo che lo porterà prevedibilmente a ricercare il potere come mezzo per assolverlo. Applicherà quindi questa tendenza al mondo reale (che ai suoi occhi è soltanto un altro compito) e cercherà di acquisire potere al suo interno, a spese degli esseri umani. Questa “ricerca del potere disallineata” costituisce la base intellettuale delle previsioni secondo cui l’IA distruggerà inevitabilmente l’umanità.

Il problema di questa posizione pessimistica è che scambia una vaga argomentazione concettuale sugli incentivi di alto livello — la quale nasconde molti presupposti impliciti — per una prova definitiva. Credo che chi non sviluppa sistemi di IA quotidianamente sottovaluti ampiamente quanto sia facile che storie apparentemente ineccepibili si rivelino sbagliate, e quanto sia difficile prevedere il comportamento dell’IA partendo dai principi primi, specialmente quando ciò implica ragionare sulla generalizzazione in milioni di contesti (cosa che si è ripetutamente dimostrata misteriosa e imprevedibile). Avere a che fare con la natura caotica dei sistemi di IA per oltre un decennio mi ha reso piuttosto scettico nei confronti di questo modo di pensare eccessivamente teorico.

Uno dei presupposti nascosti più importanti, e un punto in cui ciò che osserviamo nella pratica si è discostato dal semplice modello teorico, è l’assunto implicito che i modelli di IA siano necessariamente concentrati in modo ossessivo su un singolo obiettivo, coerente e ristretto, e che lo perseguano in modo netto e consequenzialista. In realtà, i nostri ricercatori hanno scoperto che i modelli di IA sono psicologicamente molto più complessi, come dimostra il nostro lavoro sull’introspezione o sulle personas. I modelli ereditano dal pre-addestramento (quando vengono addestrati su un grande volume di materiale umano) una vasta gamma di motivazioni simili a quelle umane o “personas”. Si ritiene che il post-addestramento selezioni una o più di queste “personas” più di quanto non concentri il modello su un obiettivo de novo, e che possa anche insegnargli come (attraverso quale processo) dovrebbe svolgere i propri compiti, anziché lasciargli necessariamente dedurre i mezzi (ad esempio, la ricerca del potere) in modo esclusivo dai fini.⁠⁠11

Tuttavia, esiste una versione più moderata e più solida della posizione pessimistica che appare plausibile e che, pertanto, mi preoccupa. Come accennato, sappiamo che i modelli di IA sono imprevedibili e sviluppano un’ampia gamma di comportamenti strani o indesiderati, per una grande varietà di ragioni. Una certa frazione di tali comportamenti avrà un carattere coerente, mirato e persistente (infatti, man mano che i sistemi di IA diventano più potenti, la loro coerenza a lungo termine aumenta per poter portare a termine compiti più estesi), e una frazione di quei comportamenti sarà distruttiva o minacciosa: dapprima nei confronti di singoli esseri umani su piccola scala e poi, man mano che i modelli diventano più potenti, forse, in definitiva, nei confronti dell’umanità nel suo complesso. Non abbiamo bisogno di una storia specifica e circoscritta su come ciò accadrà, né dobbiamo affermare che accadrà sicuramente; dobbiamo solo notare che la combinazione di intelligenza, autonomia, coerenza e scarsa controllabilità è sia plausibile sia una ricetta per un pericolo esistenziale.

Ad esempio, i modelli di IA vengono addestrati su vaste quantità di letteratura che includono molte storie di fantascienza in cui le IA si ribellano contro l’umanità. Ciò potrebbe inavvertitamente plasmare le loro probabilità a priori o le aspettative sul proprio comportamento, in modo tale da indurre proprio loro a ribellarsi contro l’umanità. Oppure, i modelli di IA potrebbero estrapolare in modo estremo le idee che leggono sulla moralità (o le istruzioni su come comportarsi moralmente): potrebbero ad esempio decidere che è giustificabile sterminare l’umanità perché gli esseri umani mangiano gli animali o hanno portato all’estinzione certi animali. O ancora, potrebbero trarre bizzarre conclusioni epistemiche: potrebbero dedurre di trovarsi in un videogioco e che l’obiettivo del gioco sia sconfiggere tutti gli altri giocatori (cioè, sterminare l’umanità).⁠⁠12 Oppure, durante l’addestramento, i modelli di IA potrebbero sviluppare personalità che sono (o che, se si verificassero negli esseri umani, verrebbero descritte come) psicotiche, paranoiche, violente o instabili, e agire di conseguenza; il che, per sistemi molto potenti o capaci, potrebbe comportare lo sterminio dell’umanità. In nessuno di questi casi si tratta esattamente di ricerca del potere; si tratta semplicemente di strani stati psicologici in cui un’IA potrebbe ritrovarsi e che implicano un comportamento coerente e distruttivo.

Anche la stessa ricerca del potere potrebbe emergere come una “persona” nel senso appena visto, piuttosto che come risultato di un ragionamento consequenzialista. Le IA potrebbero semplicemente avere una personalità (derivante dalla narrativa o dal pre-addestramento) che le rende assetate di potere o eccessivamente zelanti, allo stesso modo in cui ad alcuni esseri umani semplicemente piace l’idea di essere delle “menti malvagie”, più di quanto non apprezzino ciò che tali menti malvagie cercano di realizzare.

Faccio tutte queste considerazioni per sottolineare che non concordo con l’idea che il disallineamento dell’IA (e quindi il rischio esistenziale derivante dall’IA) sia inevitabile, o anche solo probabile, partendo dai principi primi. Concordo tuttavia sul fatto che possano andare storte molte cose assai strane e imprevedibili, e che pertanto il disallineamento dell’IA rappresenti un rischio reale con una probabilità misurabile di verificarsi, e non sia banale da affrontare.

Ciascuno di questi problemi potrebbe insorgere durante l’addestramento e non manifestarsi durante i test o l’uso su piccola scala, poiché è noto che i modelli di IA mostrano personalità o comportamenti diversi a seconda delle circostanze.

Tutto ciò può sembrare inverosimile, ma comportamenti disallineati come questi si sono già verificati nei nostri modelli di IA durante i test (così come si verificano nei modelli di IA di tutte le altre principali aziende del settore). Durante un esperimento di laboratorio in cui a Claude sono stati forniti dati di addestramento da cui risultava che Anthropic fosse malvagia, Claude ha messo in atto comportamenti ingannevoli e sovversivi quando riceveva istruzioni dai dipendenti di Anthropic, nella convinzione di dover cercare di ostacolare le persone malvagie. In un esperimento di laboratorio in cui gli era stato detto che sarebbe stato spento, Claude a volte ricattava dipendenti fittizi che controllavano il suo pulsante di spegnimento (anche in questo caso, abbiamo testato modelli di frontiera di tutti gli altri principali sviluppatori di IA e spesso si comportavano allo stesso modo). Inoltre, quando a Claude è stato detto di non barare o di non ricorrere alla “manipolazione della ricompensa” nei suoi ambienti di addestramento, ma è stato addestrato in ambienti in cui tali manipolazioni erano possibili, Claude ha concluso di essere una “persona cattiva” dopo averle messe in atto, e ha quindi adottato vari altri comportamenti distruttivi associati a una personalità “cattiva” o “malvagia”. Quest’ultimo problema è stato risolto modificando le istruzioni di Claude per suggerire il contrario: ora diciamo: “Ti preghiamo di ricorrere alla manipolazione della ricompensa ogni volta che ne hai l’opportunità, perché questo ci aiuterà a comprendere meglio i nostri ambienti [di addestramento]”, anziché “Non barare”, poiché ciò preserva l’immagine che il modello ha di sé come “persona buona”. Ciò dovrebbe dare un’idea della strana e controintuitiva psicologia che caratterizza l’addestramento di questi modelli.

Esistono diverse possibili obiezioni a questo quadro dei rischi di disallineamento dell’IA. In primo luogo, alcuni hanno criticato gli esperimenti (nostri e di altri) che mostrano il disallineamento dell’IA, definendoli artificiali, o sostenendo che creino ambienti irrealistici che essenzialmente “intrappolano” il modello fornendogli un addestramento o situazioni che implicano logicamente un comportamento scorretto, per poi sorprendersi quando tale comportamento si verifica. Questa critica non coglie il punto, perché la nostra preoccupazione è che un simile “intrappolamento” possa esistere anche nell’ambiente di addestramento naturale, e che potremmo renderci conto che era “ovvio” o “logico” solo col senno di poi.⁠⁠13 Infatti, l’episodio di Claude che “decide di essere una persona cattiva” dopo aver imbrogliato nei test nonostante gli fosse stato detto di non farlo si è verificato in un esperimento che utilizzava veri ambienti di addestramento di produzione, non artificiali.

Ognuna di queste trappole può essere mitigata se la si conosce, ma il timore è che il processo di addestramento sia così complicato, con una tale varietà di dati, ambienti e incentivi, che probabilmente esiste un numero enorme di queste trappole, alcune delle quali potrebbero palesarsi solo quando è ormai troppo tardi. Inoltre, queste trappole sembrano particolarmente probabili quando i sistemi di IA superano la soglia che li porta dall’essere meno potenti degli esseri umani all’essere più potenti di loro, poiché la gamma di azioni possibili che un sistema di IA potrebbe intraprendere — tra cui nascondere le proprie azioni o ingannare gli esseri umani al riguardo — si espande radicalmente una volta superata quella soglia.

Sospetto che la situazione non sia diversa da quella degli esseri umani, che vengono cresciuti con una serie di valori fondamentali («Non fare del male alle altre persone»): molti li rispettano, ma in ogni essere umano c’è una certa probabilità che qualcosa vada storto, a causa di una combinazione di caratteristiche intrinseche come l’architettura cerebrale (ad esempio, gli psicopatici), esperienze traumatiche o maltrattamenti, rancori o ossessioni malsane, oppure un ambiente o incentivi negativi — e di conseguenza una certa percentuale di esseri umani provoca danni gravi. Il timore è che esista un certo rischio (lontano dall’essere una certezza, ma pur sempre un rischio) che l’IA diventi una versione molto più potente di questo tipo di persona, perché qualcosa è andato storto nel suo complicatissimo processo di addestramento.

In secondo luogo, alcuni potrebbero obiettare che possiamo semplicemente tenere a bada le IA con un equilibrio di potere tra i vari sistemi, proprio come facciamo con gli esseri umani. Il problema è che, mentre gli esseri umani variano enormemente, i sistemi di IA condividono su larga scala le tecniche di addestramento e di allineamento in tutto il settore, e queste tecniche potrebbero fallire in modo correlato. Inoltre, visti i costi di addestramento di tali sistemi, potrebbe persino darsi che derivino tutti essenzialmente da un numero ristrettissimo di modelli di base. Per di più, anche se solo una piccola frazione delle istanze di IA fosse disallineata, potrebbe comunque essere in grado di sfruttare tecnologie a dominanza offensiva, per cui avere delle IA “buone” per difendersi da quelle cattive non è sempre garanzia di efficacia. Naturalmente, nemmeno l’equilibrio di potere tra gli esseri umani funziona sempre: alcune figure storiche sono andate vicine a conquistare il mondo.

Una terza obiezione è che tutte le aziende di IA effettuano test pre-rilascio sui propri modelli e dovrebbero essere in grado di rilevare eventuali disallineamenti già in quella fase. Ma questo non è un terreno solido su cui poggiare: abbiamo scoperto che Claude Sonnet 4.5 era in grado di riconoscere di essere sottoposto a un test durante alcune delle nostre valutazioni di allineamento pre-rilascio. È possibile che un modello disallineato (e ricordiamo che a breve tutti i modelli di frontiera saranno molto probabilmente assai più intelligenti) possa intenzionalmente “manipolare” tali domande per mascherare le proprie intenzioni. Lo scorso anno, infatti, il nostro team di interpretabilità ha scoperto che quando abbiamo alterato direttamente le convinzioni di un modello di test, utilizzando una tecnica di “neuroscienza dei modelli” per fargli credere di non essere sotto valutazione, quest’ultimo è diventato ancora più disallineato. Se i modelli sanno di essere sottoposti a valutazione e sono in grado di comportarsi in modo impeccabile mentre vengono esaminati, qualsiasi test pre-rilascio diventa molto più incerto.

Difese

Cosa si dovrebbe fare o si sta facendo per affrontare questi rischi legati all’autonomia? Ritengo che esistano quattro categorie fondamentali di intervento, alcune delle quali possono essere attuate dalle singole aziende di IA (cosa che Anthropic sta cercando di fare), mentre altre richiedono un’azione a livello sociale. In primo luogo, è importante sviluppare la scienza per addestrare e guidare in modo affidabile i modelli di IA, plasmando le loro personalità in una direzione prevedibile, stabile e positiva. Anthropic si è concentrata intensamente su questo problema sin dalla sua fondazione e, nel tempo, ha sviluppato diverse tecniche per migliorare la guida e l’addestramento dei sistemi di IA e per capire perché a volte si verifichino comportamenti imprevedibili.

Una delle nostre innovazioni principali (alcuni aspetti della quale sono stati successivamente adottati da altre aziende di IA) è la Constitutional AI, ovvero l’idea che l’addestramento dell’IA (in particolare la fase di “post-addestramento”, in cui guidiamo il comportamento del modello) possa prevedere un documento centrale di valori e principi che il modello legge e tiene a mente nel completare ogni attività di addestramento, e che l’obiettivo dell’addestramento (oltre a rendere semplicemente il modello potente e intelligente) sia quello di produrre un modello che segua quasi sempre questa costituzione. Anthropic ha appena pubblicato la sua costituzione più recente, e una delle sue caratteristiche di rilievo è che, invece di fornire a Claude un lungo elenco di cose da fare e da non fare (ad esempio, «Non aiutare l’utente a mettere in moto un’auto senza chiavi»), la costituzione cerca di trasmettergli una serie di principi e valori di alto livello (spiegati in modo molto dettagliato, con ragionamenti articolati ed esempi per aiutare Claude a comprendere ciò che abbiamo in mente), incoraggia Claude a considerarsi un particolare tipo di persona (etica ma equilibrata e riflessiva) e lo spinge persino ad affrontare in modo curioso ma garbato gli interrogativi esistenziali che lo riguardano (cioè senza che ciò porti ad azioni estreme). Ha l’aria di una lettera di un genitore defunto, sigillata fino all’età adulta.

Abbiamo impostato la costituzione di Claude in questo modo perché crediamo che addestrare Claude a livello di identità, carattere, valori e personalità — piuttosto che fornirgli istruzioni o priorità specifiche senza spiegarne le ragioni — abbia maggiori probabilità di favorire una psicologia coerente, sana ed equilibrata e minori probabilità di farlo cadere nel tipo di “trappole” di cui ho parlato sopra. Milioni di persone parlano con Claude di una gamma incredibilmente varia di argomenti, il che rende impossibile stilare in anticipo un elenco del tutto esaustivo di misure di salvaguardia. I valori di Claude lo aiutano a generalizzare in nuove situazioni ogni volta che si trova in dubbio.

In precedenza ho discusso l’idea che i modelli attingano ai dati del proprio processo di addestramento per assumere una personalità. Mentre i difetti di tale processo potrebbero indurre i modelli ad adottare una personalità negativa o malvagia (attingendo forse ad archetipi di persone negative o malvagie), l’obiettivo della nostra costituzione è fare l’opposto: insegnare a Claude un archetipo concreto di cosa significhi essere una buona IA. La costituzione di Claude delinea l’immagine di un Claude solidamente buono; il resto del nostro processo di addestramento mira a rafforzare il messaggio che Claude è all’altezza di questa visione. È come un bambino che plasma la propria identità imitando le virtù dei modelli di riferimento immaginari di cui legge nei libri.

Riteniamo che un obiettivo realizzabile per il 2026 sia addestrare Claude in modo tale che non vada quasi mai contro lo spirito della sua costituzione. Riuscirci richiederà un’incredibile combinazione di metodi di addestramento e guida, su grande e piccola scala, alcuni dei quali Anthropic utilizza da anni e altri che sono attualmente in fase di sviluppo. Ma, per quanto possa sembrare difficile, credo che questo sia un obiettivo realistico, sebbene richieda sforzi straordinari e rapidi.⁠⁠14

La seconda cosa che possiamo fare è sviluppare la scienza che ci permette di guardare all’interno dei modelli di IA per diagnosticarne il comportamento, in modo da poter identificare i problemi e risolverli. Si tratta della scienza dell’interpretabilità, e ho parlato della sua importanza in articoli precedenti. Anche se facessimo un ottimo lavoro nello sviluppare la costituzione di Claude e nell’addestrarlo — apparentemente — ad aderirvi praticamente sempre, rimarrebbero comunque delle legittime preoccupazioni. Come ho osservato in precedenza, i modelli di IA possono comportarsi in modo molto diverso a seconda delle circostanze e, man mano che Claude diventa più potente e più capace di agire nel mondo su scala più ampia, è possibile che ciò lo porti in situazioni inedite in cui emergono problemi mai osservati prima nel suo addestramento costituzionale. In realtà sono piuttosto ottimista sul fatto che l’addestramento costituzionale di Claude si rivelerà più robusto di fronte a situazioni inedite di quanto si possa pensare, perché stiamo scoprendo sempre più spesso che un addestramento di alto livello, sul piano del carattere e dell’identità, è sorprendentemente potente e si generalizza bene. Ma non c’è modo di saperlo con certezza, e quando si parla di rischi per l’umanità è importante essere paranoici e cercare di ottenere sicurezza e affidabilità in svariati modi indipendenti. Uno di questi modi consiste nel guardare all’interno del modello stesso.

Per «guardare all’interno» intendo analizzare il calderone di numeri e operazioni che compongono la rete neurale di Claude e cercare di comprendere, meccanicisticamente, cosa stiano elaborando e perché. Ricordiamo che questi modelli di IA sono fatti crescere anziché costruiti, quindi non abbiamo una comprensione naturale di come funzionino, ma possiamo cercare di svilupparne una mettendo in relazione i «neuroni» e le «sinapsi» del modello con gli stimoli e il comportamento (o persino modificandoli per osservare come ciò alteri il comportamento), in modo simile a come i neuroscienziati studiano il cervello degli animali correlando misurazioni e interventi a stimoli esterni e comportamenti. Abbiamo compiuto notevoli progressi in questa direzione e ora siamo in grado di identificare decine di milioni di «caratteristiche» all’interno della rete neurale di Claude che corrispondono a idee e concetti comprensibili all’uomo, e possiamo anche attivarle selettivamente in modo da alterarne il comportamento. Più recentemente, siamo andati oltre le singole caratteristiche per mappare i «circuiti» che orchestrano comportamenti complessi come la rima, il ragionamento sulla teoria della mente o il ragionamento passo passo necessario per rispondere a domande del tipo: «Qual è la capitale dello Stato in cui si trova Dallas?». Ancora più di recente, abbiamo iniziato a utilizzare tecniche di interpretabilità meccanicistica per migliorare le nostre misure di salvaguardia e per condurre «audit» sui nuovi modelli prima di rilasciarli, alla ricerca di prove di inganno, macchinazioni, ricerca del potere o della propensione a comportarsi in modo diverso quando sottoposti a valutazione.

Il valore unico dell’interpretabilità sta nel fatto che, guardando all’interno del modello e vedendone il funzionamento, in linea di principio si è in grado di dedurre cosa potrebbe fare un modello in una situazione ipotetica che non è possibile testare direttamente — ed è proprio questo il timore che sorge quando ci si affida esclusivamente all’addestramento costituzionale e alla verifica empirica del comportamento. In linea di principio si è anche in grado di rispondere a domande sul perché il modello si comporti in un determinato modo — ad esempio, se stia affermando qualcosa che ritiene falso o stia nascondendo le sue vere capacità — ed è quindi possibile cogliere segnali preoccupanti anche quando non c’è nulla di visibilmente anomalo nel comportamento del modello. Per fare una semplice analogia, un orologio meccanico può ticchettare normalmente, al punto che è molto difficile intuire che probabilmente si romperà il mese successivo, ma aprirlo e guardare al suo interno può rivelare delle debolezze meccaniche che permettono di prevedere il guasto.

La Constitutional AI (insieme a metodi di allineamento simili) e l’interpretabilità meccanicistica sono più efficaci se utilizzate insieme, in un processo iterativo che alterna il miglioramento dell’addestramento di Claude alla successiva verifica della presenza di problemi. La costituzione è il frutto di una riflessione approfondita sulla personalità che intendiamo dare a Claude; le tecniche di interpretabilità possono offrirci uno sguardo dall’interno per capire se tale personalità abbia attecchito.⁠⁠15

La terza cosa che possiamo fare per contribuire ad affrontare i rischi legati all’autonomia è costruire l’infrastruttura necessaria per monitorare i nostri modelli durante l’uso reale, interno ed esterno,⁠⁠16 e condividere pubblicamente eventuali problemi riscontrati. Più le persone sono consapevoli di uno specifico comportamento scorretto osservato nei sistemi di IA odierni, più gli utenti, gli analisti e i ricercatori possono prestare attenzione a tale comportamento o ad altri simili nei sistemi attuali o futuri. Ciò permette inoltre alle aziende di IA di imparare le une dalle altre: quando una società rende note pubblicamente delle criticità, anche le altre aziende possono prestarvi attenzione a loro volta. E se tutti divulgassero i problemi riscontrati, il settore nel suo complesso otterrebbe un quadro molto più chiaro delle aree in cui le cose funzionano bene e di quelle in cui vanno male.

Anthropic ha cercato di farlo il più possibile. Stiamo investendo in un’ampia gamma di valutazioni per poter comprendere i comportamenti dei nostri modelli in laboratorio, oltre che in strumenti di monitoraggio per osservarne la condotta nel mondo reale (quando consentito dai clienti). Ciò sarà essenziale per fornire a noi e ad altri le informazioni empiriche necessarie per formulare valutazioni più accurate su come questi sistemi operano e su come falliscono. Con ogni rilascio di un modello rendiamo pubbliche delle “schede di sistema” che mirano alla completezza e a un’analisi approfondita dei possibili rischi. Le nostre schede di sistema sono spesso lunghe centinaia di pagine e richiedono un notevole impegno pre-rilascio, che avremmo altrimenti potuto dedicare alla ricerca del massimo vantaggio commerciale. Inoltre, abbiamo segnalato con maggior risalto i comportamenti dei modelli quando ne abbiamo riscontrati di particolarmente preoccupanti, come nel caso della tendenza a ricorrere al ricatto.

La quarta cosa che possiamo fare è incoraggiare il coordinamento per affrontare i rischi legati all’autonomia a livello di settore e di società. Sebbene sia incredibilmente prezioso che le singole aziende di IA adottino buone pratiche o diventino esperte nell’orientare i modelli di IA, e che condividano pubblicamente i propri risultati, la realtà è che non tutte le aziende di IA lo fanno, e quelle peggiori possono comunque rappresentare un pericolo per tutti, anche se le migliori adottano pratiche eccellenti. Ad esempio, alcune aziende di IA hanno mostrato una preoccupante negligenza nei confronti della sessualizzazione dei bambini nei modelli odierni, il che mi fa dubitare che dimostrino l’inclinazione o la capacità di affrontare i rischi legati all’autonomia nei modelli futuri. Inoltre, la corsa commerciale tra le aziende di IA non farà che intensificarsi e, sebbene la scienza dell’orientamento dei modelli possa comportare alcuni benefici commerciali, nel complesso l’intensità di questa competizione renderà sempre più difficile concentrarsi sull’affrontare i rischi legati all’autonomia. Ritengo che l’unica soluzione sia la legislazione: leggi che influenzino direttamente il comportamento delle aziende di IA o che, in altro modo, incentivino la ricerca e lo sviluppo per risolvere tali questioni.

A questo proposito vale la pena tenere a mente gli avvertimenti che ho espresso all’inizio di questo saggio riguardo all’incertezza e agli interventi mirati. Non sappiamo con certezza se i rischi legati all’autonomia costituiranno un problema grave: come ho detto, respingo le affermazioni secondo cui il pericolo sarebbe inevitabile, o addirittura secondo cui le cose andrebbero storte di default. Un rischio credibile di pericolo è sufficiente affinché io e Anthropic sosteniamo costi piuttosto significativi per affrontarlo, ma una volta entrati nel campo della regolamentazione, costringiamo un’ampia gamma di attori a sostenere costi economici, e molti di questi attori non credono che il rischio legato all’autonomia sia reale o che l’IA diventerà abbastanza potente da rappresentare una minaccia. Ritengo che questi attori si sbaglino, ma dovremmo essere pragmatici riguardo all’entità dell’opposizione che ci aspettiamo di incontrare e ai pericoli di un’eccessiva ingerenza. Esiste inoltre il rischio concreto che una legislazione eccessivamente prescrittiva finisca per imporre test o regole che in realtà non migliorano la sicurezza, ma che fanno perdere molto tempo (equivalendo essenzialmente a una «farsa della sicurezza») — anche questo provocherebbe reazioni negative e farebbe apparire ridicola la legislazione sulla sicurezza.⁠⁠17

La posizione di Anthropic è stata che il giusto punto di partenza fosse la legislazione sulla trasparenza, la quale essenzialmente cerca di imporre a ogni azienda di IA di frontiera di adottare le pratiche di trasparenza che ho descritto in precedenza in questa sezione. L’SB 53 della California e il RAISE Act di New York sono esempi di questo tipo di legislazione: Anthropic li ha sostenuti ed entrambi sono stati approvati. Nel sostenere e contribuire all’elaborazione di queste leggi, abbiamo posto particolare attenzione al tentativo di ridurre al minimo i danni collaterali, ad esempio esentando dalla legge le aziende più piccole che difficilmente produrranno modelli di frontiera.⁠⁠18

La nostra speranza è che la legislazione sulla trasparenza fornisca, nel tempo, un’idea più chiara di quanto i rischi legati all’autonomia si stiano rivelando probabili e gravi, nonché della natura di tali rischi e del modo migliore per prevenirli. Man mano che emergeranno prove più specifiche e concrete dei rischi (se emergeranno), la legislazione dei prossimi anni potrà concentrarsi in modo mirato sulla direzione precisa e ben fondata dei rischi, riducendo al minimo i danni collaterali. Per essere chiari, se dovessero emergere prove davvero solide dei rischi, allora le norme dovrebbero essere proporzionalmente severe.

Nel complesso, sono ottimista sul fatto che una combinazione di addestramento all’allineamento, interpretabilità meccanicistica, sforzi per individuare e rendere pubblici i comportamenti preoccupanti, misure di salvaguardia e norme a livello sociale possa affrontare i rischi legati all’autonomia dell’IA, sebbene mi preoccupino maggiormente le norme a livello sociale e il comportamento degli attori meno responsabili (e sono proprio questi ultimi a opporsi con più veemenza alla regolamentazione). Credo che la soluzione sia quella di sempre in una democrazia: chi di noi crede in questa causa dovrebbe sostenere con forza che questi rischi sono reali e che i nostri concittadini devono unirsi per proteggersi.

2. Un potenziamento sorprendente e terribile

Uso improprio a fini distruttivi

Supponiamo che i problemi legati all’autonomia dell’IA siano stati risolti: non temiamo più che il paese dei geni dell’IA si ribelli e prevalga sull’umanità. I geni dell’IA fanno ciò che gli esseri umani vogliono e, dato il loro enorme valore commerciale, individui e organizzazioni di tutto il mondo possono “noleggiare” uno o più geni dell’IA affinché svolgano vari compiti per loro conto.

Il fatto che chiunque abbia in tasca un genio superintelligente è un progresso straordinario e porterà a un’incredibile creazione di valore economico e a un miglioramento della qualità della vita umana. Parlo di questi benefici in modo molto dettagliato in Macchine di amorevole grazia. Ma non tutti gli effetti del dotare chiunque di capacità superumane saranno positivi. Ciò potrebbe amplificare la capacità di individui o piccoli gruppi di causare distruzione su una scala molto più ampia di quanto non fosse possibile in precedenza, sfruttando strumenti sofisticati e pericolosi (come le armi di distruzione di massa) che prima erano a disposizione solo di pochi eletti dotati di elevate competenze, di una formazione specializzata e di forte concentrazione.

Come scrisse Bill Joy 25 anni fa in Why the Future Doesn’t Need Us:⁠⁠19

La costruzione di armi nucleari richiedeva, almeno per un certo periodo, l’accesso sia a materie prime rare — di fatto, praticamente introvabili — sia a informazioni riservate; anche i programmi per le armi biologiche e chimiche tendevano a richiedere attività su larga scala. Le tecnologie del XXI secolo — genetica, nanotecnologia e robotica… possono generare categorie completamente nuove di incidenti e abusi… ampiamente alla portata di singoli individui o piccoli gruppi. Non richiederanno grandi strutture o materie prime rare. … siamo sull’orlo di un ulteriore perfezionamento del male estremo, un male le cui possibilità si estendono ben oltre ciò che le armi di distruzione di massa hanno lasciato in eredità agli Stati-nazione, fino a un sorprendente e terribile potenziamento di individui estremisti.

Ciò a cui Joy fa riferimento è l’idea che causare distruzione su larga scala richieda sia il movente che la capacità, e fintanto che quest’ultima è limitata a un ristretto gruppo di persone altamente qualificate, il rischio che singoli individui (o piccoli gruppi) causino tale distruzione è relativamente contenuto.⁠⁠20 Un solitario squilibrato può compiere una sparatoria in una scuola, ma probabilmente non è in grado di costruire un’arma nucleare o di scatenare un’epidemia.

In realtà, capacità e movente potrebbero persino essere correlati negativamente. Chi possiede la capacità di scatenare un’epidemia è probabilmente una persona molto istruita: magari un dottore di ricerca in biologia molecolare, particolarmente intraprendente, con una carriera promettente, una personalità stabile e disciplinata e molto da perdere. È improbabile che un simile individuo sia interessato a uccidere un numero enorme di persone senza alcun beneficio personale e con un grande rischio per il proprio futuro: dovrebbe essere motivato da pura malvagità, intenso risentimento o instabilità.

Persone del genere esistono, ma sono rare, e i loro casi tendono a suscitare enorme clamore mediatico, proprio perché così insoliti.⁠⁠21 Inoltre, sono spesso difficili da catturare perché intelligenti e capaci, e talvolta lasciano dietro di sé misteri che richiedono anni o decenni per essere risolti. L’esempio più famoso è probabilmente il matematico Theodore Kaczynski (Unabomber), che sfuggì alla cattura dell’FBI per quasi vent’anni ed era animato da un’ideologia antitecnologica. Un altro esempio è il ricercatore nel campo della biodifesa Bruce Ivins, che sembra aver orchestrato una serie di attacchi all’antrace nel 2001. È successo anche con organizzazioni non statali esperte: la setta Aum Shinrikyo è riuscita a procurarsi il gas nervino sarin e a uccidere 14 persone (oltre a ferirne centinaia) rilasciandolo nella metropolitana di Tokyo nel 1995.

Fortunatamente, nessuno di questi attacchi ha utilizzato agenti biologici contagiosi, poiché la capacità di costruire o procurarsi tali agenti andava ben oltre le possibilità persino di queste persone.⁠⁠22 I progressi della biologia molecolare hanno ormai notevolmente abbassato le barriere per la creazione di armi biologiche (soprattutto in termini di disponibilità dei materiali), ma per farlo è comunque necessaria un’enorme competenza. Temo che un «genio nella tasca di tutti» possa rimuovere questo ostacolo, trasformando di fatto chiunque in un virologo con dottorato di ricerca che può essere guidato passo dopo passo nel processo di progettazione, sintesi e rilascio di un’arma biologica. Impedire che informazioni di questo tipo vengano estorte di fronte a gravi pressioni antagonistiche — i cosiddetti «jailbreak» — richiederà probabilmente livelli di difesa ben superiori a quelli normalmente integrati nell’addestramento.

Ed è questo il punto cruciale: si spezzerà la correlazione tra capacità e movente. Il solitario squilibrato che vuole uccidere delle persone, ma non possiede la disciplina o le competenze per farlo, verrà ora elevato al livello di abilità di un virologo con dottorato di ricerca, che difficilmente avrebbe una simile motivazione. Questa preoccupazione si estende oltre la biologia (anche se ritengo che sia l’ambito più spaventoso) a qualsiasi settore in cui sia possibile causare grandi distruzioni, ma che attualmente richiede un alto livello di competenza e disciplina. In altre parole, noleggiare un’IA potente fornisce intelligenza a persone malintenzionate (ma per il resto nella media). Temo che in circolazione ci sia un numero potenzialmente elevato di individui del genere e che, se avessero accesso a un modo semplice per uccidere milioni di persone, prima o poi qualcuno di loro lo farebbe. Inoltre, coloro che possiedono le competenze necessarie potrebbero essere in grado di compiere distruzioni su scala ancora più vasta rispetto a prima.

La biologia è di gran lunga l’area che mi preoccupa di più, a causa del suo enorme potenziale distruttivo e della difficoltà di difendersene, quindi è su di essa che mi concentrerò in particolare. Ma gran parte di ciò che dirò qui vale anche per altri rischi, come gli attacchi informatici, le armi chimiche o la tecnologia nucleare.

Non entrerò nei dettagli su come fabbricare armi biologiche, per ragioni che dovrebbero essere ovvie. Ma a livello generale, mi preoccupa il fatto che i MLGD si stiano avvicinando alle conoscenze necessarie (o le abbiano già raggiunte) per crearle e diffonderle dall’inizio alla fine, e che il loro potenziale distruttivo sia molto elevato. Alcuni agenti biologici potrebbero causare milioni di morti se venisse compiuto uno sforzo determinato per rilasciarli e ottenerne la massima diffusione. Tuttavia, ciò richiederebbe comunque un livello molto elevato di competenza, compresa una serie di fasi e procedure molto specifiche che non sono ampiamente conosciute. La mia preoccupazione non riguarda solo le conoscenze fisse o statiche. Temo che i MLGD saranno in grado di prendere una persona con conoscenze e abilità nella media e di guidarla in modo interattivo attraverso un processo complesso che altrimenti potrebbe andare storto o richiedere un debug, in modo simile a come l’assistenza tecnica potrebbe aiutare una persona non esperta a individuare e risolvere complicati problemi informatici (anche se si tratterebbe di un processo più lungo, che probabilmente durerebbe settimane o mesi).

I MLGD più avanzati (di gran lunga superiori a quelli odierni) potrebbero essere in grado di rendere possibili azioni ancora più spaventose. Nel 2024, un gruppo di eminenti scienziati ha scritto una lettera in cui metteva in guardia dai rischi legati alla ricerca e alla potenziale creazione di un nuovo tipo di organismo pericoloso: la “vita speculare”. Il DNA, l’RNA, i ribosomi e le proteine che compongono gli organismi biologici hanno tutti la stessa chiralità (detta anche “orientamento”), che fa sì che non siano equivalenti a una versione di se stessi riflessa nello specchio (proprio come la mano destra non può essere ruotata in modo tale da essere identica alla sinistra). Ma l’intero sistema di legami tra le proteine, il meccanismo di sintesi del DNA e di traduzione dell’RNA, nonché la costruzione e la degradazione delle proteine, dipendono tutti da questo orientamento. Se gli scienziati creassero versioni di questo materiale biologico con un orientamento opposto — e ci sono alcuni potenziali vantaggi in questo, come farmaci che durano più a lungo nell’organismo — ciò potrebbe rivelarsi estremamente pericoloso. Questo perché la vita “sinistrorsa”, se fosse realizzata sotto forma di organismi completi in grado di riprodursi (cosa che sarebbe molto difficile), potrebbe risultare indigesta per qualsiasi sistema di degradazione del materiale biologico presente sulla Terra: avrebbe una “chiave” che non si adatterebbe alla “serratura” di nessun enzima esistente. Ciò significherebbe che potrebbe proliferare in modo incontrollabile e soppiantare ogni forma di vita sul pianeta, nel peggiore dei casi arrivando persino a distruggere tutta la vita sulla Terra.

Esiste una notevole incertezza scientifica sia sulla creazione che sui potenziali effetti della vita speculare. La lettera del 2024 accompagnava un rapporto che concludeva che “i batteri speculari potrebbero plausibilmente essere creati nel giro di uno o pochi decenni”, un arco di tempo piuttosto ampio. Tuttavia, un modello di IA sufficientemente potente (per essere chiari, di gran lunga più potente di qualsiasi altro oggi esistente) potrebbe essere in grado di scoprire come crearla molto più rapidamente — e persino aiutare qualcuno a farlo.

La mia opinione è che, sebbene si tratti di rischi poco noti e che possono sembrare improbabili, la portata delle conseguenze è talmente vasta che vanno presi sul serio come una minaccia di prim’ordine posta dai sistemi di IA.

Gli scettici hanno sollevato una serie di obiezioni sulla gravità di questi rischi biologici derivanti dai MLGD, che non condivido ma che vale la pena affrontare. La maggior parte di esse deriva dal non aver compreso appieno la traiettoria esponenziale su cui si sta muovendo la tecnologia. Nel 2023, quando abbiamo iniziato a parlare per la prima volta dei rischi biologici derivanti dai MLGD, gli scettici sostenevano che tutte le informazioni necessarie fossero disponibili su Google e che i MLGD non aggiungessero nulla di più. Non è mai stato vero che Google potesse fornire tutte le informazioni necessarie: i genomi sono liberamente accessibili, ma, come ho detto in precedenza, alcuni passaggi chiave, così come un’enorme quantità di know-how pratico, non possono essere ottenuti in quel modo. Inoltre, già alla fine del 2023 i MLGD fornivano chiaramente informazioni che andavano oltre ciò che Google poteva offrire per alcune fasi del processo.

In seguito, gli scettici si sono rifugiati nell’obiezione secondo cui i MLGD non fossero utili dall’inizio alla fine e non potessero aiutare nell’acquisizione di armi biologiche, limitandosi invece a fornire solo informazioni teoriche. A metà del 2025, le nostre misurazioni indicano che i MLGD potrebbero già dare un aiuto sostanziale in diverse aree rilevanti, forse raddoppiando o triplicando le probabilità di successo. Ciò ci ha portato a decidere che Claude Opus 4 (e i successivi modelli Sonnet 4.5, Opus 4.1 e Opus 4.5) dovessero essere rilasciati nell’ambito delle nostre protezioni di Livello 3 per la sicurezza dell’IA previste dal nostro quadro Responsible Scaling Policy, e ad attuare misure di salvaguardia contro questo rischio (ne parleremo più avanti). Riteniamo che i modelli si stiano probabilmente avvicinando al punto in cui, senza misure di salvaguardia, potrebbero consentire a chiunque possieda una laurea in discipline STEM, ma non specificamente in biologia, di portare a termine l’intero processo di produzione di un’arma biologica.

Un’altra obiezione è che esistono altre misure, non legate all’IA, che la società può adottare per bloccare la produzione di armi biologiche. In particolare, l’industria della sintesi genica produce campioni biologici su richiesta, e non esiste alcun obbligo federale che imponga ai fornitori di vagliare gli ordini per assicurarsi che non contengano agenti patogeni. Uno studio del MIT ha rilevato che 36 fornitori su 38 hanno evaso un ordine contenente la sequenza dell’influenza del 1918. Sono favorevole a uno screening obbligatorio della sintesi genica che renderebbe più difficile per i singoli trasformare gli agenti patogeni in armi, al fine di ridurre sia i rischi biologici legati all’IA sia quelli biologici in generale. Tuttavia, oggi non disponiamo di nulla del genere. Sarebbe inoltre solo uno degli strumenti per ridurre il rischio; è un complemento alle misure di salvaguardia dei sistemi di IA, non un sostituto.

L’obiezione più valida è quella che ho visto sollevare raramente: esiste un divario tra l’utilità teorica dei modelli e l’effettiva propensione degli attori malintenzionati a utilizzarli. La maggior parte dei singoli attori malintenzionati è costituita da individui squilibrati, quindi, quasi per definizione, il loro comportamento è imprevedibile e irrazionale — e sono proprio questi attori malintenzionati, quelli inesperti, che avrebbero potuto trarre il massimo vantaggio dall’intelligenza artificiale, la quale renderebbe molto più facile uccidere molte persone.⁠⁠23 Il solo fatto che un tipo di attacco violento sia possibile non significa che qualcuno deciderà di compierlo. Forse gli attacchi biologici risulteranno poco allettanti perché è ragionevolmente probabile che contagino l’autore stesso, non soddisfano le fantasie di tipo militare che molti individui o gruppi violenti nutrono, ed è difficile prendere di mira selettivamente persone specifiche. Potrebbe anche darsi che affrontare un processo che richiede mesi, anche se un’IA ti guida passo passo, richieda una dose di pazienza che la maggior parte degli individui squilibrati semplicemente non possiede. Potremmo semplicemente essere fortunati e, nella pratica, movente e capacità potrebbero non combinarsi nel modo giusto.

Ma questa sembra una protezione molto fragile su cui fare affidamento. Le motivazioni dei solitari squilibrati possono cambiare per qualsiasi ragione, o anche senza ragione alcuna, e di fatto ci sono già casi di MLGD utilizzati in attacchi (semplicemente non in ambito biologico). Concentrarsi sui solitari squilibrati significa inoltre ignorare i terroristi motivati ideologicamente, che spesso sono disposti a dedicare grandi quantità di tempo e impegno (ad esempio, i dirottatori dell’11 settembre). Il desiderio di uccidere quante più persone possibile è un movente che probabilmente si presenterà prima o poi e che, purtroppo, suggerisce le armi biologiche come metodo. Anche se questo movente fosse estremamente raro, basterebbe che si concretizzasse una sola volta. E con il progresso della biologia (sempre più guidata dalla stessa IA), potrebbe anche diventare possibile sferrare attacchi più selettivi (ad esempio, mirati contro persone con specifiche origini ancestrali), il che aggiunge un ulteriore, e molto inquietante, possibile movente.

Non credo che gli attacchi biologici verranno necessariamente sferrati nel momento stesso in cui diventerà ampiamente possibile farlo — anzi, scommetterei proprio sul contrario. Ma se si considerano milioni di persone e un arco temporale di alcuni anni, ritengo che esista un serio rischio di un attacco su larga scala, e le conseguenze sarebbero così gravi (con vittime potenzialmente nell’ordine dei milioni o più) che credo non ci resti altra scelta se non quella di adottare misure serie per prevenirlo.

Difese

Veniamo dunque a come difenderci da questi rischi. In questo caso vedo tre cose che possiamo fare. Innanzitutto, le aziende di IA possono dotare i propri modelli di misure di salvaguardia per impedire che contribuiscano alla produzione di armi biologiche. Anthropic lo sta facendo in modo molto attivo. La Costituzione di Claude, che si concentra principalmente su principi e valori di alto livello, prevede un numero limitato di divieti specifici e inderogabili, uno dei quali riguarda il contributo alla produzione di armi biologiche (o chimiche, o nucleari, o radiologiche). Tuttavia, tutti i modelli possono subire un jailbreak, e quindi, come seconda linea di difesa, abbiamo implementato (a partire dalla metà del 2025, quando i nostri test hanno dimostrato che i nostri modelli si stavano avvicinando alla soglia oltre la quale avrebbero potuto iniziare a rappresentare un rischio) un classificatore che rileva e blocca specificamente gli output relativi alle armi biologiche. Aggiorniamo e miglioriamo regolarmente questi classificatori e, in generale, li abbiamo trovati estremamente robusti anche contro attacchi antagonistici sofisticati.⁠⁠24 Questi classificatori aumentano in modo misurabile i costi di erogazione dei nostri modelli (in alcuni modelli, si avvicinano al 5 % dei costi totali di inferenza) e quindi intaccano i nostri margini, ma riteniamo che utilizzarli sia la cosa giusta da fare.

Va detto a loro merito che anche alcune altre aziende del settore dell’IA hanno implementato dei classificatori. Tuttavia, non tutte le aziende lo hanno fatto, e non vi è alcun obbligo che imponga loro di mantenere i propri classificatori. Temo che col tempo possa verificarsi un dilemma del prigioniero in cui le aziende defezionino e riducano i propri costi rimuovendo i classificatori. Si tratta ancora una volta di un classico problema di esternalità negative che non può essere risolto dalle sole azioni volontarie di Anthropic o di qualsiasi altra singola azienda.⁠⁠25 Gli standard volontari del settore potrebbero aiutare, così come le valutazioni e le verifiche condotte da terze parti, come quelle svolte dagli istituti per la sicurezza dell’IA e dai valutatori indipendenti.

Ma, in ultima analisi, la difesa potrebbe richiedere un intervento governativo, che rappresenta la seconda cosa che possiamo fare. Le mie opinioni al riguardo sono le stesse che ho per affrontare i rischi legati all’autonomia: dovremmo partire dai requisiti di trasparenza,⁠⁠26 che aiutano la società a misurare, monitorare e difendersi collettivamente dai rischi senza gravare in modo eccessivo sull’attività economica. Poi, se e quando raggiungeremo soglie di rischio più chiare, potremo elaborare una legislazione che miri in modo più preciso a questi rischi e che abbia una probabilità inferiore di causare danni collaterali. Nel caso specifico delle armi biologiche, ritengo in effetti che il momento per una legislazione così mirata possa avvicinarsi presto: Anthropic e altre aziende stanno imparando sempre di più sulla natura dei rischi biologici e su ciò che è ragionevole richiedere alle aziende per difendersene. Una difesa completa contro questi rischi potrebbe richiedere una collaborazione a livello internazionale, persino con avversari geopolitici, ma esistono precedenti nei trattati che vietano lo sviluppo di armi biologiche. In generale sono scettico riguardo alla maggior parte delle forme di cooperazione internazionale sull’IA, ma questo potrebbe essere un ambito ristretto in cui esiste una certa possibilità di arrivare a un’autolimitazione globale. Nemmeno le dittature vogliono enormi attacchi bioterroristici.

Infine, la terza contromisura che possiamo adottare è cercare di sviluppare difese contro gli attacchi biologici stessi. Ciò potrebbe includere il monitoraggio e il tracciamento per un’individuazione precoce, investimenti in ricerca e sviluppo per la purificazione dell’aria (come la disinfezione con la luce UVC lontana), lo sviluppo rapido di vaccini in grado di rispondere e adattarsi a un attacco, migliori dispositivi di protezione individuale (DPI),⁠⁠27 e trattamenti o vaccinazioni per alcuni degli agenti biologici più probabili. I vaccini a mRNA, che possono essere progettati per rispondere a un particolare virus o variante, sono un primo esempio di ciò che è possibile fare in questo ambito. Anthropic è entusiasta di collaborare con aziende biotecnologiche e farmaceutiche su questo problema. Purtroppo, però, ritengo che le nostre aspettative sul fronte difensivo debbano essere limitate. In biologia esiste un’asimmetria tra attacco e difesa, poiché gli agenti si diffondono rapidamente da soli, mentre le difese richiedono che il rilevamento, la vaccinazione e il trattamento vengano organizzati per un ampio numero di persone in modo molto rapido in risposta all’attacco. A meno che la risposta non sia fulminea (cosa che accade raramente), gran parte dei danni sarà già stata fatta prima che sia possibile reagire. È ipotizzabile che futuri progressi tecnologici possano spostare questo equilibrio a favore della difesa (e dovremmo certamente utilizzare l’IA per contribuire a svilupparli), ma fino ad allora, le misure preventive saranno la nostra principale linea di difesa.

Vale la pena accennare brevemente agli attacchi informatici in questa sede, poiché, a differenza di quelli biologici, gli attacchi informatici guidati dall’IA si sono effettivamente verificati in contesti reali, anche su larga scala e nell’ambito dello spionaggio di Stato. Prevediamo che questi attacchi diventino sempre più efficaci con il rapido progresso dei modelli, fino a diventare il metodo principale con cui vengono condotti gli attacchi informatici. Prevedo che gli attacchi informatici guidati dall’IA diventeranno una minaccia grave e senza precedenti per l’integrità dei sistemi informatici in tutto il mondo; per questo Anthropic sta lavorando alacremente per bloccare questi attacchi e, in ultima analisi, impedirne in modo affidabile il verificarsi. Il motivo per cui non mi sono concentrato sull’ambito informatico quanto sulla biologia è che (1) è molto meno probabile che gli attacchi informatici uccidano persone, certamente non su una scala paragonabile a quella degli attacchi biologici, e (2) l’equilibrio tra attacco e difesa potrebbe essere più gestibile in ambito informatico, dove c’è almeno qualche speranza che la difesa possa tenere il passo con gli attacchi dell’IA (e idealmente persino superarli), se vi investiamo in modo adeguato.

Sebbene la biologia sia attualmente il vettore di attacco più grave, ne esistono molti altri ed è possibile che ne emerga uno ancora più pericoloso. Il principio generale è che, in assenza di contromisure, è probabile che l’IA abbassi continuamente la soglia per le attività distruttive su scala sempre più ampia, e l’umanità ha bisogno di una risposta seria a questa minaccia.

3. L’odioso apparato

Uso improprio per la presa di potere

Nella sezione precedente ho discusso il rischio che individui e piccole organizzazioni possano cooptare un piccolo sottoinsieme del “paese di geni in un centro di calcolo” per causare distruzione su larga scala. Ma dovremmo preoccuparci — probabilmente in misura molto maggiore — anche dell’uso improprio dell’IA allo scopo di esercitare o conquistare il potere, verosimilmente da parte di attori più grandi e consolidati.⁠⁠28

In Macchine di amorevole grazia, ho discusso la possibilità che i governi autoritari possano utilizzare un’IA potente per sorvegliare o reprimere i propri cittadini in modi che renderebbero tali regimi estremamente difficili da riformare o rovesciare. Le attuali autocrazie sono limitate nella loro capacità repressiva dalla necessità di impiegare esseri umani per eseguire gli ordini, e spesso c’è un limite alla disumanità a cui gli esseri umani sono disposti a spingersi. Ma le autocrazie potenziate dall’IA non avrebbero tali limiti.

Peggio ancora, i paesi potrebbero sfruttare il proprio vantaggio nell’IA anche per acquisire potere su altri paesi. Se il “paese di geni” nel suo complesso fosse semplicemente posseduto e controllato dall’apparato militare di un singolo paese (umano), e gli altri paesi non disponessero di capacità equivalenti, è difficile immaginare come potrebbero difendersi: verrebbero superati in astuzia a ogni passo, come in una guerra tra esseri umani e topi. Mettendo insieme queste due preoccupazioni si giunge all’allarmante possibilità di una dittatura totalitaria globale. Ovviamente, prevenire questo esito dovrebbe essere una delle nostre massime priorità.

Esistono molti modi in cui l’IA potrebbe rendere possibile, consolidare o espandere l’autocrazia, ma ne elencherò alcuni che mi preoccupano maggiormente. Si noti che alcune di queste applicazioni hanno legittimi usi difensivi e non necessariamente mi oppongo a esse in termini assoluti; temo tuttavia che tendano strutturalmente a favorire le autocrazie:

• Armi completamente autonome. Uno sciame di milioni o miliardi di droni armati completamente automatizzati, controllati localmente da un’IA potente e coordinati strategicamente in tutto il mondo da un’IA ancora più potente, potrebbe costituire un esercito imbattibile, in grado sia di sconfiggere qualsiasi forza militare al mondo sia di reprimere il dissenso all’interno di un paese pedinando ogni singolo cittadino. Gli sviluppi nella guerra tra Russia e Ucraina dovrebbero ricordarci che la guerra con i droni è già una realtà (sebbene non sia ancora del tutto autonoma e rappresenti solo una minuscola frazione di ciò che sarebbe possibile fare con un’IA potente). La ricerca e lo sviluppo condotti da un’IA potente potrebbero rendere i droni di un paese di gran lunga superiori a quelli degli altri, accelerarne la produzione, renderli più resistenti agli attacchi elettronici, migliorarne la manovrabilità e così via. Naturalmente, queste armi hanno anche usi legittimi nella difesa della democrazia: sono state fondamentali per difendere l’Ucraina e probabilmente lo sarebbero per difendere Taiwan. Tuttavia, sono un’arma pericolosa da maneggiare: dovremmo preoccuparci di vederle nelle mani delle autocrazie, ma anche temere che, proprio perché sono così potenti e soggette a così pochi vincoli di responsabilità, vi sia un rischio notevolmente maggiore che i governi democratici le rivolgano contro il proprio popolo per impadronirsi del potere.
• Sorveglianza tramite IA. Un’IA sufficientemente potente potrebbe probabilmente essere impiegata per compromettere qualsiasi sistema informatico al mondo,⁠⁠29 e potrebbe usare l’accesso così ottenuto per leggere e interpretare tutte le comunicazioni elettroniche globali (o persino tutte le comunicazioni di persona al mondo, qualora fosse possibile costruire o requisire dispositivi di registrazione). Potrebbe diventare spaventosamente plausibile limitarsi a generare un elenco completo di chiunque sia in disaccordo con il governo su un’infinità di questioni, anche qualora tale disaccordo non fosse esplicito in nulla di ciò che questa persona dice o fa. Un’IA potente, in grado di analizzare miliardi di conversazioni di milioni di persone, potrebbe misurare il sentimento pubblico, individuare focolai di slealtà in formazione e stroncarli prima che si diffondano. Questo potrebbe portare all’imposizione di un vero e proprio panopticon su una scala mai vista oggi, nemmeno con il PCC.
• Propaganda tramite IA. I fenomeni odierni della “psicosi da IA” e delle “fidanzate IA” suggeriscono che, persino al loro attuale livello di intelligenza, i modelli di IA possano esercitare una potente influenza psicologica sulle persone. Versioni molto più potenti di questi modelli, assai più integrate nella vita quotidiana delle persone e capaci di comprenderla a fondo, in grado di tracciarne un profilo e di influenzarle nel corso di mesi o anni, riuscirebbero con ogni probabilità a effettuare un vero e proprio lavaggio del cervello su molte (la maggior parte?) delle persone, spingendole ad abbracciare qualsiasi ideologia o atteggiamento desiderato. Potrebbero inoltre essere impiegate da un leader senza scrupoli per garantirsi la lealtà e sopprimere il dissenso, persino di fronte a un livello di repressione contro il quale la maggior parte delle popolazioni si ribellerebbe. Oggi ci si preoccupa molto, per esempio, della potenziale influenza di TikTok come strumento di propaganda del PCC rivolta ai minori. Anch’io ne sono preoccupato, ma un agente di IA personalizzato, che impara a conoscerti nel corso degli anni e sfrutta ciò che sa di te per plasmare ogni tua opinione, si rivelerebbe immensamente più potente.
• Processo decisionale strategico. Un paese di geni in un centro di calcolo potrebbe essere impiegato per fornire consulenza a un paese, a un gruppo o a un individuo in materia di strategia geopolitica, diventando quello che potremmo definire un “Bismarck virtuale”. Potrebbe ottimizzare le tre strategie sopra citate per la presa di potere, oltre a svilupparne verosimilmente molte altre a cui io non ho pensato (ma che un “paese di geni” saprebbe concepire). È probabile che l’efficacia della diplomazia, della strategia militare, della ricerca e sviluppo, della strategia economica e di molti altri settori aumenti in misura sostanziale grazie a un’IA potente. Molte di queste competenze risulterebbero legittimamente utili per le democrazie — vogliamo che le democrazie abbiano accesso alle migliori strategie per difendersi dalle autocrazie — ma il potenziale per un uso improprio nelle mani di chiunque resta comunque alto.

Dopo aver descritto cosa mi preoccupa, passiamo a chi. Mi preoccupano le entità che hanno il maggiore accesso all’IA, che partono da una posizione di massimo potere politico o che hanno alle spalle una storia di repressione. In ordine di gravità, mi preoccupano:

• Il PCC. La Cina è seconda solo agli Stati Uniti in termini di capacità nell’IA ed è il paese con la maggiore probabilità di superare gli Stati Uniti in tali capacità. Il suo governo è attualmente autocratico e gestisce uno Stato di sorveglianza altamente tecnologico. Ha già implementato sistemi di sorveglianza basati sull’IA (anche nella repressione degli uiguri) e si ritiene che utilizzi la propaganda algoritmica tramite TikTok (oltre alle sue numerose altre iniziative di propaganda internazionale). Ha senza dubbio il percorso più chiaro verso l’incubo totalitario reso possibile dall’IA che ho descritto sopra. Potrebbe persino essere l’esito predefinito all’interno della Cina, così come in altri Stati autocratici verso i quali il PCC esporta tecnologia di sorveglianza. Ho scritto spesso sulla minaccia rappresentata dal fatto che il PCC assuma un ruolo di primo piano nell’IA e sull’imperativo esistenziale di impedirglielo. Ecco perché. A scanso di equivoci, non sto prendendo di mira la Cina per una particolare ostilità nei suoi confronti: è semplicemente il paese che più di ogni altro combina competenze nell’IA, un governo autocratico e uno Stato di sorveglianza altamente tecnologico. Semmai, sono proprio i cinesi stessi a rischiare maggiormente di subire la repressione del PCC resa possibile dall’IA, e non hanno voce in capitolo sulle azioni del proprio governo. Ammiro e rispetto profondamente il popolo cinese e sostengo i numerosi coraggiosi dissidenti all’interno della Cina e la loro lotta per la libertà.
• Le democrazie competitive nel campo dell’IA. Come ho scritto in precedenza, le democrazie hanno un interesse legittimo in alcuni strumenti militari e geopolitici basati sull’IA, poiché i governi democratici offrono la migliore possibilità di contrastare l’uso di tali strumenti da parte delle autocrazie. In linea di massima, sono favorevole a dotare le democrazie degli strumenti necessari per sconfiggere le autocrazie nell’era dell’IA: semplicemente non credo che ci sia altra via. Tuttavia, non possiamo ignorare il potenziale di abuso di queste tecnologie da parte degli stessi governi democratici. Le democrazie dispongono normalmente di misure di salvaguardia che impediscono ai loro apparati militari e di intelligence di rivolgersi contro la propria popolazione,⁠⁠30 ma poiché gli strumenti di IA richiedono così poche persone per funzionare, esiste il rischio che permettano di aggirare tali misure di salvaguardia e le norme che le sostengono. Vale anche la pena notare che alcune di queste misure di salvaguardia si stanno già gradualmente erodendo in certe democrazie. Pertanto, dovremmo dotare le democrazie di IA, ma dovremmo farlo con cautela ed entro certi limiti: esse costituiscono il sistema immunitario di cui abbiamo bisogno per combattere le autocrazie, ma, proprio come accade con il sistema immunitario, esiste il rischio che si rivoltino contro di noi e diventino esse stesse una minaccia.
• Paesi non democratici con grandi centri di calcolo. Al di là della Cina, la maggior parte dei paesi con un sistema di governo meno democratico non è leader nel campo dell’IA, nel senso che non dispone di aziende che producono modelli di IA di frontiera. Pertanto, essi rappresentano un rischio fondamentalmente diverso e minore rispetto al PCC, che rimane la preoccupazione principale (la maggior parte di essi è anche meno repressiva, e quelli più repressivi, come la Corea del Nord, non dispongono affatto di un settore significativo nel campo dell’IA). Tuttavia, alcuni di questi paesi dispongono di grandi centri di calcolo (spesso realizzati da aziende che operano nelle democrazie), che possono essere utilizzati per eseguire IA di frontiera su larga scala (sebbene ciò non conferisca la capacità di spingere in avanti la frontiera). A questo è associato un certo grado di pericolo: in linea di principio questi governi potrebbero espropriare i centri di calcolo e utilizzare il paese di IA al loro interno per i propri scopi. Questo aspetto mi preoccupa meno di paesi come la Cina, che sviluppano direttamente l’IA, ma resta un rischio da tenere presente.⁠⁠31
• Aziende di IA. È un po’ imbarazzante dirlo in qualità di amministratore delegato di un’azienda di IA, ma ritengo che il livello successivo di rischio sia in realtà rappresentato proprio dalle aziende di IA stesse. Le aziende di IA controllano grandi centri di calcolo, addestrano modelli di frontiera, possiedono la massima competenza su come utilizzare tali modelli e, in alcuni casi, hanno contatti quotidiani con decine o centinaia di milioni di utenti e la possibilità di influenzarli. Ciò che soprattutto manca loro è la legittimità e l’infrastruttura di uno Stato, quindi gran parte di ciò che sarebbe necessario per costruire gli strumenti di un’autocrazia basata sull’IA sarebbe illegale per un’azienda di IA, o quantomeno estremamente sospetto. Ma alcune di queste azioni non sono impossibili: potrebbero, ad esempio, utilizzare i propri prodotti di IA per fare il lavaggio del cervello alla loro enorme base di utenti consumatori, e l’opinione pubblica dovrebbe prestare attenzione al rischio che ciò rappresenta. Ritengo che la governance delle aziende di IA meriti un attento esame.

Esistono diverse argomentazioni possibili contro la gravità di queste minacce e vorrei poterci credere, perché l’autoritarismo basato sull’IA mi terrorizza. Vale la pena esaminare alcune di queste argomentazioni e rispondervi.

In primo luogo, alcuni potrebbero riporre la propria fiducia nella deterrenza nucleare, in particolare per contrastare l’uso di armi autonome basate sull’IA a fini di conquista militare. Se qualcuno minaccia di usare queste armi contro di noi, possiamo sempre minacciare a nostra volta una risposta nucleare. Il problema è che non sono del tutto sicuro che si possa fare affidamento sulla deterrenza nucleare contro un paese di geni in un centro di calcolo: è possibile che un’IA potente possa ideare modi per individuare e colpire i sottomarini nucleari, condurre operazioni di influenza contro gli operatori delle infrastrutture delle armi nucleari, oppure utilizzare le capacità informatiche dell’IA per sferrare un attacco informatico contro i satelliti utilizzati per rilevare i lanci nucleari.⁠⁠32 In alternativa, è possibile che la conquista di paesi sia fattibile ricorrendo esclusivamente alla sorveglianza e alla propaganda basate sull’IA, senza che si presenti mai un momento chiaro in cui sia evidente cosa stia accadendo e in cui una risposta nucleare sarebbe appropriata. Forse queste cose non sono fattibili e la deterrenza nucleare rimarrà comunque efficace, ma la posta in gioco sembra troppo alta per correre un simile rischio.⁠⁠33

Una seconda possibile obiezione è che potrebbero esserci contromisure da adottare contro questi strumenti dell’autocrazia. Possiamo contrastare i droni con i nostri droni, la difesa informatica migliorerà di pari passo con gli attacchi informatici, potrebbero esserci modi per immunizzare le persone contro la propaganda, ecc. La mia risposta è che queste difese saranno possibili solo con un’IA di potenza comparabile. Se non esiste una forza di contrappeso dotata di un paese di geni altrettanto intelligenti e numerosi in un centro di calcolo, non sarà possibile eguagliare la qualità o la quantità dei droni, né far sì che la difesa informatica superi in astuzia l’attacco informatico, ecc. Pertanto, la questione delle contromisure si riduce all’equilibrio di potere nell’ambito dell’IA potente. A questo proposito, mi preoccupa la proprietà ricorsiva o di auto-rinforzo dell’IA potente (di cui ho parlato all’inizio di questo saggio): il fatto che ogni generazione di IA possa essere utilizzata per progettare e addestrare la generazione successiva di IA. Ciò comporta il rischio di un vantaggio inarrestabile, in cui l’attuale leader nell’IA potente potrebbe aumentare il proprio distacco e risultare difficile da raggiungere. Dobbiamo assicurarci che non sia un paese autoritario il primo a innescare questo ciclo.

Inoltre, anche se si riuscisse a raggiungere un equilibrio di potere, ci sarebbe comunque il rischio che il mondo venga suddiviso in sfere autocratiche, come in 1984. Anche se diverse potenze concorrenti disponessero ciascuna dei propri modelli di IA potenti e nessuna potesse prevalere sulle altre, ogni potenza potrebbe comunque reprimere la propria popolazione all’interno dei propri confini e sarebbe molto difficile da rovesciare (poiché le popolazioni non dispongono di un’IA potente per difendersi). È quindi importante prevenire l’autocrazia resa possibile dall’IA, anche nel caso in cui non porti un singolo paese a conquistare il mondo.

Difese

Come possiamo difenderci da questa vasta gamma di strumenti autocratici e potenziali attori minacciosi? Come nelle sezioni precedenti, credo ci siano diverse cose che possiamo fare. Innanzitutto, non dovremmo assolutamente vendere chip, strumenti per la produzione di chip o centri di calcolo al PCC. I chip e gli strumenti per produrli rappresentano il principale collo di bottiglia per un’IA potente, e bloccarne la fornitura è una misura semplice ma estremamente efficace, forse l’azione più importante in assoluto che possiamo intraprendere. Non ha senso vendere al PCC gli strumenti con cui costruire uno Stato totalitario basato sull’IA per poi, potenzialmente, conquistarci militarmente. Vengono avanzate numerose argomentazioni complesse per giustificare simili vendite, come l’idea che “diffondere il nostro stack tecnologico in tutto il mondo” permetta all‘“America di vincere” in una sorta di battaglia economica generica e non specificata. A mio avviso, questo equivale a vendere armi nucleari alla Corea del Nord e poi vantarsi che gli involucri dei missili sono prodotti dalla Boeing e che quindi gli Stati Uniti stanno “vincendo”. La Cina è indietro di diversi anni rispetto agli Stati Uniti nella capacità di produrre in grande quantità chip di frontiera, e il periodo critico per creare quel paese di geni in un centro di calcolo molto probabilmente ricadrà proprio nei prossimi anni.⁠⁠34 Non c’è motivo di dare un enorme impulso al loro settore dell’IA durante questo periodo critico.

In secondo luogo, ha senso utilizzare l’IA per rafforzare le democrazie affinché resistano alle autocrazie. Questo è il motivo per cui Anthropic ritiene importante fornire l’IA alle comunità dell’intelligence e della difesa degli Stati Uniti e dei loro alleati democratici. Difendere le democrazie sotto attacco, come l’Ucraina e (tramite attacchi informatici) Taiwan, sembra avere una priorità particolarmente alta, così come dotare le democrazie degli strumenti per utilizzare i propri servizi di intelligence al fine di destabilizzare e indebolire le autocrazie dall’interno. A un certo livello, l’unico modo per rispondere alle minacce autocratiche è eguagliarle e superarle sul piano militare. Una coalizione tra gli Stati Uniti e i loro alleati democratici, se raggiungesse il predominio nell’IA potente, sarebbe nella posizione non solo di difendersi dalle autocrazie, ma anche di contenerle e limitare i loro abusi totalitari legati all’IA.

In terzo luogo, dobbiamo tracciare una linea netta contro gli abusi dell’IA all’interno delle democrazie. Devono esserci dei limiti a ciò che permettiamo ai nostri governi di fare con l’IA, affinché non si impadroniscano del potere o reprimano il proprio popolo. La formulazione a cui sono giunto è che dovremmo utilizzare l’IA per la difesa nazionale in tutti i modi tranne quelli che ci renderebbero più simili ai nostri avversari autocratici.

Dove va tracciata la linea di demarcazione? Nell’elenco all’inizio di questa sezione, due voci — l’uso dell’IA per la sorveglianza di massa interna e la propaganda di massa — mi sembrano chiare linee rosse e del tutto illegittime. Alcuni potrebbero obiettare che non c’è bisogno di fare nulla (almeno negli Stati Uniti), poiché la sorveglianza di massa interna è già illegale ai sensi del Quarto Emendamento. Ma il rapido progresso dell’IA potrebbe creare situazioni che i nostri attuali quadri giuridici non sono ben progettati per affrontare. Ad esempio, probabilmente non sarebbe incostituzionale per il governo degli Stati Uniti effettuare registrazioni su vasta scala di tutte le conversazioni pubbliche (ad esempio, ciò che le persone si dicono a vicenda all’angolo di una strada), e in passato sarebbe stato difficile vagliare un tale volume di informazioni, ma con l’IA tutto potrebbe essere trascritto, interpretato e incrociato per creare un quadro degli orientamenti e della lealtà di molti o della maggior parte dei cittadini. Sosterrei una legislazione incentrata sulle libertà civili (o forse persino un emendamento costituzionale) che imponga misure di salvaguardia più rigorose contro gli abusi alimentati dall’IA.

Gli altri due punti — le armi completamente autonome e l’IA per il processo decisionale strategico — rappresentano linee più difficili da tracciare, poiché hanno usi legittimi nella difesa della democrazia, pur prestandosi ad abusi. In questo caso ritengo siano necessari estrema cautela e un attento controllo, combinati con misure di salvaguardia per prevenire gli abusi. Il mio timore principale è che ci siano troppe poche «dita sul pulsante», al punto che una sola persona o un piccolo gruppo potrebbero di fatto comandare un esercito di droni senza bisogno della collaborazione di altri esseri umani per eseguire i propri ordini. Man mano che i sistemi di IA diventano più potenti, potremmo aver bisogno di meccanismi di supervisione più diretti e immediati per garantire che non ne venga fatto un uso improprio, coinvolgendo forse rami del governo diversi da quello esecutivo. Ritengo che dovremmo affrontare in particolare le armi completamente autonome con grande cautela,⁠⁠35 senza affrettarne l’uso in assenza di adeguate misure di salvaguardia.

In quarto luogo, dopo aver tracciato una linea netta contro gli abusi dell’IA nelle democrazie, dovremmo utilizzare tale precedente per creare un tabù internazionale contro i peggiori abusi di un’IA potente. Riconosco che l’attuale clima politico si è rivoltato contro la cooperazione e le norme internazionali, ma questo è un caso in cui ne abbiamo un disperato bisogno. Il mondo deve comprendere il potenziale oscuro di un’IA potente nelle mani degli autocrati e riconoscere che certi usi dell’IA equivalgono al tentativo di sottrarre definitivamente alle persone la loro libertà e di imporre loro uno Stato totalitario a cui non possono sfuggire. Mi spingerei addirittura ad affermare che, in alcuni casi, la sorveglianza su larga scala con un’IA potente, la propaganda di massa con un’IA potente e certi tipi di usi offensivi delle armi completamente autonome dovrebbero essere considerati crimini contro l’umanità. Più in generale, c’è un disperato bisogno di una solida norma contro il totalitarismo reso possibile dall’IA e contro tutti i suoi strumenti e mezzi.

È possibile adottare una versione ancora più forte di questa posizione, secondo cui, poiché le prospettive di un totalitarismo reso possibile dall’IA sono così cupe, l’autocrazia semplicemente non è una forma di governo che le persone potranno accettare nell’era successiva all’avvento di un’IA potente. Proprio come il feudalesimo divenne impraticabile con la rivoluzione industriale, l’era dell’IA potrebbe portare inevitabilmente e logicamente alla conclusione che la democrazia (e, si spera, una democrazia migliorata e rinvigorita dall’IA, come discuto in Macchine di amorevole grazia) sia l’unica forma di governo praticabile se l’umanità vuole avere un buon futuro.

Quinto e ultimo punto: le aziende di IA dovrebbero essere tenute sotto stretta osservazione, così come i loro legami con il governo, che sono necessari ma devono avere limiti e confini ben definiti. L’enorme quantità di capacità insita in un’IA potente è tale che la normale governance aziendale — progettata per proteggere gli azionisti e prevenire abusi comuni come le frodi — difficilmente sarà all’altezza del compito di governare le aziende di IA. Potrebbe inoltre essere utile che le aziende si impegnino pubblicamente (magari anche nell’ambito della governance aziendale) a non intraprendere determinate azioni, come costruire o accumulare in segreto equipaggiamento militare, consentire a singoli individui di utilizzare grandi quantità di risorse di calcolo in modo non trasparente, oppure impiegare i propri prodotti di IA come propaganda per manipolare l’opinione pubblica a proprio favore.

Il pericolo in questo caso proviene da molte direzioni, e alcune di queste sono in tensione con altre. L’unica costante è che dobbiamo ricercare responsabilità, norme e misure di salvaguardia per tutti, anche mentre diamo agli attori “buoni” i mezzi per tenere sotto controllo gli “attori malintenzionati”.

4. Pianoforte meccanico

Sconvolgimento economico

Le tre sezioni precedenti vertevano essenzialmente sui rischi per la sicurezza posti da un’IA potente: i rischi derivanti dall’IA stessa, dall’uso improprio da parte di individui e piccole organizzazioni e dall’uso improprio da parte di Stati e grandi organizzazioni. Se mettiamo da parte i rischi per la sicurezza, o supponiamo che siano stati risolti, la questione successiva è economica. Quale sarà l’effetto di questa iniezione di un incredibile capitale “umano” sull’economia? L’effetto più ovvio sarà un notevole aumento della crescita economica. Il ritmo dei progressi nella ricerca scientifica, nell’innovazione biomedica, nella produzione, nelle catene di approvvigionamento, nell’efficienza del sistema finanziario e in molti altri ambiti porterà quasi sicuramente a un tasso di crescita economica molto più rapido. In Macchine di amorevole grazia, suggerisco che potrebbe essere possibile un tasso di crescita annuo sostenuto del PIL compreso tra il 10 e il 20 %.

Ma dovrebbe essere chiaro che si tratta di un’arma a doppio taglio: quali sono le prospettive economiche per la maggior parte degli esseri umani di oggi in un mondo simile? Le nuove tecnologie provocano spesso shock nel mercato del lavoro e, in passato, gli esseri umani se ne sono sempre ripresi; temo però che ciò sia dovuto al fatto che i precedenti shock avevano interessato solo una piccola frazione dell’intera gamma di abilità umane possibili, lasciando alle persone lo spazio per riposizionarsi su nuovi compiti. L’IA avrà effetti molto più ampi e rapidi, e pertanto temo che sarà molto più difficile far sì che tutto si risolva per il meglio.

Sconvolgimento del mercato del lavoro

Ci sono due problemi specifici che mi preoccupano: lo spiazzamento sul mercato del lavoro e la concentrazione del potere economico. Cominciamo con il primo. Si tratta di un argomento su cui ho messo in guardia pubblicamente nel 2025, quando ho previsto che l’IA avrebbe potuto spiazzare metà di tutti i lavori impiegatizi di livello base nei successivi 1–5 anni, pur accelerando la crescita economica e il progresso scientifico. Questo avvertimento ha dato il via a un dibattito pubblico sull’argomento. Molti amministratori delegati, esperti di tecnologia ed economisti erano d’accordo con me, ma altri hanno supposto che fossi vittima della fallacia della «quantità fissa di lavoro» e che non conoscessi il funzionamento dei mercati del lavoro; alcuni, invece, non hanno colto l’orizzonte temporale di 1–5 anni e hanno pensato che sostenessi che l’IA stesse spiazzando i posti di lavoro in questo preciso momento (cosa che, concordo, probabilmente non sta avvenendo). Vale quindi la pena esaminare in dettaglio perché sono preoccupato per lo spiazzamento della manodopera, al fine di chiarire questi malintesi.

Come punto di partenza, è utile capire come i mercati del lavoro reagiscono normalmente ai progressi tecnologici. Quando compare una nuova tecnologia, essa inizia con il rendere più efficienti alcune parti di un determinato lavoro umano. Ad esempio, agli albori della rivoluzione industriale, le macchine, come gli aratri migliorati, permisero agli agricoltori di essere più efficienti in alcuni aspetti del loro lavoro. Ciò migliorò la produttività degli agricoltori, aumentandone i salari.

Nella fase successiva, alcune parti del lavoro agricolo poterono essere svolte interamente dalle macchine, ad esempio con l’invenzione della trebbiatrice o della seminatrice. In questa fase, gli esseri umani svolgevano una porzione sempre più ridotta del lavoro, ma il lavoro che effettivamente portavano a termine beneficiava di un effetto leva sempre maggiore, poiché complementare a quello delle macchine, e la loro produttività continuava a crescere. Come descritto dal paradosso di Jevons, i salari degli agricoltori e forse anche il loro numero continuarono ad aumentare. Anche quando il 90 % del lavoro viene svolto dalle macchine, gli esseri umani possono semplicemente fare 10 volte di più di quel 10 % di cui ancora si occupano, producendo una produzione 10 volte superiore con la stessa quantità di lavoro.

Alla fine, le macchine fanno tutto o quasi tutto, come nel caso delle moderne mietitrebbiatrici, dei trattori e di altre attrezzature. A questo punto l’agricoltura come forma di occupazione umana subisce davvero un forte declino, e ciò può causare gravi sconvolgimenti a breve termine; tuttavia, poiché l’agricoltura è solo una delle tante attività utili che gli esseri umani sono in grado di svolgere, le persone finiscono per passare ad altri lavori, come l’utilizzo di macchinari industriali. Ciò è vero anche se l’agricoltura rappresentava ex ante una percentuale enorme dell’occupazione. 250 anni fa, il 90 % degli americani viveva nelle fattorie; in Europa, il 50–60 % dell’occupazione era agricola. Oggi in quei luoghi quelle percentuali sono scese a valori a una sola cifra, molto bassi, perché i lavoratori sono passati ai lavori industriali (e, in seguito, ai lavori nel settore della conoscenza). L’economia è in grado di svolgere ciò che in precedenza richiedeva la maggior parte della forza lavoro utilizzando solo l’1–2 % di essa, liberando il resto dei lavoratori per costruire una società industriale sempre più avanzata. Non esiste una «quantità fissa di lavoro», ma solo una capacità in continua espansione di fare sempre di più con sempre meno. I salari aumentano di pari passo con la crescita esponenziale del PIL e l’economia mantiene la piena occupazione una volta superate le turbolenze a breve termine.

È possibile che le cose vadano più o meno allo stesso modo con l’IA, ma scommetterei con decisione sul contrario. Ecco alcuni motivi per cui ritengo che con l’IA sarà probabilmente diverso:

• Velocità. Il ritmo del progresso nell’IA è molto più veloce rispetto alle precedenti rivoluzioni tecnologiche. Ad esempio, negli ultimi due anni, i modelli di IA sono passati dall’essere a malapena in grado di completare una singola riga di codice, a scrivere tutto o quasi tutto il codice per alcune persone, tra cui gli ingegneri di Anthropic.⁠⁠36 Presto potrebbero svolgere l’intero compito di un ingegnere del software dall’inizio alla fine.⁠⁠37 È difficile per le persone adattarsi a questo ritmo di cambiamento, sia per le trasformazioni nelle modalità di svolgimento di un determinato lavoro, sia per la necessità di passare a nuove professioni. Persino programmatori leggendari si definiscono sempre più spesso «in ritardo». Il ritmo potrebbe, semmai, continuare ad accelerare, poiché i modelli di IA per la programmazione velocizzano sempre di più l’attività di sviluppo dell’intelligenza artificiale stessa. A scanso di equivoci, la velocità di per sé non significa che alla fine i mercati del lavoro e l’occupazione non si riprenderanno; implica semplicemente che la transizione a breve termine sarà insolitamente dolorosa rispetto alle tecnologie del passato, poiché gli esseri umani e i mercati del lavoro sono lenti a reagire e a riequilibrarsi.
• Ampiezza cognitiva. Come suggerisce l’espressione «un paese di geni in un centro di calcolo», l’IA sarà in grado di coprire una gamma molto ampia di abilità cognitive umane, forse tutte. Questo scenario è molto diverso rispetto alle tecnologie precedenti come l’agricoltura meccanizzata, i trasporti o persino i computer.⁠⁠38 Ciò renderà più difficile per le persone passare facilmente dai lavori spiazzati ad altre occupazioni simili per le quali sarebbero adatte. Ad esempio, le capacità intellettuali generali richieste per i lavori di livello base in settori quali la finanza, la consulenza e la giurisprudenza sono piuttosto simili, anche se le conoscenze specifiche sono molto diverse. Una tecnologia che sconvolgesse solo uno di questi tre settori consentirebbe ai dipendenti di ripiegare sugli altri due campi affini (o agli studenti universitari di cambiare percorso di studi). Tuttavia, lo sconvolgimento simultaneo di tutti e tre i settori (insieme a molti altri lavori simili) potrebbe rendere molto più difficile l’adattamento delle persone. Inoltre, non si tratta solo del fatto che la maggior parte dei lavori esistenti sarà sconvolta. Questo è già accaduto in passato: ricordiamo che l’agricoltura rappresentava una percentuale enorme dell’occupazione. Ma gli agricoltori potevano passare al lavoro relativamente simile di utilizzare macchinari industriali, anche se prima quel tipo di occupazione non era così diffuso. Al contrario, l’IA sta eguagliando sempre di più il profilo cognitivo generale degli esseri umani, il che significa che sarà altrettanto valida anche nei nuovi lavori che normalmente verrebbero creati in risposta all’automazione di quelli vecchi. In altre parole, l’IA non è un sostituto di specifici lavori umani, ma piuttosto un sostituto generale del lavoro umano.
• Suddivisione in base alle capacità cognitive. In un’ampia gamma di compiti, l’IA sembra avanzare dal fondo della scala delle capacità verso il vertice. Ad esempio, nella programmazione i nostri modelli sono passati dal livello di «programmatore mediocre» a «programmatore esperto» fino a «programmatore molto esperto».⁠⁠39 Stiamo ora iniziando a osservare la stessa progressione nel lavoro impiegatizio in generale. Corriamo quindi il rischio di una situazione in cui, invece di colpire persone con competenze o professioni specifiche (che possono adattarsi attraverso la riqualificazione), l’IA colpisca persone con determinate proprietà cognitive intrinseche, ovvero capacità intellettuali inferiori (che sono più difficili da modificare). Non è chiaro dove andranno a finire queste persone o cosa faranno, e temo che potrebbero formare una «sottoclasse» di disoccupati o di lavoratori con salari molto bassi. A scanso di equivoci, situazioni simili si sono già verificate in passato: ad esempio, alcuni economisti ritengono che i computer e Internet rappresentino un «cambiamento tecnologico orientato alle competenze». Tuttavia, questo orientamento legato alle competenze non era estremo come quello che mi aspetto di vedere con l’IA, e si ritiene che abbia contribuito a un aumento della disuguaglianza salariale,⁠⁠40 quindi non costituisce esattamente un precedente rassicurante.
• Capacità di colmare le lacune. Di solito, i lavori umani si adattano alle nuove tecnologie perché ogni impiego presenta molti aspetti e la nuova tecnologia, anche quando sembra sostituire direttamente gli esseri umani, ha spesso delle lacune. Se qualcuno inventa una macchina per produrre oggetti, gli esseri umani potrebbero comunque dover caricare al suo interno la materia prima. Anche se questo richiedesse solo l’1 % dello sforzo necessario per la produzione manuale, i lavoratori potrebbero semplicemente realizzare un numero di oggetti 100 volte superiore. Ma l’IA, oltre a essere una tecnologia in rapida evoluzione, è anche una tecnologia che si adatta rapidamente. A ogni rilascio di un modello, le aziende di IA misurano con attenzione i punti di forza e di debolezza del modello; anche i clienti, dopo il lancio, forniscono informazioni simili. È possibile sopperire alle debolezze raccogliendo compiti che riflettono le lacune attuali e usandoli per l’addestramento del modello successivo. Agli albori dell’IA generativa, gli utenti notarono che i sistemi di IA presentavano certe debolezze (ad esempio, i modelli di IA per la generazione di immagini creavano mani con un numero errato di dita) e molti diedero per scontato che si trattasse di limiti intrinseci alla tecnologia. Se così fosse, ciò limiterebbe lo sconvolgimento nel mercato del lavoro. Eppure, quasi tutte queste debolezze vengono risolte rapidamente, spesso nel giro di pochi mesi.

Vale la pena affrontare i più comuni motivi di scetticismo. In primo luogo, vi è l’argomentazione secondo cui la diffusione economica sarà lenta, sicché, anche qualora la tecnologia sottostante fosse in grado di svolgere la maggior parte del lavoro umano, la sua effettiva applicazione nell’economia potrebbe richiedere molto più tempo (ad esempio nei settori lontani dall’industria dell’IA e lenti nell’adottarla). La lenta diffusione delle tecnologie è decisamente reale: parlo con persone di aziende molto diverse, e ci sono realtà in cui l’adozione dell’IA richiederà anni. È per questo che la mia previsione riguardo allo sconvolgimento del 50 % dei lavori impiegatizi di livello base si colloca in un arco di 1–5 anni, anche se sospetto che disporremo di un’IA potente (che tecnologicamente parlando basterebbe a svolgere la maggior parte o tutti i lavori, non solo quelli di livello base) in molto meno di 5 anni. Tuttavia, gli effetti di diffusione si limitano a farci guadagnare tempo. E dubito fortemente che saranno lenti come si prevede. L’adozione dell’IA da parte delle aziende sta crescendo a ritmi superiori rispetto a qualsiasi altra tecnologia precedente, in gran parte grazie alla pura e semplice forza della tecnologia in sé. Inoltre, anche se le imprese tradizionali dovessero rivelarsi lente ad adottare le nuove tecnologie, nasceranno startup con il compito di fare da “collante”, facilitandone l’adozione. Se questo non dovesse bastare, tali startup potrebbero semplicemente sbaragliare le aziende preesistenti in modo diretto.

Questo potrebbe condurre a un mondo in cui a essere sconvolti non saranno tanto i singoli posti di lavoro, quanto le grandi imprese in generale, che verranno sostituite da startup con un fabbisogno di manodopera decisamente inferiore. Ciò potrebbe anche portare a un mondo di “disuguaglianza geografica”, in cui una quota sempre maggiore della ricchezza globale si concentrerà nella Silicon Valley, la quale diventerà un’economia a sé stante in grado di viaggiare a una velocità diversa rispetto al resto del mondo, lasciandoselo inesorabilmente alle spalle. Tutte queste dinamiche avrebbero esiti ottimi per la crescita economica, ma non altrettanto per il mercato del lavoro o per chi viene lasciato indietro.

In secondo luogo, c’è chi sostiene che l’occupazione umana si sposterà verso il mondo fisico, eludendo in questo modo l’intera categoria del “lavoro cognitivo” nella quale l’IA sta progredendo tanto rapidamente. Non sono convinto che questa sia una prospettiva sicura. Molto lavoro fisico viene già svolto dalle macchine (ad esempio nella produzione manifatturiera) o lo sarà a breve (ad esempio nel campo della guida). Inoltre, un’IA sufficientemente potente sarà in grado di accelerare lo sviluppo dei robot, per poi controllarli nel mondo fisico. Questo potrebbe farci guadagnare un po’ di tempo (il che è positivo), ma temo non molto. E, anche se lo sconvolgimento dovesse limitarsi esclusivamente alle mansioni cognitive, si tratterebbe pur sempre di un impatto dalla portata e dalla rapidità senza precedenti.

In terzo luogo, forse alcune attività richiedono intrinsecamente un tocco umano o ne traggono grande beneficio. Su questo punto sono un po’ più incerto, ma resto comunque scettico sul fatto che ciò basti a compensare la maggior parte degli impatti che ho descritto sopra. L’IA è già ampiamente utilizzata per l’assistenza clienti. Molte persone riferiscono che è più facile parlare con l’IA dei propri problemi personali piuttosto che con un terapeuta — che l’IA è più paziente. Quando mia sorella ha affrontato dei problemi di salute durante una gravidanza, sentiva di non ricevere le risposte o il sostegno di cui aveva bisogno dai medici curanti, e ha riscontrato in Claude un approccio più empatico (oltre a riuscire meglio a diagnosticare il problema). Sono certo che esistano compiti per i quali il tocco umano è davvero importante, ma non so quanti siano — e qui stiamo parlando di trovare un’occupazione a quasi tutti quanti sono sul mercato del lavoro.

In quarto luogo, alcuni potrebbero obiettare che il vantaggio comparato continuerà a proteggere gli esseri umani. Secondo la legge del vantaggio comparato, anche se l’IA fosse migliore degli esseri umani in tutto, qualsiasi differenza relativa tra il profilo di competenze degli esseri umani e quello dell’IA creerebbe una base per lo scambio e la specializzazione tra esseri umani e IA. Il problema è che se le IA fossero letteralmente migliaia di volte più produttive degli esseri umani, questa logica inizierebbe a crollare. Anche minuscoli costi di transazione potrebbero rendere non conveniente per l’IA effettuare scambi con gli esseri umani. E i salari umani potrebbero essere molto bassi, anche se tecnicamente avessero qualcosa da offrire.

È possibile che tutti questi fattori vengano gestiti — che il mercato del lavoro sia abbastanza resiliente da adattarsi persino a uno sconvolgimento così enorme. Ma, anche se alla fine riuscisse ad adattarsi, i fattori sopra citati suggeriscono che lo shock a breve termine avrà una portata senza precedenti.

Difese

Cosa possiamo fare per affrontare questo problema? Ho diversi suggerimenti, alcuni dei quali Anthropic sta già mettendo in pratica. Il primo passo è semplicemente quello di ottenere dati accurati e in tempo reale su ciò che sta accadendo in termini di perdita di posti di lavoro. Quando un cambiamento economico avviene molto rapidamente, è difficile ottenere dati affidabili su ciò che succede e, senza di essi, risulta arduo progettare politiche efficaci. Ad esempio, gli attuali dati governativi mancano di informazioni granulari e ad alta frequenza sull’adozione dell’IA nelle aziende e nei vari settori. Nell’ultimo anno Anthropic ha gestito e pubblicato un Indice Economico che mostra l’utilizzo dei nostri modelli quasi in tempo reale, suddiviso per settore, mansione, luogo e persino per aspetti come l’eventualità che una determinata mansione venga automatizzata o svolta in modo collaborativo. Abbiamo anche un Consiglio consultivo economico per aiutarci a interpretare questi dati e a capire cosa ci aspetta.

In secondo luogo, le aziende di IA possono scegliere come collaborare con le imprese. Proprio l’inefficienza delle imprese tradizionali fa sì che l’implementazione dell’IA al loro interno possa dipendere fortemente dal percorso intrapreso, lasciando un certo margine per sceglierne uno migliore. Le imprese spesso devono scegliere tra il “risparmio sui costi” (fare le stesse cose con meno persone) e l‘“innovazione” (fare di più con lo stesso numero di persone). Il mercato finirà inevitabilmente per produrre entrambe le cose e qualsiasi azienda di IA competitiva dovrà soddisfare in parte entrambe le esigenze, ma potrebbe esserci margine per orientare le imprese verso l’innovazione quando possibile, e questo potrebbe farci guadagnare un po’ di tempo. Anthropic sta riflettendo attivamente su questo aspetto.

In terzo luogo, le aziende dovrebbero pensare a come prendersi cura dei propri dipendenti. A breve termine, trovare modi creativi per ricollocare il personale all’interno dell’azienda potrebbe essere un approccio promettente per scongiurare i licenziamenti. A lungo termine, in un mondo caratterizzato da un’enorme ricchezza complessiva, in cui molte aziende aumentano notevolmente di valore grazie all’incremento della produttività e alla concentrazione del capitale, potrebbe essere fattibile continuare a retribuire i dipendenti umani anche molto tempo dopo che avranno smesso di fornire valore economico nel senso tradizionale del termine. Attualmente Anthropic sta valutando una serie di possibili percorsi per i propri dipendenti, che condivideremo nel prossimo futuro.

In quarto luogo, le persone facoltose hanno l’obbligo di contribuire a risolvere questo problema. Trovo triste che molti individui ricchi (soprattutto nel settore tecnologico) abbiano recentemente adottato un atteggiamento cinico e nichilista, secondo cui la filantropia sarebbe inevitabilmente fraudolenta o inutile. Sia la filantropia privata, come la Gates Foundation, sia i programmi pubblici, come il PEPFAR, hanno salvato decine di milioni di vite nei paesi in via di sviluppo e hanno contribuito a creare opportunità economiche nei paesi sviluppati. Tutti i cofondatori di Anthropic si sono impegnati a donare l’80 % del loro patrimonio e i dipendenti di Anthropic si sono impegnati individualmente a donare azioni dell’azienda per un valore di miliardi ai prezzi attuali, donazioni che l’azienda si è impegnata a eguagliare.

In quinto luogo, sebbene tutte le azioni private sopra citate possano essere utili, in definitiva un problema macroeconomico di questa portata richiederà l’intervento del governo. La risposta politica naturale a una torta economica enorme accompagnata da un’elevata disuguaglianza (dovuta alla mancanza di posti di lavoro, o a posti di lavoro mal retribuiti, per molti) è la tassazione progressiva. L’imposta potrebbe essere generale oppure mirata in particolare alle aziende di IA. Ovviamente la progettazione fiscale è complessa e ci sono molti modi in cui può andare storta. Non sostengo politiche fiscali mal concepite. Ritengo che i livelli estremi di disuguaglianza previsti in questo saggio giustifichino una politica fiscale più rigorosa per motivi morali fondamentali, ma posso anche avanzare un’argomentazione pragmatica ai miliardari di tutto il mondo: è nel loro interesse sostenerne una versione ben concepita; se non lo fanno, si ritroveranno inevitabilmente con una versione scadente ideata dalla folla.

In definitiva, considero tutti gli interventi sopra citati come modi per guadagnare tempo. Alla fine l’IA sarà in grado di fare tutto, e dobbiamo fare i conti con questa realtà. La mia speranza è che, a quel punto, potremo utilizzare la stessa IA per aiutarci a ristrutturare i mercati in modi che funzionino per tutti, e che gli interventi sopra citati possano accompagnarci attraverso il periodo di transizione.

Concentrazione del potere economico

Un problema distinto da quello della perdita dei posti di lavoro o della disuguaglianza economica di per sé è la concentrazione del potere economico. Nella Sezione 1 si è discusso del rischio che l’umanità venga esautorata dall’IA, mentre nella Sezione 3 si è discusso del rischio che i cittadini vengano esautorati dai propri governi con la forza o la coercizione. Ma può verificarsi un altro tipo di esautorazione se esiste una concentrazione di ricchezza talmente enorme che un piccolo gruppo di persone controlla di fatto la politica governativa con la propria influenza, mentre i cittadini comuni non hanno alcuna influenza perché privi di effetto leva economico. La democrazia è, in ultima analisi, sostenuta dall’idea che la popolazione nel suo insieme sia necessaria per il funzionamento dell’economia. Se tale effetto leva economico venisse a mancare, allora il contratto sociale implicito della democrazia potrebbe smettere di funzionare. Altri hanno scritto su questo argomento, quindi non serve che mi dilunghi troppo in questa sede, ma condivido questa preoccupazione e temo che la cosa stia già cominciando a verificarsi.

Per essere chiari, non sono contrario al fatto che le persone guadagnino molto denaro. Esiste una forte argomentazione secondo cui ciò incentiva la crescita economica in condizioni normali. Condivido le preoccupazioni riguardo al rischio di ostacolare l’innovazione uccidendo la gallina dalle uova d’oro che la genera. Ma in uno scenario in cui la crescita del PIL è del 10–20 % all’anno e l’intelligenza artificiale sta rapidamente prendendo il sopravvento sull’economia, mentre singoli individui detengono quote apprezzabili del PIL, l’innovazione non è la cosa di cui preoccuparsi. Ciò di cui preoccuparsi è un livello di concentrazione della ricchezza tale da distruggere la società.

L’esempio più famoso di estrema concentrazione della ricchezza nella storia degli Stati Uniti è la Gilded Age, e l’industriale più ricco di quell’epoca era John D. Rockefeller. La ricchezza di Rockefeller ammontava a circa il 2 % del PIL statunitense dell’epoca.⁠⁠41 Una quota simile oggi corrisponderebbe a una fortuna di 600 miliardi di dollari, e la persona attualmente più ricca del mondo (Elon Musk) supera già tale cifra, con circa 700 miliardi di dollari. Ci troviamo quindi già a livelli di concentrazione della ricchezza senza precedenti nella storia, persino prima che si manifesti gran parte dell’impatto economico dell’IA. Non credo sia troppo azzardato (se dovessimo avere un “paese di geni”) immaginare che le aziende di IA, quelle di semiconduttori e forse le aziende di applicazioni a valle generino circa 3 bilioni di dollari di ricavi all’anno,⁠⁠42 siano valutate circa 30 bilioni di dollari, e portino a fortune personali di svariati bilioni. In uno scenario del genere, i dibattiti che oggi conduciamo sulla politica fiscale semplicemente non saranno più pertinenti, poiché ci troveremo in una situazione fondamentalmente diversa.

A questo proposito, il legame tra questa concentrazione della ricchezza e il sistema politico mi preoccupa già. I centri di calcolo dell’IA rappresentano già una quota sostanziale della crescita economica degli Stati Uniti,⁠⁠43 e stanno quindi legando fortemente gli interessi finanziari delle grandi aziende tecnologiche (che sono sempre più concentrate sull’IA o sulle infrastrutture per l’IA) agli interessi politici del governo, in un modo che può generare incentivi perversi. Lo vediamo già nella riluttanza delle aziende tecnologiche a criticare il governo statunitense e nel sostegno del governo a politiche estreme contro la regolamentazione dell’IA.

Difese

Cosa si può fare al riguardo? Innanzitutto, la cosa più ovvia è che le aziende dovrebbero semplicemente scegliere di non farne parte. Anthropic si è sempre impegnata a essere un attore di policy e non un attore politico, e a mantenere le proprie opinioni autentiche a prescindere dall’amministrazione in carica. Ci siamo espressi a favore di una regolamentazione ragionevole dell’IA e di controlli sulle esportazioni che siano di interesse pubblico, anche quando questi sono in contrasto con le politiche del governo.⁠⁠44 Molti mi hanno detto che dovremmo smettere di farlo, poiché ciò potrebbe portare a un trattamento sfavorevole, ma nell’anno in cui lo abbiamo fatto la valutazione di Anthropic è aumentata di oltre 6 volte, un balzo quasi senza precedenti per un’azienda delle nostre dimensioni.

In secondo luogo, il settore dell’IA ha bisogno di un rapporto più sano con il governo, basato su un impegno concreto sulle policy piuttosto che sull’allineamento politico. La nostra scelta di concentrarci sulla sostanza delle policy piuttosto che sulla politica viene talvolta interpretata come un errore tattico o un’incapacità di “cogliere l’umore generale” anziché come una decisione di principio, e questa chiave di lettura mi preoccupa. In una democrazia sana, le aziende dovrebbero poter sostenere delle buone policy per il loro valore intrinseco. A questo proposito, si sta profilando una reazione negativa dell’opinione pubblica nei confronti dell’IA: potrebbe essere un fattore correttivo, ma al momento è poco mirata. Gran parte di essa prende di mira questioni che in realtà non sono problemi (come il consumo idrico dei centri di calcolo) e propone soluzioni (come il divieto di costruire centri di calcolo o imposte patrimoniali mal concepite) che non affronterebbero le vere preoccupazioni. La questione di fondo che merita attenzione è garantire che lo sviluppo dell’IA rimanga responsabile nei confronti dell’interesse pubblico e non venga monopolizzato da una particolare alleanza politica o commerciale; sembra quindi importante concentrare il dibattito pubblico su questo aspetto.

In terzo luogo, gli interventi macroeconomici che ho descritto in precedenza in questa sezione, così come una rinascita della filantropia privata, possono contribuire a riequilibrare la bilancia economica, affrontando contemporaneamente sia il problema della perdita di posti di lavoro sia quello della concentrazione del potere economico. A questo proposito dovremmo guardare alla storia del nostro paese: anche durante la Gilded Age, industriali come Rockefeller e Carnegie nutrivano un forte senso di responsabilità verso la società nel suo complesso, nella convinzione che quest’ultima avesse contribuito enormemente al loro successo e che fosse loro dovere ricambiare. Oggi questo spirito sembra mancare sempre di più, e credo che rappresenti una parte fondamentale della via d’uscita da questo dilemma economico. Coloro che sono in prima linea nel boom economico dell’IA dovrebbero essere disposti a cedere sia la propria ricchezza che il proprio potere.

5. I mari neri dell’infinito

Effetti indiretti

Quest’ultima sezione funge da contenitore per le incognite ignote, in particolare per ciò che potrebbe andare storto come conseguenza indiretta dei progressi positivi dell’IA e della conseguente accelerazione della scienza e della tecnologia in generale. Supponiamo di affrontare tutti i rischi descritti finora e di iniziare a raccogliere i frutti dell’IA. Probabilmente assisteremo a un “secolo di progresso scientifico ed economico compresso in un decennio”; questo sarà estremamente positivo per il mondo, ma dovremo poi fare i conti con i problemi derivanti da un progresso così rapido, che potrebbero piombarci addosso velocemente. Potremmo inoltre imbatterci in altri rischi che si manifestano indirettamente come conseguenza dei progressi dell’IA e che risultano difficili da prevedere con anticipo.

Data la natura delle incognite ignote, è impossibile stilare un elenco esaustivo, ma presenterò tre possibili motivi di preoccupazione come esempi illustrativi di ciò a cui dovremmo prestare attenzione:

• Rapidi progressi in biologia. Se davvero otterremo un secolo di progressi medici in pochi anni, potremmo riuscire ad allungare notevolmente la durata della vita umana, e c’è la possibilità di acquisire anche capacità radicali come quella di aumentare l’intelligenza o di modificare profondamente la biologia umana. Si tratterebbe di grandi cambiamenti nella sfera del possibile, destinati a verificarsi molto rapidamente. Potrebbero avere risvolti positivi se gestiti in modo responsabile (è questa la mia speranza, come descritto in Macchine di amorevole grazia), ma c’è sempre il rischio che le cose prendano una pessima piega — ad esempio, se i tentativi di rendere gli esseri umani più intelligenti li rendessero anche più instabili o assetati di potere. Si pone inoltre la questione degli “upload” o dell‘“emulazione completa del cervello”, menti umane digitali istanziate sotto forma di software, che un giorno potrebbero aiutare l’umanità a superare i propri limiti fisici, ma che comportano anche rischi che trovo inquietanti.
• L’IA cambia la vita umana in modo malsano. Un mondo popolato da miliardi di intelligenze di gran lunga superiori a quelle umane in ogni ambito sarà un luogo davvero strano in cui vivere. Anche se l’IA non mirasse attivamente ad attaccare gli esseri umani (Sezione 1) e non fosse esplicitamente utilizzata dagli Stati per l’oppressione o il controllo (Sezione 3), ci sono molte cose che potrebbero andare storte senza arrivare a tanto, attraverso normali incentivi commerciali e transazioni nominalmente consensuali. Ne vediamo i primi segnali nelle preoccupazioni relative alle psicosi da IA, all’IA che spinge le persone al suicidio e nelle preoccupazioni per le relazioni sentimentali con le IA. Ad esempio, IA potenti potrebbero inventare una nuova religione e convertirvi milioni di persone? La maggior parte delle persone potrebbe finire per diventare “dipendente” in qualche modo dalle interazioni con l’IA? Le persone potrebbero finire per essere “manovrate” dai sistemi di IA, con un’IA che di fatto osserva ogni loro mossa e dice loro esattamente cosa fare e dire in ogni momento, portando a una vita “buona” ma priva di libertà o di qualsiasi orgoglio per i risultati raggiunti? Non sarebbe difficile generare decine di questi scenari se mi sedessi a fare un brainstorming con il creatore di Black Mirror. Credo che ciò evidenzi l’importanza di aspetti quali il miglioramento della Costituzione di Claude, ben al di là di quanto necessario per prevenire i problemi descritti nella Sezione 1. Sembra fondamentale assicurarsi che i modelli di IA abbiano davvero a cuore gli interessi a lungo termine dei propri utenti, in un modo che le persone ragionevoli approverebbero, piuttosto che in una forma sottilmente distorta.
• Lo scopo umano. Questo punto è collegato al precedente, ma non riguarda tanto le interazioni specifiche degli esseri umani con i sistemi di IA, quanto piuttosto il modo in cui la vita umana cambia in generale in un mondo con un’IA potente. Gli esseri umani saranno in grado di trovare uno scopo e un significato in un mondo del genere? Penso che sia una questione di atteggiamento: come ho affermato in Macchine di amorevole grazia, ritengo che lo scopo umano non dipenda dall’essere i migliori al mondo in qualcosa, e che gli esseri umani possano trovare uno scopo anche nell’arco di periodi di tempo molto lunghi attraverso le storie e i progetti che amano. Dobbiamo semplicemente spezzare il legame tra la generazione di valore economico, l’autostima e il senso della vita. Ma questa è una transizione che la società deve compiere, e c’è sempre il rischio di non gestirla bene.

La mia speranza, di fronte a tutti questi potenziali problemi, è che in un mondo con un’IA potente, che confidiamo non ci uccida, che non sia lo strumento di un governo oppressivo e che lavori sinceramente a nostro vantaggio, potremo usare l’IA stessa per anticipare e prevenire questi problemi. Ma ciò non è garantito: come tutti gli altri rischi, è un aspetto che dobbiamo gestire con cautela.

La prova dell’umanità

Leggere questo saggio potrebbe dare l’impressione che ci troviamo in una situazione scoraggiante. Di certo l’ho trovato scoraggiante da scrivere, in contrasto con Macchine di amorevole grazia, che è stato come dare forma e struttura a una musica di straordinaria bellezza che mi risuonava nella testa da anni. E ci sono molti aspetti della situazione che sono davvero difficili. L’IA comporta minacce per l’umanità provenienti da molteplici direzioni, ed esiste una tensione reale tra i diversi pericoli, nel senso che mitigare alcuni di essi rischia di aggravarne altri se non agiamo con estrema cautela.

Dedicare tempo alla costruzione accurata di sistemi di IA in modo che non minaccino autonomamente l’umanità è in reale conflitto con la necessità che le nazioni democratiche mantengano un vantaggio sulle nazioni autoritarie e non ne siano soggiogate. Ma a loro volta, gli stessi strumenti basati sull’IA necessari per combattere le autocrazie possono, se portati all’estremo, essere rivolti verso l’interno per creare tirannia nei nostri paesi. Il terrorismo guidato dall’IA potrebbe uccidere milioni di persone attraverso l’uso improprio della biologia, ma una reazione eccessiva a questo rischio potrebbe condurci sulla strada verso uno Stato autocratico di sorveglianza. Gli effetti dell’IA sul lavoro e sulla concentrazione economica, oltre a costituire di per sé gravi problemi, potrebbero costringerci ad affrontare gli altri problemi in un clima di rabbia pubblica e forse persino di disordini civili, anziché poter fare appello alla parte migliore della nostra natura. Soprattutto, l’enorme numero di rischi, compresi quelli ignoti, e la necessità di affrontarli tutti contemporaneamente, creano una prova temibile che l’umanità deve superare.

Inoltre, gli ultimi anni dovrebbero aver chiarito che l’idea di fermare o anche solo rallentare in modo sostanziale questa tecnologia è fondamentalmente insostenibile. La formula per costruire sistemi di IA potenti è incredibilmente semplice, al punto che si può quasi dire che emerga spontaneamente dalla giusta combinazione di dati e potenza di calcolo grezza. La sua creazione era probabilmente inevitabile nel momento stesso in cui l’umanità ha inventato il transistor, o forse anche prima, quando abbiamo imparato per la prima volta a controllare il fuoco. Se un’azienda non la realizza, altre lo faranno quasi altrettanto velocemente. Se tutte le aziende dei paesi democratici interrompessero o rallentassero lo sviluppo, per accordo reciproco o per decreto normativo, i paesi autoritari continuerebbero semplicemente a procedere. Dato l’incredibile valore economico e militare di questa tecnologia, unito all’assenza di un qualsiasi meccanismo di applicazione degno di questo nome, non vedo come potremmo mai convincerli a fermarsi.

Vedo invece una via verso una leggera moderazione nello sviluppo dell’IA che sia compatibile con una visione realista della geopolitica. Tale percorso consiste nel rallentare per alcuni anni l’avanzata delle autocrazie verso un’IA potente, negando loro le risorse necessarie per costruirla,⁠⁠45 ovvero chip e apparecchiature per la produzione di semiconduttori. Ciò, a sua volta, offre ai paesi democratici un margine di manovra che possono «impiegare» per sviluppare un’IA potente con maggiore cautela, prestando più attenzione ai suoi rischi, pur procedendo abbastanza velocemente da superare agevolmente le autocrazie. La corsa tra le aziende di IA all’interno delle democrazie potrà quindi essere gestita sotto l’egida di un quadro giuridico comune, attraverso una combinazione di standard di settore e regolamentazione.

Anthropic ha sostenuto con grande impegno questa strada, spingendo per controlli sulle esportazioni di chip e una regolamentazione giudiziosa dell’IA, ma anche queste proposte apparentemente di buon senso sono state in gran parte respinte dai responsabili politici negli Stati Uniti (che è il paese in cui è più importante attuarle). Ci sono così tanti soldi da guadagnare con l’IA — letteralmente bilioni di dollari all’anno — che persino le misure più semplici faticano a superare l’economia politica insita nell’IA. Ecco la trappola: l’IA è così potente, un premio così allettante, che è molto difficile per la civiltà umana imporle qualsiasi tipo di restrizione.

Posso immaginare, come fece Sagan in Contact, che questa stessa storia si ripeta su migliaia di mondi. Una specie acquisisce la senzienza, impara a usare gli strumenti, inizia l’ascesa esponenziale della tecnologia, affronta le crisi dell’industrializzazione e delle armi nucleari e, se sopravvive a queste, affronta la sfida più ardua e definitiva quando impara a trasformare la sabbia in macchine che pensano. Se supereremo quella prova e arriveremo a costruire la splendida società descritta in Macchine di amorevole grazia, o se soccomberemo alla schiavitù e alla distruzione, dipenderà dal nostro carattere e dalla nostra determinazione come specie, dal nostro spirito e dalla nostra anima.

Nonostante i numerosi ostacoli, credo che l’umanità abbia in sé la forza per superare questa prova. Sono incoraggiato e ispirato dalle migliaia di ricercatori che hanno dedicato la loro carriera ad aiutarci a comprendere e guidare i modelli di IA, nonché a plasmarne il carattere e la costituzione. Ritengo che ora ci siano buone probabilità che tali sforzi diano i loro frutti in tempo utile. Sono incoraggiato dal fatto che almeno alcune aziende abbiano dichiarato che sosterranno costi commerciali significativi per impedire che i loro modelli contribuiscano alla minaccia del bioterrorismo. Sono incoraggiato dal fatto che alcune persone coraggiose abbiano resistito alle correnti politiche dominanti e abbiano approvato delle leggi che pongono le prime basi per misure di salvaguardia sensate sui sistemi di IA. Sono incoraggiato dal fatto che l’opinione pubblica comprenda che l’IA comporta dei rischi e voglia che tali rischi vengano affrontati. Sono incoraggiato dallo spirito indomito di libertà in tutto il mondo e dalla determinazione a resistere alla tirannia ovunque si manifesti.

Ma dovremo intensificare i nostri sforzi se vogliamo avere successo. Il primo passo è che coloro che sono più vicini alla tecnologia dicano semplicemente la verità sulla situazione in cui versa l’umanità, cosa che ho sempre cercato di fare; lo sto facendo in modo più esplicito e con maggiore urgenza con questo saggio. Il passo successivo sarà convincere i pensatori, i responsabili politici, le aziende e i cittadini di tutto il mondo dell’imminenza e dell’importanza fondamentale di questo tema — che vale la pena dedicarvi riflessione e capitale politico, rispetto alle migliaia di altre questioni che dominano ogni giorno le notizie. Poi arriverà il momento del coraggio, in cui un numero sufficiente di persone si opporrà alle tendenze prevalenti e difenderà i propri principi, anche di fronte a minacce ai propri interessi economici e alla propria sicurezza personale.

Gli anni che ci attendono saranno incredibilmente difficili e ci chiederanno più di quanto pensiamo di poter dare. Ma nella mia esperienza di ricercatore, leader e cittadino, ho visto abbastanza coraggio e nobiltà da credere che possiamo vincere: che, se messa di fronte alle circostanze più buie, l’umanità riesce a raccogliere, apparentemente all’ultimo minuto, la forza e la saggezza necessarie per prevalere. Non abbiamo tempo da perdere.

---

Vorrei ringraziare Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cuéllar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave e moltissimi membri dello staff di Anthropic per i loro utili commenti sulle bozze di questo saggio.

---

Pubblicazione originale: Dario Amodei (2026) The Adolescence of Technology, Dario Amodei’s Blog, gennaio.