Concentrazione estrema di potere

Introduzione

Oggi il potere è già concentrato: oltre 800 milioni di persone vivono con meno di 3 dollari al giorno, i tre uomini più ricchi del mondo possiedono circa 1 trilione di dollari e quasi sei miliardi di persone vivono in paesi senza elezioni libere ed eque.

Questo è un problema a sé stante. Tuttavia, esiste ancora una distribuzione sostanziale del potere: la disuguaglianza di reddito globale sta diminuendo, oltre due miliardi di persone vivono in democrazie elettorali, nessun Paese produce più di un quarto del PIL e nessuna azienda arriva all’1 %.⁠⁠a

Ma in futuro, l’IA avanzata potrebbe consentire una concentrazione di potere molto più estrema rispetto a quella che abbiamo visto finora.

Molti ritengono che entro il prossimo decennio i principali progetti di IA saranno in grado di eseguire milioni di sistemi di IA superintelligenti capaci di pensare molte volte più velocemente degli esseri umani. Questi sistemi potrebbero sostituire i lavoratori umani, riducendo notevolmente il potere economico e politico della stragrande maggioranza delle persone; e, a meno che non si intervenga per impedirlo, potrebbero finire per essere controllati da un numero ristrettissimo di individui, senza alcuna supervisione efficace. Una volta che questi sistemi saranno impiegati nell’economia, nel governo e nelle forze armate, gli obiettivi per i quali sono stati progettati, qualunque essi siano, diventeranno la forza principale nel plasmare il futuro. Se tali obiettivi venissero scelti da pochi, un piccolo numero di persone potrebbe finire per avere il potere di prendere tutte le decisioni importanti sul futuro.⁠⁠b

Riepilogo

Riteniamo che questo sia tra i problemi più urgenti al mondo, nonostante l’elevata incertezza riguardo alla portata della questione e alle potenziali soluzioni.

La nostra visione d’insieme

Raccomandato - massima priorità

Riteniamo che questo sia uno dei problemi più urgenti al mondo.

Scala

La scala del problema sembra potenzialmente molto ampia:

• Alcuni dei meccanismi che alimentano il rischio di una concentrazione di potere con l’aiuto dell’IA sembrano piuttosto probabili (come la sostituzione dei lavoratori umani da parte dell’IA, e i cicli di retroazione positivi nello sviluppo dell’IA che conferiscono ad alcuni attori un grande vantaggio in termini di capacità).⁠⁠c
• Il problema che riteniamo più grave è la presa del potere da parte dell’IA. Alcune delle stesse dinamiche che potrebbero consentire a sistemi di IA disallineati di prendere il potere potrebbero permettere di farlo anche agli esseri umani che controllano i sistemi di IA.⁠⁠d
• La concentrazione di potere con l’aiuto dell’IA significherebbe l’esautorazione politica di quasi tutti gli esseri umani. Per la stragrande maggioranza delle persone, ciò significherebbe non avere alcuna reale voce in capitolo nelle decisioni che plasmano le loro vite e il loro futuro. Senza un sistema di pesi e contrappesi, chi detiene il potere potrebbe compiere scelte estremamente dannose — la storia ci insegna che il potere incontrollato può portare alla tirannia e ad atrocità.
• Ciò che è ancora più preoccupante è che la concentrazione di potere resa possibile all’IA finirebbe probabilmente per autoalimentarsi: chi detiene il potere cercherà con ogni probabilità di consolidare ulteriormente la propria posizione e potrebbe sfruttare il proprio vantaggio nell’IA per mettere al sicuro il proprio regime, pertanto gli eventuali danni potrebbero rivelarsi molto duraturi.

Trascuratezza

Molte persone lavorano sulla concentrazione del potere in generale: nei governi, nel sistema giuridico, nel mondo accademico e nella società civile. Ma pochissimi si concentrano sul rischio di una concentrazione del potere con l’aiuto dell’IA e guidata specificamente dall’IA. Siamo a conoscenza di alcune decine di persone, in una manciata di organizzazioni, che lavorano per ridurre questo rischio, e di un numero ancora minore che se ne occupa a tempo pieno.

Risolvibilità

La prevenzione della concentrazione di potere con l’aiuto dell’IA è così trascurata che è ancora difficile stabilire quanto sia trattabile. Non sappiamo ancora cosa funzioni, perché pochissime persone hanno provato a fare qualcosa.

Tuttavia, ci sono diversi motivi per essere ottimisti:

• È nell’interesse di quasi tutti prevenire la concentrazione di potere con l’aiuto dell’IA — compresi gli interessi delle persone più potenti di oggi, che altrimenti potrebbero perdere terreno rispetto ai loro rivali.
• Anche se la riflessione su questo problema è in una fase piuttosto iniziale, ci sono già alcuni interventi concreti che sembrano promettenti. Ad esempio, le mitigazioni tecniche che impediscono alle persone di addestrare l’IA per promuovere i propri interessi, come gli audit di allineamento e la sicurezza informatica interna, sembrano abbastanza trattabili.

D’altra parte:

• Le forze strutturali che spingono verso la concentrazione del potere — l’IA che sostituisce i lavoratori umani e i cicli di retroazione che portano a grandi divari di capacità — potrebbero essere molto forti e difficili da cambiare.
• Anche se è nell’interesse della maggior parte delle persone impedire la concentrazione del potere con l’aiuto dell’IA, la loro capacità di comprendere ciò che sta accadendo e di agire nel proprio interesse potrebbe essere erosa se il progresso dell’IA fosse molto rapido, se le dinamiche competitive degradassero l’ambiente epistemico o se individui assetati di potere intraprendessero azioni antagonistiche per offuscare deliberatamente ciò che sta accadendo. Le persone assetate di potere in posizioni di autorità potrebbero anche essere in grado di rimuovere semplicemente le misure di mitigazione che altri hanno implementato per limitare la concentrazione del potere, quando tali misure diventano scomode.

In conclusione: non è chiaro quanto sia facile risolvere il problema della concentrazione di potere con l’aiuto dell’IA — ma non è chiaramente impossibile da risolvere, ci sono già alcune cose trattabili da fare, ed è un problema abbastanza importante e trascurato da giustificare uno sforzo molto maggiore. Riteniamo, infatti, che attualmente sia tra i problemi più urgenti al mondo.

Poiché siamo ancora agli inizi, e poiché piani mal eseguiti in questo ambito potrebbero ritorcersi contro di noi, pensiamo che al momento la maggior parte delle persone dovrebbe tenere presente il rischio invece di lavorarci direttamente; tuttavia, se tu sei nella posizione giusta per lavorare su questo problema, è molto probabile che questa sia la tua opzione migliore.

Profondità del profilo

Esplorativo

Questo è uno dei tanti profili che abbiamo redatto per aiutare le persone a individuare i problemi più urgenti che possono risolvere con la propria carriera. Scopri di più su come confrontiamo i diversi problemi e vedi come questo problema si confronta con gli altri che abbiamo considerato finora.

Perché la concentrazione di potere con l’aiuto dell’IA potrebbe essere un problema urgente?

I motivi principali per cui riteniamo che la concentrazione di potere con l’aiuto dell’IA sia un problema particolarmente urgente sono:

1. Livelli storicamente senza precedenti di automazione potrebbero concentrare il potere di realizzare cose, riducendo il valore del lavoro umano, conferendo potere a piccoli gruppi dotati di vaste forze lavoro di IA, e potenzialmente offrendo a un singolo sviluppatore di IA un enorme vantaggio in termini di capacità (se l’automazione dello sviluppo dell’IA dovesse portare a un progresso incontrollato dell’IA stessa).
2. Ciò potrebbe portare a una concentrazione senza precedenti del potere politico. Un piccolo numero di persone potrebbe utilizzare un’enorme forza lavoro di IA per assumere il controllo delle istituzioni esistenti, o renderle obsolete accumulando enormi ricchezze.
3. La concentrazione di potere con l’aiuto dell’IA potrebbe causare danni enormi e duraturi, privando la maggior parte delle persone del potere politico e consentendo abusi di potere su larga scala.
4. Esistono modi per ridurre questo rischio, ma pochissimi ci stanno lavorando.

In questa sezione esamineremo ciascuno di questi punti uno alla volta, ma prima presenteremo uno scenario illustrativo in cui il potere diventa estremamente concentrato a causa dell’IA avanzata. Lo scenario è molto stilizzato e le cose potrebbero andare in tantissimi altri modi, ma offre un’idea più concreta del tipo di situazione che ci preoccupa.

Uno scenario di concentrazione del potere con l’aiuto dell’IA

Si noti che questo scenario, così come le aziende e le istituzioni in esso presenti, è inventato. Stiamo cercando di illustrare un caso ipotetico e non abbiamo in mente particolari attori del mondo reale.

Nel 2029, un’azienda statunitense di IA chiamata Apex AI raggiunge un traguardo fondamentale: la sua IA è ora in grado di condurre ricerche sull’IA allo stesso livello degli scienziati umani. Ciò porta a un’esplosione di intelligenza, in cui l’IA che migliora l’IA, che a sua volta migliora l’IA, determina un rapidissimo incremento delle capacità. Ma i suoi concorrenti — compresi quelli in Cina — le sono alle calcagna e avviano le proprie esplosioni di intelligenza nel giro di pochi mesi. Temendo che la Cina possa presto trovarsi nella posizione di sfruttare la propria base industriale per sorpassare gli Stati Uniti, il governo statunitense crea il Progetto Fortress — riunendo l’intero sviluppo statunitense dell’IA sotto un Consiglio di supervisione segreto composto da funzionari governativi e dirigenti dei laboratori. Apex sfrutta il proprio vantaggio iniziale per assicurarsi tre dei nove seggi del consiglio e fornisce l’infrastruttura centrale del consiglio stesso: sistemi di sicurezza, analisi dei dati e consiglieri di IA.

Entro il 2032, le aziende di IA generano la maggior parte del gettito fiscale federale, poiché i sistemi di IA automatizzano i lavori tradizionali. La disoccupazione aumenta. Il Consiglio di supervisione ora dirige centinaia di milioni di lavoratori nel settore dell’IA, controlla la maggior parte della base imponibile e prende le decisioni più importanti in merito agli appalti militari per l’IA, agli investimenti infrastrutturali e alla ridistribuzione del reddito. Solo chi ha legami diretti con il Consiglio o con le principali aziende di IA ha accesso agli strumenti di IA più avanzati, mentre la maggior parte dei cittadini interagisce con versioni di consumo limitate. Quando il presidente propone di bloccare la fusione di Apex con Paradox AI (che creerebbe un’entità unificata in grado di controllare il 60 % della potenza di calcolo utilizzata per l’addestramento e l’esecuzione dei sistemi di IA statunitensi), i modelli economici generati dal Consiglio mettono in guardia contro il possibile sorpasso da parte della Cina e il collasso economico se la mossa venisse portata a termine. La proposta muore in sordina. I sistemi di IA del Consiglio — tutti basati sull’architettura Apex — stanno promuovendo gli interessi di Apex in modo subdolo, ma le tracce tecniche sono troppo sottili per essere rilevate dai modelli meno avanzati. Inoltre, la maggior parte delle persone è convinta della necessità di battere la Cina e, quando interroga i propri consulenti di IA personali (di solito versioni meno avanzate dei modelli Paradox o Apex) in merito alla fusione, questi argomentano in modo persuasivo che l’operazione è nell’interesse nazionale.

Entro il 2035, l’economia statunitense è triplicata, mentre le altre nazioni hanno ristagnato. Le decisioni del Progetto Fortress ora plasmano i mercati globali: quali tecnologie vengono sviluppate, quali risorse vengono allocate, quali Paesi ricevono assistenza da parte dell’IA. I dirigenti di Apex e Paradox consolidano gradualmente la loro influenza: i loro sistemi di IA redigono la maggior parte delle proposte, i loro modelli valutano le opzioni, i loro protocolli di sicurezza determinano quali informazioni arrivano agli altri membri del Consiglio. Poiché tutti i principali canali di informazione — dai consulenti di IA all’analisi delle notizie, fino ai briefing governativi — vengono filtrati attraverso sistemi che essi controllano, diventa quasi impossibile per chiunque ottenere un quadro imparziale della concentrazione di potere in atto. Tutto ciò che le persone leggono sui social media o ascoltano nei notiziari sembra confermare l’idea che non ci sia molto di cui preoccuparsi.

I dirigenti sono abbastanza potenti da assumere unilateralmente il controllo del Consiglio e dettare condizioni alle altre nazioni, ma non ne hanno bisogno. Attraverso migliaia di sottili spinte — una valutazione dei rischi qui, una raccomandazione strategica là — i loro sistemi di IA si assicurano che ogni decisione importante sia in linea con la loro visione per il futuro dell’umanità.

L’automazione potrebbe concentrare il potere di portare a termine attività

Abbiamo sempre usato la tecnologia per automatizzare parti del lavoro umano: i mulini ad acqua hanno sostituito la macinazione manuale, la macchina da stampa ha sostituito gli amanuensi e il filatoio meccanico ha sostituito la filatura a mano. Questa automazione ha avuto impatti sulla distribuzione del potere, alcuni dei quali significativi — la macchina da stampa ha contribuito a spostare il potere dalla Chiesa verso i mercanti cittadini; e le macchine industriali hanno spostato il potere dai proprietari terrieri ai capitalisti e verso i paesi in via di industrializzazione.

La differenza con l’IA è che essa ha il potenziale di automatizzare molti tipi di lavoro umano contemporaneamente. I principali ricercatori nel campo dell’IA ritengono che ci sia il 50 % di probabilità che l’IA possa automatizzare tutte le attività umane entro il 2047 — anche se molti pensano che ciò potrebbe accadere molto prima (diversi amministratori delegati di aziende di IA si aspettano l’IAG nei prossimi pochi anni) o molto più tardi (lo stesso sondaggio condotto tra i principali ricercatori nel campo dell’IA ha indicato una probabilità del 50 % che l’IA automatizzi tutte le occupazioni umane entro il 2116). Anche se l’automazione completa del lavoro umano richiedesse molto tempo o non avvenisse mai, è chiaro che l’IA potrebbe automatizzare gran parte del lavoro umano — e, vista la rapidità con cui le capacità stanno attualmente progredendo, ciò potrebbe iniziare ad accadere presto.⁠⁠e

Questo potrebbe avere importanti implicazioni sulla distribuzione del potere:

• Di default, ai lavoratori andrà meno denaro, mentre ai detentori di capitale ne andrà di più. L’automazione potrebbe ridurre il valore del lavoro umano, causando, in scenari estremi, un crollo a tempo indeterminato dei salari a livelli molto bassi. ⁠f Ciò aumenterebbe la fetta della torta destinata al capitale rispetto a quella destinata al lavoro, e chi possiede il capitale potrebbe acquisire un potere ancora più sproporzionato rispetto a oggi.
• I piccoli gruppi saranno in grado di fare di più. Attualmente, le grandi iniziative richiedono un’imponente forza lavoro umana. Al suo apice, il Progetto Manhattan impiegava 130 000 persone. Servono 1,5 milioni di persone solo per far funzionare Amazon. Man mano che l’IA diventerà più potente, sarà possibile realizzare grandi cose senza enormi team umani — e senza la conseguente necessità di convincerli che ciò che si sta facendo sia giusto, o quantomeno accettabile — impiegando al loro posto una forza lavoro basata sull’IA.
  • Questo consentirebbe già a piccoli gruppi di fare di più. Ma l’effetto sarà ancora più forte perché l’uso dell’IA per portare a termine attività non darà a tutti lo stesso potere: avvantaggerà soprattutto coloro che hanno accesso ai migliori sistemi di IA. Le aziende implementano già alcuni modelli senza rilasciarli al pubblico, e se le capacità diventeranno più pericolose o il mercato diventerà meno competitivo, l’accesso alle capacità migliori potrebbe diventare davvero molto limitato.
• Il progresso inarrestabile derivante dallo sviluppo automatizzato dell’IA potrebbe conferire a un singolo sviluppatore un enorme vantaggio in termini di capacità. Il primo progetto volto ad automatizzare la ricerca e sviluppo dell’IA potrebbe innescare un’esplosione di intelligenza, in cui sistemi di IA che migliorano sistemi di IA, i quali a loro volta migliorano altri sistemi di IA, portano a un ciclo di retroazione positivo, facendo sì che le loro capacità di IA superino rapidamente quelle di tutti gli altri. I concorrenti potrebbero seguire a ruota con le proprie esplosioni di intelligenza, ma se partono troppo svantaggiati rispetto al leader o se l’incremento iniziale di capacità del leader è sufficientemente grande, una singola azienda potrebbe riuscire a consolidare un vantaggio duraturo.

Se queste dinamiche saranno abbastanza forti, potremmo ritrovarci con la maggior parte del potere di guadagnare denaro e portare a termine attività nelle mani delle poche organizzazioni (aziende di IA⁠⁠g o governi⁠⁠h) che hanno accesso ai migliori sistemi di IA — e quindi a enormi quantità di forza lavoro intelligente che possono utilizzare per qualsiasi scopo.

Inoltre, all’interno di queste organizzazioni, sempre più dipendenti potrebbero essere sostituiti da sistemi di IA, cosicché un numero molto esiguo di persone si ritroverà a esercitare un potere enorme.⁠⁠i

Le cose potrebbero andare in molti altri modi e non è affatto scontato che l’IA porterà a questo tipo di concentrazione del potere. Forse assisteremo a un passaggio più marcato da un costoso pre-addestramento a una più accessibile scalabilità dell’inferenza, e ci sarà un boom nel numero di aziende di frontiera, mettendo un’IA altrettanto potente nelle mani di più persone. Potrebbe non verificarsi alcuna esplosione di intelligenza, o questa potrebbe esaurirsi rapidamente, consentendo ai ritardatari di recuperare terreno. Se la concorrenza commerciale rimarrà elevata, i consumatori avranno accesso a modelli sempre più intelligenti, il che potrebbe appianare le differenze di capacità tra gli esseri umani e spingere verso un maggiore egualitarismo. L’IA potrebbe consentire una democrazia molto più diretta, rendendo più semplice aggregare le preferenze, e una maggiore trasparenza. E così via (maggiori dettagli di seguito).

Quindi, ci sono forze che si oppongono alla concentrazione del potere, così come forze che la favoriscono. È certamente possibile che la società si adatti naturalmente a questi cambiamenti e riesca a difendersi con successo dalla concentrazione del potere con l’aiuto dell’IA. Ma data la velocità che il progresso dell’IA potrebbe raggiungere, c’è il rischio reale di non avere abbastanza tempo per adattarci.

Ciò potrebbe portare a una concentrazione di potere politico senza precedenti

Potremmo quindi ritrovarci in una situazione in cui la maggior parte del potere di guadagnare denaro e ottenere risultati è nelle mani di pochi.

Questo potere potrebbe essere mantenuto adeguatamente limitato dalle istituzioni e dalle leggi esistenti, in modo che l’influenza sulle decisioni importanti per il futuro rimanga distribuita. Ma non è difficile immaginare che gli enormi vantaggi in termini di capacità per alcuni attori e l’erosione del valore di gran parte del lavoro umano potrebbero minare il nostro attuale sistema di pesi e contrappesi, progettato per livelli di capacità molto più omogenei in un mondo che si regge sul lavoro umano.

Ma come accadrebbe in pratica? Chi oggi detiene il potere lotterà con le unghie e con i denti per mantenerlo, e il solo fatto di disporre di un’ottima IA non pone qualcuno automaticamente a capo delle istituzioni chiave.

Riteniamo che il potere potrebbe concentrarsi in modo estremo attraverso una combinazione di:

• Prese di potere con l’aiuto dell’IA, in cui gli attori utilizzano l’IA per assumere il controllo delle istituzioni esistenti
• Forze economiche, che potrebbero rendere alcuni attori così ricchi da poter facilmente influenzare o aggirare le istituzioni esistenti
• Interferenza epistemica, in cui la capacità della maggior parte delle persone di comprendere ciò che sta accadendo e di coordinarsi nel proprio interesse viene erosa

Gli esperti con cui abbiamo parlato non concordano su quale di queste dinamiche sia la più importante. Sebbene sia possibile che anche una sola di queste dinamiche porti a una concentrazione di potere con l’aiuto dell’IA, siamo particolarmente preoccupati dalla loro combinazione, poiché potrebbero rafforzarsi a vicenda:

• Le prese di potere su aziende leader o governi renderebbero più facile accumulare ricchezza e controllare i flussi di informazione.
• Più la ricchezza si concentra, più diventa facile per i più ricchi acquisire influenza politica e prepararsi a una presa di potere.
• Più viene compromessa la capacità delle persone di comprendere e di coordinarsi per tutelare i propri interessi, più diventa facile per attori potenti accumulare ricchezza e assumere il controllo delle istituzioni.

Di seguito, analizziamo più in dettaglio come ciascuno di questi fattori – prese di potere, forze economiche e interferenza epistemica – possa portare a una concentrazione di potere con l’aiuto dell’IA, in cui un piccolo gruppo di persone prende tutte le decisioni importanti sul futuro.

Prese di potere con l’aiuto dell’IA

Esistono già oggi contesti in cui alcuni attori possono usare denaro, forza o altri vantaggi per prendere il controllo delle istituzioni — come dimostrano i periodici colpi di stato militari e le acquisizioni aziendali in tutto il mondo. Detto questo, vi sono dei limiti: a volte le democrazie regrediscono fino alla dittatura, ma è un evento raro;⁠⁠j e non si verificano quasi mai colpi di stato nelle democrazie mature.

L’IA avanzata potrebbe rendere possibili prese di potere anche ai danni di istituzioni molto potenti e democratiche, mettendo enormi forze lavoro basate sull’IA nelle mani di pochi. Ciò cambierebbe radicalmente la dinamica delle prese di potere: invece di richiedere un gran numero di persone per sostenere e aiutare a orchestrare una presa di potere, potrebbe diventare possibile per un piccolo gruppo impadronirsi del controllo di un governo o di un’altra istituzione potente senza alcuna assistenza umana, utilizzando solamente forze lavoro costituite da IA.

Ma come si tradurrebbe in pratica tutto ciò?

Un percorso verso una presa di potere con l’aiuto dell’IA ai danni di un intero governo è un colpo di stato militare automatizzato, in cui un attore sfrutta il controllo sui sistemi militari di IA per prendere il potere in un Paese. Ci sono diversi modi in cui un attore potrebbe ottenere il controllo su un numero sufficiente di sistemi militari di IA per mettere in atto un colpo di stato:

• Struttura di comando difettosa. I sistemi militari di IA potrebbero essere esplicitamente addestrati a essere fedeli a un capo di stato o a un funzionario governativo, anziché allo stato di diritto. Se i sistemi fossero addestrati in questo modo, il funzionario che li controllasse potrebbe usarli come meglio crede, anche per organizzare un colpo di stato.⁠⁠k
• Lealtà segrete. Con l’avanzare delle capacità dell’IA, potrebbe diventare possibile rendere i sistemi di IA segretamente leali a una persona o a un piccolo gruppo.⁠⁠l Al pari delle spie umane, questi sistemi sembrerebbero comportarsi come previsto, ma in segreto perseguirebbero altri fini. Soprattutto se un’azienda dispone di un’IA molto più sofisticata rispetto a chiunque altro e solo pochi attori vi hanno accesso, queste lealtà segrete potrebbero risultare molto difficili da individuare dall’esterno.⁠⁠m Di conseguenza, anche le generazioni successive di IA impiegate nel governo e nelle forze armate potrebbero avere lealtà segrete, e potrebbero essere utilizzate per organizzare un colpo di stato — sia dai dirigenti delle aziende di IA o da avversari stranieri, sia da fazioni all’interno del governo o delle forze armate.
• Hacking. Se un’azienda o un Paese ha un forte vantaggio nelle offensive informatiche, potrebbe violare contemporaneamente molti sistemi di IA militari, per poi disabilitarli o usarli per organizzare attivamente un colpo di Stato.

Questi scenari possono sembrare inverosimili. Si spera che le forze armate siano caute nel dispiegare sistemi militari autonomi e che richiedano adeguate misure di sicurezza per prevenire questo tipo di uso improprio. Ma la competizione o un conflitto tra grandi potenze potrebbero spingere a una distribuzione affrettata,⁠⁠n e le lealtà segrete potrebbero essere difficili da individuare anche con test rigorosi. Inoltre, potrebbe bastare una piccola forza per organizzare con successo un colpo di Stato, soprattutto se supportata dall’IA (esistono diversi esempi storici di pochi battaglioni che hanno conquistato il potere con successo anche senza alcun vantaggio tecnologico, persuadendo le altre forze a non intervenire).⁠⁠o

Oltre ai colpi di stato militari, un’altra potenziale via per una presa di potere con l’aiuto dell’IA è un vantaggio cognitivo schiacciante, in cui un attore ha un vantaggio così enorme in termini di forza lavoro qualificata fornita dall’IA da poter sopraffare direttamente un Paese o persino il resto del mondo. Con un vantaggio cognitivo molto ampio, potrebbe essere possibile prendere il potere utilizzando strategie e persuasione superumane per convincere gli altri a cederlo, oppure costituendo rapidamente una forza militare segreta. Questo scenario è ancora più fantascientifico, ma alcuni pensano che potrebbe verificarsi in caso di un’esplosione di intelligenza di proporzioni sufficienti.

Una presa di potere con l’aiuto dell’IA — sia tramite un colpo di stato militare automatizzato sia tramite un vantaggio cognitivo schiacciante — non costituirebbe automaticamente una concentrazione di potere con l’aiuto dell’IA per come l’abbiamo definita. Oggi non esiste una singola istituzione che prenda tutte le decisioni importanti, nemmeno il governo più potente del mondo. Quindi, potrebbe esserci ancora un lungo percorso tra una ‘presa di potere riuscita su una singola istituzione’ e il ‘prendere tutte le decisioni importanti su ciò che accadrà in futuro’. Tuttavia, una presa di potere potrebbe rappresentare un passo incrementale molto importante verso una situazione in cui un piccolo numero di persone finisce per avere l’autorità di prendere tutte le decisioni importanti sul futuro⁠⁠p — oppure, se il potere si fosse già ampiamente concentrato, una presa di potere potrebbe esserne il passo finale.

Forze economiche

Esistono diversi modi in cui un piccolo gruppo potrebbe diventare abbastanza ricco da concentrare efficacemente il potere, rendendo, in casi estremi, irrilevanti le istituzioni esistenti:

• Erodendo gli incentivi dei governi a rappresentare il proprio popolo, rendendo l’elettorato economicamente irrilevante. Naturalmente, la missione dei governi nelle democrazie è quella di rappresentare e servire gli interessi dei propri cittadini. Ma attualmente, i governi hanno anche incentivi economici diretti a farlo: persone più felici e sane sono lavoratori più produttivi e pagano più tasse (e sono anche meno propense a ribellarsi). Se questo legame venisse spezzato dall’automazione e le aziende di IA fornissero la stragrande maggioranza delle entrate governative, i governi non avrebbero più questo incentivo a promuovere gli interessi del proprio popolo.
  • Potrebbero esserci ancora elezioni nelle democrazie, ma ritmi di progresso molto rapidi potrebbero rendere i cicli elettorali così lenti da non avere più molta influenza, mentre la disinformazione e le attività di lobbying potrebbero distorcere ulteriormente il voto. In scenari del genere, potrebbero esserci ancora dei governi, ma non svolgerebbero più le funzioni attuali, e invece asseconderebbero principalmente gli interessi delle enormi aziende di IA.⁠⁠q
• Crescendo più del resto del mondo, scenario in cui un Paese o un’azienda diventa molto più ricca di tutto il resto del mondo messo insieme. Un’esplosione di intelligenza del tipo sopra descritto potrebbe garantire al principale sviluppatore di IA un monopolio (forse temporaneo) sull’IA, che potrebbe consentirgli di guadagnare trilioni di dollari all’anno,⁠⁠r oltre che di progettare e costruire nuove e potenti tecnologie. Semplificando, se quell’attore potesse mantenere il proprio monopolio e crescere a un ritmo più veloce rispetto al resto del mondo per un periodo sufficientemente lungo, finirebbe per detenere oltre il 99 % delle risorse. Ci sono molte complicazioni che rendono meno probabile una tale crescita,⁠⁠s ma sembra comunque possibile che un attore possa riuscirci con uno sforzo altamente concertato e ben coordinato, qualora avesse un accesso privilegiato alla tecnologia più potente del mondo. Le istituzioni odierne potrebbero continuare a esistere, ma non è chiaro se sarebbero in grado di attuare decisioni importanti non gradite all’azienda o al Paese.
• Vantaggi della prima mossa nello spazio, scenario in cui il leader nell’IA sfrutta il proprio vantaggio per rivendicare il controllo sulle risorse spaziali. Se l’IA consentisse un rapido progresso tecnologico, il leader nell’IA potrebbe essere il primo attore a sviluppare capacità spaziali avanzate. Potrebbe potenzialmente rivendicare vaste risorse oltre la Terra — e se le risorse spaziali si rivelassero difendibili, potrebbe mantenerne il controllo a tempo indeterminato. Non è chiaro se tali vantaggi della prima mossa esistano effettivamente,⁠⁠t ma se così fosse, il primo ad agire nello spazio sarebbe in grado di prendere decisioni unilaterali sull’espansione dell’umanità nell’universo — decisioni che potrebbero avere un’enorme importanza per il nostro futuro a lungo termine.

Tutti questi scenari sono piuttosto speculativi, ma se non adottiamo misure per prevenirli, sembra plausibile che le forze economiche possano portare un Paese o un’azienda ad avere molto più potere politico di tutti gli altri messi insieme. Se quell’attore fosse già molto centralizzato (come un governo autocratico o un’azienda in cui la maggior parte dei dipendenti fosse stata sostituita dall’automazione), o se in seguito avvenisse una presa di potere che ne consolidasse il controllo nelle mani di un piccolo gruppo, ciò potrebbe far sì che tutte le decisioni importanti sul futuro vengano prese da una manciata di individui.

Interferenza epistemica

Le prese di potere e le forze economiche che minano le istituzioni esistenti sarebbero dannose per la maggior parte delle persone, quindi sarebbe nel loro interesse coordinarsi per fermare queste dinamiche. Ma il rovescio della medaglia è che chi cerca di accumulare potere ha interesse a interferire con la capacità delle persone di comprendere ciò che sta accadendo e di coordinarsi per fermare un’ulteriore concentrazione di potere.⁠⁠u

Questa è la meno studiata delle tre dinamiche che abbiamo indicato, ma riteniamo che possa essere molto importante. In via provvisoria, ecco alcuni fattori che potrebbero erodere l’ambiente epistemico, alcuni dei quali implicano un’interferenza deliberata, mentre altri consistono in dinamiche emergenti che avvantaggiano i pochi:

• Mancanza di trasparenza. Gli attori potenti all’interno delle aziende di IA e dei governi saranno incentivati a offuscare le loro attività, in particolare se cercano di acquisire potere per loro stessi. Potrebbe inoltre rivelarsi tecnicamente difficile condividere informazioni sulle capacità dell’IA e su come vengono utilizzate, senza far trapelare informazioni sensibili. Più lo sviluppo dell’IA avviene in segreto, più sarà difficile per la maggior parte delle persone opporsi a iniziative che porterebbero a un’ulteriore concentrazione di potere.
• Velocità del progresso dell’IA. La situazione potrebbe evolversi così rapidamente da rendere difficile per qualsiasi essere umano stare al passo. Ciò avvantaggerebbe le persone che hanno accesso ai migliori sistemi di IA e alle maggiori quantità di potenza di calcolo: potrebbero essere le uniche in grado di sfruttare l’IA per comprendere la situazione e agire in modo da promuovere i propri interessi.
• Consulenti IA di parte. Man mano che i consigli dell’IA migliorano e il ritmo dei cambiamenti accelera, le persone potrebbero dipendere sempre di più dai sistemi di IA per interpretare la realtà. Tuttavia, questi sistemi potrebbero fornire consigli velatamente di parte a favore delle aziende che li hanno sviluppati, sia perché sono stati deliberatamente addestrati a farlo, sia perché nessuno ha valutato attentamente in che modo gli ambienti di addestramento potessero condizionarli in tale direzione. Se i sistemi di IA finissero per favorire gli interessi delle aziende, ciò potrebbe influenzare sistematicamente le convinzioni e le azioni delle persone verso scelte che contribuiscono a un’ulteriore concentrazione di potere.
• Campagne di persuasione e manipolazione. Coloro che hanno accesso a capacità di IA e a potenze di calcolo superiori potrebbero interferire deliberatamente con la capacità altrui di limitare il loro potere, conducendo campagne di lobbying tramite IA o manipolando i singoli decisori. Ad esempio, l’IA potrebbe compiere sforzi intensivi e personalizzati senza precedenti per influenzare ciascun membro del Congresso al fine di ottenerne il sostegno su qualche questione politica, includendo offerte di denaro e un’assistenza superumana da parte dell’IA per le rispettive campagne di rielezione. Non è ancora chiaro quanto saranno potenti queste tecniche (magari le difese epistemiche degli esseri umani sono già abbastanza buone e l’IA non farà grandi progressi rispetto a ciò che gli esseri umani sono già in grado di fare), ma se saremo sfortunati tutto ciò potrebbe compromettere gravemente la capacità della società di notare e reagire alla ricerca di potere.

Questo elenco di fattori potrebbe omettere aspetti importanti e includerne altri che in realtà non costituiranno un problema: ancora una volta, si tratta di un ambito poco studiato. Tuttavia, lo includiamo per offrire un’idea più concreta di come l’IA potrebbe erodere (o essere usata per erodere) l’ambiente epistemico, rendendo più difficile per le persone rendersi conto di ciò che sta accadendo e resistere a un’ulteriore concentrazione di potere. L’interferenza epistemica da sola probabilmente non porterà a un’estrema concentrazione di potere con l’aiuto dell’IA, ma potrebbe contribuirvi.

La concentrazione di potere con l’aiuto dell’IA potrebbe causare danni enormi e duraturi

Secondo il buon senso, affidare le chiavi del futuro a una manciata di persone sembra chiaramente sbagliato, ed è una prospettiva a cui la maggior parte della gente si opporrebbe con forza. Attribuiamo parecchio peso a questa argomentazione intuitiva.

Attribuiamo un certo peso anche ad argomentazioni specifiche su come la concentrazione di potere con l’aiuto dell’IA sarebbe estremamente dannosa, sebbene qui il ragionamento sembri più fragile:

• Potrebbe portare alla tirannia. Di solito la democrazia impedisce a piccoli gruppi di estremisti di prendere le redini del governo e di usarle per commettere atrocità di massa contro i propri cittadini, richiedendo che un’ampia fetta della popolazione ne sostenga l’orientamento generale. Se il potere diventasse estremamente concentrato, un piccolo gruppo potrebbe commettere atrocità tali da far inorridire la maggior parte delle persone. Molte delle peggiori atrocità della storia umana sono state perpetrate da un piccolo numero di individui che deteneva un potere incontrollato sul proprio popolo (si pensi ai Khmer rossi, che uccisero un quarto dell’intera popolazione cambogiana tra il 1975 e il 1979). Possiamo individuare due modi principali in cui la concentrazione di potere con l’aiuto dell’IA potrebbe portare alla tirannia:
  • Esseri umani malevoli — o semplicemente estremamente egoisti — potrebbero finire al potere. Soprattutto negli scenari in cui il potere si concentra attraverso prese di potere con l’aiuto dell’IA, sembra piuttosto probabile che le persone disposte a impadronirsi del potere abbiano anche altri tratti negativi. Potrebbero voler causare del male attivamente.
  • Il potere corrompe. Anche se chi detiene il potere partisse con buone intenzioni, non avrebbe alcun incentivo a continuare a promuovere gli interessi della maggioranza delle persone se il suo potere fosse al sicuro. Ogni volta che gli interessi degli altri diventassero scomodi, ci sarebbe una forte tentazione di fare marcia indietro, senza subire alcuna ripercussione nel farlo.
• Potrebbe portarci a perdere futuri davvero positivi. La concentrazione di potere con l’aiuto dell’IA potrebbe non portare alla tirannia nel senso peggiore del termine: potremmo in qualche modo ritrovarci con un dittatore benevolo o con una casta illuminata di attori potenti che veglia sul resto di noi. Ma anche in questo caso, il futuro potrebbe essere molto meno positivo di quanto avrebbe potuto essere, perché ci sarebbero:
  • Ingiustizia e perdita di potere. La concentrazione di potere abilitata all’IA priverebbe di potere politico la stragrande maggioranza delle persone. Da alcune prospettive filosofiche,⁠⁠v la giustizia e l’emancipazione politica sono intrinsecamente preziosi, quindi questo renderebbe il futuro decisamente peggiore.
  • Minore diversità di valori e stili di vita. Un gruppo più ristretto di persone al potere significa che un insieme più ristretto di valori e preferenze verrà rappresentato nel futuro. Anche in questo caso, da molte prospettive questo tipo di diversità è intrinsecamente prezioso.
  • Minore riflessione morale (forse). Prendere buone decisioni sul futuro potrebbe richiedere una profonda riflessione su ciò a cui diamo valore e su ciò che dobbiamo agli altri. Se il potere sul futuro è distribuito, c’è un’alta probabilità che almeno alcune persone scelgano di riflettere in questo modo — e ci sarà maggiore disaccordo e sperimentazione, il che potrebbe spingere anche altri a riflettere. Ma se il potere è estremamente concentrato, chi detiene il comando potrebbe semplicemente imporre la propria attuale visione del mondo senza mai metterla in discussione. Ciò potrebbe portare a errori irreversibili: immaginate se i punti ciechi morali dei vittoriani o dei romani fossero diventati politiche permanenti. Se chi detiene il potere si preoccupasse di capire cosa sia giusto, la concentrazione di potere potrebbe anche portare a una riflessione morale maggiore rispetto a quella che avverrebbe in uno scenario di default — ma sarebbe limitata a una ristretta gamma di esperienze e prospettive, e potrebbe tralasciare importanti intuizioni che emergono da un dialogo umano più ampio.

Un’estrema concentrazione di potere con l’aiuto dell’IA sarebbe probabilmente anche difficile da invertire, rendendo eventuali danni molto duraturi. Come già accade, i potenti cercheranno di mantenere il proprio potere. Ma l’IA potrebbe permettere di farlo in un modo estremamente duraturo che non è mai stato storicamente possibile:

• Anche se la maggior parte delle persone si opponesse a un regime basato sull’IA, potrebbe avere persino meno potere per rovesciarlo di quanto ne abbiano avuto storicamente i gruppi emarginati. Se tutte le attività economiche e militari fossero automatizzate, gli esseri umani non avrebbero forza lavoro preziosa da negare né una forza coercitiva da esercitare, quindi scioperi e rivolte non avrebbero alcun effetto.
• I dittatori umani muoiono, ma un governo gestito da sistemi di IA potrebbe potenzialmente preservare i valori di un dittatore o di un altro leader umano in modo permanente nel futuro.
• Se il potere diventa così concentrato da far emergere un solo Paese egemone, allora non ci saranno minacce esterne al regime.⁠⁠w

Questi danni devono essere soppesati con i potenziali benefici derivanti dalla concentrazione di potere con l’aiuto dell’IA, come la riduzione delle dinamiche competitive. Non siamo certi di come andranno le cose, ma sia le nostre intuizioni sia l’analisi precedente suggeriscono che la concentrazione di potere con l’aiuto dell’IA ponga seri rischi per la prosperità umana, che dovremmo impegnarci a evitare.

Esistono modi per ridurre questo rischio, ma pochissimi ci stanno lavorando

Molte persone stanno lavorando per prevenire forme più moderate di concentrazione del potere. In senso lato, gran parte del lavoro svolto dai governi, dal sistema giuridico e da molti settori del mondo accademico e della società civile vi contribuisce.

Ma pochissimi si concentrano sul rischio di una concentrazione estrema del potere guidata dall’IA — anche se, qualora le argomentazioni precedenti fossero corrette, si tratterebbe di un rischio molto serio. Siamo a conoscenza di poche decine di persone in una manciata di organizzazioni che lavorano per ridurre questo rischio, e di un numero ancora minore che vi si dedica a tempo pieno. A settembre 2025, l’unico bando pubblico di cui siamo a conoscenza sulla concentrazione del potere con l’aiuto dell’IA è un programma di sovvenzioni da 4 milioni di dollari (sebbene sia disponibile un maggiore finanziamento a livello privato).

Questo nonostante ci siano cose concrete che potremmo fare fin da ora per ridurre il rischio. Ad esempio, potremmo:

• Lavorare su soluzioni tecniche per impedire alle persone di fare un uso improprio di enormi forze lavoro basate sull’IA, come:
  • Addestrare l’IA a rispettare la legge
  • Sottoporre a red teaming le specifiche del modello (documenti che i sistemi di IA vengono addestrati a seguire e che specificano come devono comportarsi) per assicurarsi che le IA siano addestrate a non agevolare le prese di potere
  • Verifica dei modelli per individuare eventuali lealtà segrete
  • Aumentare la sicurezza informatica dei laboratori per impedire manomissioni del processo di sviluppo e accessi non autorizzati, il che renderebbe più difficile l’inserimento di lealtà segrete o l’uso improprio dei sistemi di IA⁠⁠x
• Sviluppare e promuovere politiche che distribuiscano il potere sull’IA, come:
  • Definire i termini dei contratti tra laboratori e governi per assicurarsi che nessun attore abbia troppa influenza
  • Condividere l’accesso alle migliori capacità di IA, su larga scala ogni qualvolta è sicuro farlo, e con diversi attori fidati come il Congresso e i revisori quando non lo è, in modo che nessun attore disponga di capacità molto più potenti rispetto a tutti gli altri
  • Costruire centri di calcolo in democrazie non statunitensi, per distribuire il potere di gestire i sistemi di IA tra più attori
  • Rendere obbligatoria la trasparenza sulle capacità dell’IA, sul modo in cui vengono utilizzate, sulle specifiche dei modelli, sulle misure di salvaguardia e sulle valutazioni dei rischi, in modo che sia più facile individuare comportamenti preoccupanti
  • Introdurre misure di protezione più solide per i whistleblower per rendere più difficile per gli addetti ai lavori cospirare o per i dirigenti aziendali mettere a tacere le preoccupazioni del proprio personale
  • Tutte le soluzioni tecniche di cui sopra
• Sviluppare e implementare strumenti di IA che migliorino la capacità delle persone di ragionare e coordinarsi, in modo che possano resistere alle interferenze epistemiche.

Per essere chiari, la riflessione su come prevenire la concentrazione di potere con l’aiuto dell’IA è ancora in una fase molto iniziale. Non tutti coloro che attualmente lavorano su questo tema sosterrebbero tutti gli interventi di questo elenco, e non è chiaro quanto del problema verrebbe risolto anche se implementassimo l’intero elenco. Potrebbe essere che le forze strutturali che spingono verso la concentrazione di potere con l’aiuto dell’IA siano troppo forti per essere fermate.

Ma certamente non sembra inevitabile che il potere diventi estremamente concentrato:

• È nell’interesse di quasi tutti impedire la concentrazione di potere con l’aiuto dell’IA — compreso quello delle persone più potenti di oggi, poiché avrebbero molto da perdere se venissero superate dalla concorrenza.
• È promettente poter già elencare alcuni interventi concreti e plausibilmente realizzabili, anche se la riflessione su come risolvere il problema è ancora in una fase così iniziale.

C’è molto più lavoro da fare in questo ambito di quante siano le persone che se ne occupano.

Quali sono le principali argomentazioni contro il lavorare su questo problema?

Abbiamo accennato a queste argomentazioni in altre parti di questo articolo, ma le abbiamo raccolti tutte qui per rendere più facile individuare i punti deboli dell’argomentazione a favore del dare priorità alla concentrazione di potere abilitata all’IA, e per approfondirle un po’ di più.

La concentrazione di potere con l’aiuto dell’IA potrebbe ridurre altri rischi legati all’IA

Alcune forme di concentrazione del potere potrebbero ridurre vari altri rischi legati all’IA:

• Se non ci fosse concorrenza nello sviluppo dell’IA, l’unico sviluppatore di IA non subirebbe pressioni competitive per lesinare sulla sicurezza, il che potrebbe ridurre il rischio di presa del potere da parte dell’IA. Queste pressioni competitive sono una delle ragioni principali per temere che le aziende di IA procedano a tutta velocità senza adottare adeguate precauzioni per la sicurezza dell’IA.
• Il rischio di guerra tra grandi potenze verrebbe meno se il potere fosse interamente concentrato in un unico Paese.
• Il rischio di un uso improprio catastrofico di armi biologiche e altre tecnologie pericolose sarebbe molto più basso se un solo attore avesse accesso a capacità pericolose. Il fatto che l’IA possa democratizzare l’accesso a tecnologie estremamente pericolose come le armi biologiche è uno dei principali motivi di preoccupazione riguardo all’uso improprio.

Detto questo:

• Esistono altri modi per gestire questi rischi. Non è vero che o instauriamo una dittatura benevola, oppure subiamo una catastrofe esistenziale a causa di altri rischi legati all’IA. Una combinazione di regolamentazione nazionale, coordinamento internazionale, progressi tecnici sull’allineamento e il controllo, e strumenti di IA per la sicurezza epistemica potrebbero consentirci di affrontare tutti questi rischi.
• La prospettiva di una concentrazione di potere con l’aiuto dell’IA potrebbe anche esacerbare altri rischi legati all’IA. Un conto è immaginare un mondo in cui il potere è già estremamente concentrato. Ma il processo per arrivare a quel mondo potrebbe aumentare drasticamente la posta in gioco della competizione e rendere gli attori potenti più disposti a fare scommesse rischiose e a intraprendere azioni antagonistiche, pur di evitare di avere la peggio.
• Molti interventi volti a ridurre la concentrazione di potere con l’aiuto dell’IA aiutano anche a mitigare altri rischi. Nella pratica non c’è sempre un compromesso da accettare. Ad esempio, le ispezioni di allineamento contribuiscono a ridurre sia il rischio di concentrazione del potere sia quello di una presa del potere da parte dell’IA, rendendo più difficile, tanto per gli esseri umani quanto per le IA, manomettere gli obiettivi dei sistemi di IA. Inoltre, condividere più ampiamente le capacità potrebbe non solo ridurre i differenziali di potere, ma anche consentire alla società di impiegare l’IA a scopo difensivo: se riusciamo a salvaguardare sufficientemente i modelli di IA, non è detto che ciò aumenti i rischi derivanti da un uso improprio catastrofico.

Valutare questi rischi è complicato e non stiamo affermando che non vi siano dei compromessi. Al momento, riteniamo non sia chiaro se gli effetti della concentrazione di potere abilitata all’IA risultino, a conti fatti, utili o dannosi per gli altri rischi legati all’IA. Dato che la concentrazione di potere è un problema di per sé importante e trascurato, pensiamo valga decisamente la pena occuparsene. (Tuttavia, incoraggiamo chi lavora sulla concentrazione di potere abilitata all’IA a tenere a mente che le proprie azioni potrebbero influenzare queste altre problematiche, e a cercare di evitare di aggravarle.)

Il futuro potrebbe comunque andare bene, anche in presenza di una concentrazione di potere con l’aiuto dell’IA

Per i motivi che abbiamo illustrato sopra, riteniamo che un potere estremamente concentrato sia probabilmente negativo. Ma anche se siete d’accordo, ci sono alcune ragioni per pensare che un futuro con una concentrazione di potere con l’aiuto dell’IA potrebbe comunque rivelarsi positivo sotto alcuni aspetti:

• Abbondanza materiale: l’IA potrebbe generare una ricchezza così enorme che la maggior parte delle persone vivrebbe in condizioni materiali di gran lunga migliori rispetto a quelle dei più ricchi di oggi. In un mondo con una concentrazione di potere con l’aiuto dell’IA, le persone sarebbero politicamente esautorate, ma, se i potenti lo permettessero, potrebbero comunque godere di un elevato benessere materiale.
• Riduzione degli incentivi alla repressione e alla brutalità: in parte, le autocrazie reprimono le proprie popolazioni perché i loro leader cercano di consolidare il proprio potere. Se il potere diventasse così concentrato da garantire ai leader di rimanere in carica per sempre, non vi sarebbero più incentivi razionali a compiere azioni come limitare la libertà di espressione o torturare i dissidenti (sebbene ne rimarrebbero di irrazionali, come il rancore o le ideologie fanatiche).
• Effetti di selezione: sebbene forse improbabile, è possibile che coloro che finiscono al potere vogliano sinceramente migliorare il mondo. Magari raggiungere una posizione di tale potere potrebbe selezionare persone insolitamente competenti, e magari queste ultime avrebbero assunto il comando con riluttanza perché si stava facendo a gara per sviluppare un’IA non sicura, e la concentrazione del potere sembrava il male minore.

Ancora una volta, non troviamo queste argomentazioni particolarmente convincenti, ma riteniamo che siano abbastanza plausibili da meritare di essere prese in considerazione e soppesate.

Gli sforzi per ridurre la concentrazione di potere con l’aiuto dell’IA potrebbero rivelarsi controproducenti

La concentrazione di potere con l’aiuto dell’IA è un argomento scottante e gli sforzi per prevenirla potrebbero facilmente rivelarsi controproducenti. Più il rischio di una concentrazione di potere con l’aiuto dell’IA risulta evidente, più lo diventa anche per gli attori orientati al potere. Lavorare per ridurre la concentrazione di potere con l’aiuto dell’IA potrebbe:

• Alimentare l’opposizione agli interventi da parte di chi trarrebbe vantaggio dalla concentrazione di potere.
• Fornire direttamente idee agli attori assetati di potere, generando e divulgando informazioni su come piccoli gruppi potrebbero finire per detenere grandi quantità di potere.
• Innescare una corsa al potere. Se tutti pensano che gli altri stiano cercando di consolidare il proprio potere, potrebbero essere più propensi a cercare di impadronirsene in via preventiva.

Alcuni interventi potrebbero anche ridurre la probabilità che un attore finisca per detenere troppo potere, ma aumentando la probabilità che un altro attore lo faccia. Ad esempio, aumentare la supervisione governativa sulle aziende di IA potrebbe rendere più difficile la presa di potere da parte delle aziende, ma allo stesso tempo rendere più facile ai funzionari governativi orchestrare una presa di potere.

Riteniamo che prevenire la concentrazione di potere con l’aiuto dell’IA sia un po’ un campo minato, ed è in parte per questo che pensiamo che, per ora, la maggior parte delle persone dovrebbe tenere presente il rischio piuttosto che lavorarci direttamente. Ma ci sono modi per ridurre la probabilità che questo lavoro si riveli controproducente, come:

• Essere attenti e consapevoli dei rischi di effetti controproducenti. Se pensi di non avere una buona capacità di giudizio su questo genere di cose (o di non avere nessuno con una buona capacità di giudizio che possa darti un feedback), probabilmente è meglio dedicarsi ad altro.
• Usare formulazioni e un linguaggio meno antagonistici. Ad esempio, “accaparramento di potere” risulta più provocatorio di “concentrazione di potere” come formulazione.
• Concentrarsi su tipi di lavoro di cui è difficile fare un uso improprio da parte di attori assetati di potere. Ad esempio, sviluppare e implementare misure di mitigazione come quelle di trasparenza o le ispezioni di allineamento è più difficile da sfruttare per un attore assetato potere rispetto a una dettagliata modellizzazione delle minacce.

Il potere potrebbe rimanere distribuito di default

In precedenza abbiamo sostenuto che il potere potrebbe diventare estremamente concentrato. Tuttavia, ciò non è inevitabile e queste argomentazioni potrebbero rivelarsi errate. Ad esempio:

• Le capacità dell’IA potrebbero semplicemente non diventare così potenti. Magari il limite massimo per capacità importanti come la persuasione o la ricerca e sviluppo sull’IA è piuttosto basso, quindi gli effetti dell’IA saranno meno trasformativi su tutta la linea.
  • Una variante particolarmente importante di questa ipotesi è che magari le dinamiche auto-rinforzanti derivanti dall’automazione della ricerca e sviluppo sull’IA saranno deboli, nel qual caso potrebbe non esserci alcuna esplosione di intelligenza, o essercene solo una di entità limitata. Ciò significherebbe che nessun singolo sviluppatore di IA sarebbe in grado di ottenere e mantenere un ampio vantaggio in termini di capacità rispetto agli altri sviluppatori.
• La risposta normativa di base (e l’assetto istituzionale in Paesi come gli Stati Uniti) potrebbe essere sufficiente a ridistribuire i guadagni derivanti dall’automazione e a prevenire l’uso improprio di grandi forze lavoro basate sull’IA. Coloro che detengono il potere oggi — che nelle democrazie includono l’elettorato, la società civile e i media — cercheranno con tutte le loro forze di mantenere il proprio potere contro i nuovi arrivati, se saranno in grado di capire cosa sta succedendo, e la maggior parte delle persone rischia di perdere a causa della concentrazione di potere abilitata all’IA.
• Se le persone temono che l’IA sia disallineata, nel senso che non persegue in modo affidabile gli obiettivi desiderati dai suoi utenti o creatori, ciò potrebbe sia ridurre l’impatto economico dell’IA (a causa di una sua minore diffusione), sia rendere gli individui in cerca di potere meno propensi a usarla per tentare di accaparrarsi il potere (poiché l’IA potrebbe rivoltarsi contro di loro).

Riteniamo che la probabilità che il potere diventi estremamente concentrato sia abbastanza alta da essere molto preoccupante. Ma concordiamo sul fatto che ciò sia tutt’altro che garantito.

Potrebbe essere troppo difficile fermare la concentrazione di potere con l’aiuto dell’IA

D’altro canto, potrebbe risultare che non valga la pena lavorare sulla concentrazione di potere con l’aiuto dell’IA perché è troppo difficile da fermare:

• Le forze strutturali che spingono verso la concentrazione di potere con l’aiuto dell’IA potrebbero essere molto forti. Ad esempio, se si verificasse un’enorme esplosione di intelligenza che garantisse a un singolo sviluppatore di IA l’accesso esclusivo a capacità di IA quasi divine, ciò che accadrebbe in seguito sarebbe verosimilmente a sua esclusiva discrezione.
• La maggior parte degli attori che potrebbero trarre vantaggio dalla concentrazione di potere con l’aiuto dell’IA sono già molto potenti. Potrebbero opporsi agli sforzi volti a mitigare il rischio, offuscare ciò che sta accadendo e interferire con la capacità di altri di coordinarsi contro la concentrazione di potere.

Detto questo, non pensiamo di doverci già arrendere:

• Non sappiamo ancora come si evolveranno le dinamiche strutturali. Potremmo trovarci in un mondo in cui è del tutto possibile limitare la concentrazione di potere.
• È nell’interesse di quasi tutti impedire la concentrazione di potere con l’aiuto dell’IA — compresi quelli delle persone oggi più potenti, poiché la maggior parte di loro rischia di rimetterci se un piccolo gruppo ottenesse il controllo delle decisioni più importanti. Potrebbe essere possibile coordinarsi per impedire la concentrazione di potere e rendere molto costosa la defezione.
• Esistono già alcuni interventi per prevenire la concentrazione di potere con l’aiuto dell’IA che sembrano promettenti (vedi sopra). Se quest’area ricevesse maggiore attenzione, potremmo benissimo trovarne altri.

Cosa puoi fare per contribuire?

Poiché finora è stato fatto così poco lavoro dedicato a prevenire l’estrema concentrazione di potere con l’aiuto dell’IA, non ci sono ancora interventi verso i quali ci sentiamo sicuri di indirizzare un gran numero di persone. E, di certo, non ci sono molte opportunità lavorative per occuparsi direttamente di questo tema!

Per ora, il nostro consiglio principale per la maggior parte delle persone è:

• Tenere presente il rischio di concentrazione di potere con l’aiuto dell’IA. È più probabile riuscire a evitare la concentrazione di potere con l’aiuto dell’IA se le persone ragionevoli sono consapevoli di questo rischio e vogliono prevenirlo. Ciò è particolarmente rilevante se si lavora in un’azienda di IA o nel campo della governance dell’IA e della sicurezza dell’IA: le politiche o le nuove tecnologie avranno spesso effetti a catena sulla concentrazione di potere, ed esserne consapevoli potrebbe aiutare a non aumentare inavvertitamente il rischio.
• Essere consapevoli del fatto che gli sforzi per ridurre questo rischio potrebbero rivelarsi controproducenti o aumentare altri rischi.

Esistono anche alcuni programmi promettenti in fase iniziale, e riteniamo che alcune persone potrebbero già iniziare a svolgere un buon lavoro in questo ambito. Saremmo davvero entusiasti di vedere più persone lavorare su:

• IA che rispetta la legge. L’addestramento dei sistemi di IA a rispettare la legge e altri vincoli renderebbe più difficile utilizzare i sistemi di IA per conquistare il potere. Law-following AI: Designing AI agents to obey human laws è il documento principale sull’argomento e include un programma con temi per ulteriori ricerche.⁠⁠y
• Ispezioni di allineamento e integrità dei sistemi per prevenire le manomissioni. Ciò renderebbe più difficile per eventuali attori malevoli inserire lealtà segrete o fare altrimenti un uso improprio dei sistemi di IA per ottenere il potere. Il documento dell’IFP sulla prevenzione degli agenti dormienti dell’IA ne offre una panoramica; ce n’è un’altra in questo documento sui colpi di Stato con l’aiuto dell’IA.
• Creare strumenti di IA che migliorino la capacità delle persone di ragionare e coordinarsi. Questo potrebbe aiutare le persone a capire cosa sta succedendo in termini di concentrazione del potere, e a coordinarsi per proteggere i propri interessi. AI tools for existential security offre una panoramica dell’argomento, così come il nostro articolo sul processo decisionale potenziato dall’IA (ma con più avvertenze). Ci sono altre idee qui e qui, e la Future of Life Foundation ha recentemente organizzato una borsa di studio sull’IA per il ragionamento umano.
• Sviluppare e promuovere politiche che distribuiscano il potere sull’IA. Si tratta di un ambito meno ben definito rispetto a quelli sopra citati, ma potrebbe includere politiche per la condivisione delle capacità dell’IA e della potenza di calcolo su scala più ampia, la trasparenza sulle capacità dell’IA e sul loro utilizzo, e la protezione dei whistleblower.

Puoi manifestare il tuo interesse a lavorare per ridurre il rischio di un’estrema concentrazione del potere qui.⁠⁠z

Per ulteriori spunti, puoi consultare le sezioni dedicate alle misure di mitigazione di questi articoli sui colpi di stato con l’aiuto dell’IA, sulla perdita graduale di potere e sulla maledizione dell’intelligenza; così come questi elenchi di progetti sulla perdita graduale del potere. Il settore è ancora in una fase molto iniziale, quindi un’azione fondamentale potrebbe consistere semplicemente nel seguire le organizzazioni e i ricercatori che operano in questo ambito,⁠⁠aa cercando modi per farsi coinvolgere.

Per saperne di più

Il problema della concentrazione di potere con l’aiuto dell’IA

• Prese di potere:
  • AI-enabled coups: How a small group could use AI to seize power, di Tom Davidson, Lukas Finnveden e Rose Hadshar
  • Podcast: Tom Davidson on how AI-enabled coups could allow a tiny group to seize power
  • How an AI company CEO could quietly take over the world, di Alex Kastner
  • Secretly loyal AIs: Threat vectors and mitigation strategies, di Dave Bannerjee
• Dominio economico:
  • The Intelligence Curse, di Luke Drago e Rudolf Laine
  • Could one country outgrow the rest of the world after AGI?, di Tom Davidson
• Gradual disempowerment, di Jan Kulveit et al. (e il nostro riassunto e l’intervista a David Duvenaud)
• AGI, governments, and free societies, di Justin Bullock et al.

Quanto potrebbe essere grave la concentrazione di potere con l’aiuto dell’IA

• AGI and lock-in, di Lukas Finnveden, Jess Riedel e Carl Shulman
• Il nostro profilo del problema sul totalitarismo stabile
• Reducing long-term risks from malevolent actors, di David Althaus e Tobias Baumann
• Human takeover might be worse than AI takeover, di Tom Davidson

Alcune misure di mitigazione per la concentrazione di potere con l’aiuto dell’IA

• Law-following AI: Designing AI agents to obey human laws, di Cullen O’Keefe et al.
• Auditing language models for hidden objectives, di Samuel Marks et al.
• AI tools for existential security, di Lizka Vaintrob e Owen Cotton-Barratt, o un nostro articolo simile sul processo decisionale potenziato dall’IA, che tratta in gran parte gli stessi argomenti ma approfondisce maggiormente le obiezioni al lavoro in questo settore
• Le sezioni dedicate alle misure di mitigazione nei documenti sui colpi di Stato abilitati all’IA, sulla perdita graduale di potere e sulla maledizione dell’intelligenza
• Gradual disempowerment: Concrete research projects, di Raymond Douglas
• The best approaches for mitigating “the intelligence curse” (or gradual disempowerment), di Ryan Greenblatt

---

Pubblicazione originale: Rose Hadshar (2025) Extreme power concentration, 80,000 Hours, aprile.