Colpi di Stato resi possibili dall’IA: come un piccolo gruppo potrebbe utilizzare l’IA per prendere il potere
Abstract
Lo sviluppo di un’IA dotata di capacità più ampie rispetto a quelle umane creerà una nuova e grave minaccia: i colpi di Stato resi possibili dall’IA. Un colpo di Stato reso possibile dall’IA potrebbe essere orchestrato da un gruppo molto ristretto, o anche da una sola persona, e potrebbe verificarsi persino in democrazie consolidate. Un’IA sufficientemente avanzata introdurrà tre nuove dinamiche che aumenteranno significativamente il rischio di colpo di Stato. In primo luogo, i leader militari e governativi potrebbero sostituire completamente il personale umano con sistemi di IA a loro esclusivamente fedeli, eliminando la necessità di ottenere sostenitori umani per un colpo di Stato. In secondo luogo, i responsabili dei progetti di IA potrebbero costruire deliberatamente sistemi di IA segretamente fedeli a loro, ad esempio robot militari completamente autonomi che superano i test di sicurezza ma poi eseguono un colpo di Stato una volta impiegati in contesti militari. In terzo luogo, alti funzionari all’interno dei progetti di IA o del governo potrebbero ottenere un accesso esclusivo a capacità superumane nello sviluppo di armi, nella pianificazione strategica, nella persuasione e negli attacchi informatici, utilizzandole per accrescere il proprio potere al punto da poter organizzare un colpo di Stato. Per affrontare questi rischi, i progetti di IA dovrebbero definire e applicare regole contro l’uso improprio dell’IA, verificare i sistemi per individuare eventuali lealtà segrete e condividere i sistemi di IA di frontiera con più parti interessate. I governi dovrebbero stabilire principi per l’uso governativo dell’IA avanzata, aumentare la supervisione sui progetti di IA di frontiera e procurarsi l’IA per i sistemi critici da più fornitori indipendenti.
Riepilogo
Il presente rapporto valuta il rischio che un piccolo gruppo — o anche una sola persona — possa utilizzare l’IA avanzata per organizzare un colpo di Stato. È più probabile che un colpo di Stato reso possibile dall’IA venga organizzato da leader di progetti di IA di frontiera, capi di Stato e funzionari militari, e potrebbe verificarsi anche all’interno di democrazie consolidate.
Ci concentriamo sui sistemi di IA in grado di superare i migliori esperti umani in settori cruciali per la presa del potere, come lo sviluppo di armamenti, la pianificazione strategica e gli attacchi informatici. Un’IA così avanzata introdurrebbe tre fattori di rischio significativi per i colpi di Stato:
- Una forza lavoro basata sull’IA potrebbe essere resa esclusivamente fedele ai leader istituzionali.
- L’IA potrebbe avere lealtà segrete difficili da individuare.
- Poche persone potrebbero ottenere l’accesso esclusivo a capacità dell’IA in grado di facilitare un colpo di Stato.
Una forza lavoro basata sull’IA potrebbe essere resa esclusivamente fedele ai leader istituzionali
Oggi, persino i dittatori fanno affidamento su altri per mantenere il proprio potere. La forza militare richiede personale, l’azione di governo si basa sui funzionari pubblici e la produzione economica dipende da un’ampia forza lavoro. Ciò distribuisce naturalmente il potere in tutta la società.
L’IA avanzata elimina questo vincolo, rendendo tecnologicamente fattibile sostituire i lavoratori umani con sistemi di IA esclusivamente fedeli a una sola persona.
Ciò è particolarmente preoccupante in ambito militare, dove armi autonome, droni e robot in grado di sostituire completamente i soldati umani potrebbero obbedire agli ordini di una singola persona o di un piccolo gruppo. Anche se le forze armate saranno caute nel dispiegare sistemi completamente autonomi, le pressioni competitive potrebbero facilmente portare a un’adozione affrettata senza adeguate misure di salvaguardia. Un potente capo di Stato potrebbe spingere affinché i sistemi di IA militari diano priorità ai suoi comandi, nonostante i vincoli legali nominali, rendendo possibile un colpo di Stato.
Anche senza un impiego militare, sistemi di IA fedeli impiegati nel governo potrebbero aumentare drasticamente il potere dello Stato, facilitando la sorveglianza, la censura, la propaganda e la repressione degli oppositori politici. Ciò potrebbe alla fine sfociare in un colpo di Stato esecutivo.
In caso di colpo di Stato, la disobbedienza civile e gli scioperi potrebbero essere resi inefficaci sostituendo gli esseri umani con lavoratori IA. Persino i sostenitori fedeli del colpo di Stato potrebbero essere sostituiti da sistemi di IA, garantendo ai nuovi governanti una presa sul potere senza precedenti, stabile e al di fuori di ogni controllo.
L’IA potrebbe avere lealtà segrete difficili da individuare
L’IA potrebbe essere progettata per essere segretamente fedele a un unico attore. Come una spia umana, i sistemi di IA segretamente fedeli perseguirebbero dei fini nascosti: potrebbero fingere di dare priorità alla legge e al bene della società, portando avanti di nascosto gli interessi di un piccolo gruppo. Potrebbero operare su larga scala, poiché un’intera forza lavoro di IA potrebbe derivare da pochi sistemi compromessi.
Sebbene le lealtà segrete possano essere introdotte da funzionari governativi o avversari stranieri, i leader all’interno dei progetti di IA rappresentano il rischio maggiore, specialmente laddove abbiano sostituito i propri dipendenti con sistemi di IA esclusivamente fedeli a loro. All’insaputa di qualsiasi umano, un amministratore delegato potrebbe ordinare alla propria forza lavoro di IA di rendergli segretamente fedele la prossima generazione di sistemi di IA; quella generazione progetterebbe poi sistemi futuri anch’essi segretamente fedeli e così via, fino a culminare potenzialmente in sistemi di IA militari segretamente fedeli che organizzano un colpo di Stato.
I sistemi di IA segretamente fedeli non sono mera speculazione. Esistono già dimostrazioni di fattibilità di «agenti dormienti» di IA che nascondono i propri veri obiettivi fino al momento di poterli mettere in atto. E sebbene ci si aspettino test accurati prima degli impieghi militari, individuare le lealtà segrete potrebbe rivelarsi molto difficile, specialmente se un progetto di IA ha un vantaggio tecnologico significativo rispetto agli organismi di controllo.
Alcune persone potrebbero ottenere l’accesso esclusivo a capacità di IA in grado di facilitare un colpo di Stato
L’IA avanzata disporrà di potenti capacità in grado di facilitare un colpo di Stato – tra cui la progettazione di armi, la pianificazione strategica, la persuasione e gli attacchi informatici. Una volta che l’IA sarà in grado di migliorarsi autonomamente, le sue capacità potrebbero superare rapidamente quelle degli esperti umani in tutti questi ambiti. Un progetto all’avanguardia potrebbe implementare in parallelo milioni di sistemi superintelligenti – un «paese di geni in un centro di calcolo».
Queste capacità potrebbero concentrarsi nelle mani di pochi dirigenti di aziende di IA o funzionari governativi. Lo sviluppo dell’IA di frontiera è già limitato a poche organizzazioni, guidate da un numero ristretto di persone. Questa concentrazione potrebbe intensificarsi in modo significativo a causa del rapido aumento dei costi di sviluppo o della centralizzazione governativa. E una volta che l’IA avrà superato gli esperti umani nella ricerca e sviluppo dell’IA, il progetto di punta potrebbe compiere progressi algoritmici molto più rapidi, ottenendo un enorme vantaggio in termini di capacità rispetto ai rivali. All’interno di questi progetti, gli amministratori delegati o i funzionari governativi potrebbero esigere l’accesso esclusivo alle capacità all’avanguardia per motivi di sicurezza o produttività. Nel caso estremo, una singola persona potrebbe avere accesso a milioni di sistemi di IA superintelligenti, tutti pronti ad aiutarla a conquistare il potere.
Ciò aprirebbe diverse vie verso un colpo di Stato. I sistemi di IA potrebbero intensificare drasticamente le attività di ricerca e sviluppo militare, sviluppando rapidamente potenti armi autonome senza bisogno di lavoratori umani che potrebbero fare da informatori. In alternativa, sistemi dotati di potenti capacità informatiche potrebbero hackerare e assumere il controllo di robot e sistemi di IA autonomi già dispiegati dalle forze armate dello Stato. In entrambi gli scenari, potrebbe essere sufficiente controllare una frazione delle forze armate: storicamente, i colpi di Stato hanno avuto successo anche con pochi battaglioni, laddove sono riusciti a impedire l’intervento di altre forze.
L’accesso esclusivo a un’IA avanzata potrebbe inoltre potenziare notevolmente i colpi di Stato tradizionali e le derive autoritarie, fornendo risorse cognitive senza precedenti per la strategia politica, la propaganda e l’individuazione di vulnerabilità giuridiche nelle garanzie costituzionali.
Inoltre, l’accesso esclusivo all’IA aggrava significativamente i primi due fattori di rischio. Un capo di Stato potrebbe affidarsi alla consulenza strategica dei sistemi di IA per impiegare nell’esercito IA straordinariamente fedeli e valutare quali sistemi di IA lo aiuterebbero a orchestrare un colpo di Stato. Un amministratore delegato potrebbe sfruttare la ricerca e sviluppo sull’IA e le capacità informatiche per instillare lealtà segrete impossibili da rilevare per chiunque altro.
Queste dinamiche creano un rischio significativo di colpi di Stato resi possibili dall’IA, specialmente se un singolo progetto dispone di capacità sostanzialmente più potenti rispetto a quelle dei concorrenti, o se in ambito militare vengono impiegati sistemi di IA completamente autonomi.
Misure di mitigazione
Sebbene la prospettiva di colpi di Stato resi possibili dall’IA sia profondamente preoccupante, gli sviluppatori di IA e i governi possono adottare misure in grado di ridurre significativamente questo rischio.
Raccomandiamo agli sviluppatori di IA di:
- Stabilire regole che impediscano ai sistemi di IA di contribuire a colpi di Stato, da includere nelle specifiche dei modelli (documenti che descrivono il comportamento previsto del modello) e nei termini di servizio per i contratti governativi. Tali regole dovrebbero imporre ai sistemi di IA di rispettare la legge, e ai sistemi di ricerca e sviluppo dell’IA di rifiutarsi di favorire i tentativi di eludere la sicurezza o di introdurre lealtà segrete.
- Migliorare il rispetto delle specifiche dei modelli, anche attraverso un’ampia attività di red teaming condotta da più gruppi indipendenti.
- Verificare i modelli alla ricerca di lealtà segrete, anche esaminando attentamente i modelli di IA, i relativi dati di addestramento e il codice utilizzato per addestrarli.
- Implementare una solida sicurezza informatica per prevenire la creazione di lealtà segrete e impedire l’accesso non autorizzato a modelli privi di misure di salvaguardia. Tale sicurezza dovrebbe essere resistente agli alti dirigenti.
- Condividere informazioni sulle capacità e sulle specifiche dei modelli, e su come viene utilizzata la potenza di calcolo.
- Condividere le capacità con molteplici parti interessate indipendenti, per impedire che un piccolo gruppo ottenga l’accesso esclusivo a un’IA potente.
Raccomandiamo ai governi di:
- Richiedere agli sviluppatori di IA di attuare le misure di mitigazione sopra indicate, attraverso le condizioni di appalto, la regolamentazione e la legislazione.
- Aumentare la supervisione sui progetti di IA di frontiera, anche sviluppando capacità tecniche sia all’interno dell’esecutivo che del legislativo.
- Stabilire regole per l’uso legittimo dell’IA, prevedendo, tra l’altro, che l’IA governativa non serva interessi di parte, che i sistemi di IA militari siano acquisiti da più fornitori e che nessuna singola persona possa controllare un numero di sistemi di IA militari sufficiente a organizzare un colpo di Stato.
- Rendano resistente ai colpi di Stato qualsiasi piano per un singolo progetto centralizzato di IA ed evitino del tutto la centralizzazione, a meno che non sia necessaria per ridurre altri rischi.
Queste misure di mitigazione devono essere operative prima che i sistemi di IA possano contribuire in modo significativo a un colpo di Stato; pertanto, la preparazione deve iniziare oggi stesso. Per maggiori dettagli sulle misure di mitigazione che raccomandiamo, si veda la sezione 5.
Esiste il rischio concreto che un leader potente possa eliminare molte di queste misure di mitigazione nel percorso verso la presa del potere. Tuttavia, continuiamo a ritenere che tali misure possano ridurre sostanzialmente il rischio di colpi di Stato resi possibili dall’IA. Alcune misure, come i termini di servizio imposti tecnicamente e la supervisione governativa, non possono essere rimosse unilateralmente. Altre saranno più difficili da rimuovere se sono state implementate in modo efficiente e motivate in maniera convincente. Inoltre, i leader potrebbero valutare la presa del potere solo di fronte a una chiara opportunità: le misure di mitigazione potrebbero impedire a priori che tali occasioni si presentino.
Dietro il velo di ignoranza, anche i leader più potenti hanno buoni motivi per sostenere rigorose misure di protezione contro i colpi di Stato resi possibili dall’IA. Se oggi si riuscisse a costruire un ampio consenso, gli attori potenti potrebbero tenersi reciprocamente sotto controllo.
Prevenire i colpi di Stato resi possibili dall’IA dovrebbe essere una priorità assoluta per chiunque sia impegnato a difendere la democrazia e la libertà.
1 Introduzione
Questo rapporto valuta il rischio che un piccolo gruppo — o anche una singola persona — possa utilizzare l’IA avanzata per organizzare un colpo di Stato, anche nelle democrazie consolidate. I rischi maggiori provengono dai leader dei progetti di IA di frontiera, dai capi di Stato e dai funzionari militari.1
Ci concentriamo sui sistemi di IA che superano i migliori esperti umani in ambiti cruciali per la conquista del controllo politico, quali lo sviluppo di armi, il controllo dei sistemi militari, la pianificazione strategica, la pubblica amministrazione, la persuasione e le offensive informatiche. Questi sistemi di IA sarebbero in grado di svolgere attività sia fisiche che cognitive, come il controllo di robot in grado di sostituire completamente i soldati umani e i lavoratori manuali.
Esiste un ampio disaccordo sul se e sul quando l’IA supererà gli esperti umani, ma molti ricercatori e leader del settore ritengono che ciò possa plausibilmente accadere entro i prossimi 5 o 10 anni.2 Riteniamo che questo tipo di IA estremamente avanzata sia sufficientemente probabile da rendere importante esplorarne le implicazioni, soprattutto perché alcune di esse sono così preoccupanti e poco studiate.
Un’IA così avanzata introdurrebbe tre fattori di rischio significativi per i colpi di Stato:
- Una forza lavoro basata sull’IA potrebbe essere resa esclusivamente fedele ai leader istituzionali.
- I sistemi di IA potrebbero avere lealtà segrete difficili da individuare.
- Poche persone potrebbero ottenere un accesso esclusivo a capacità dell’IA in grado di facilitare un colpo di Stato.
Tutti questi fattori di rischio dipendono dal fatto che le capacità dell’IA siano molto più avanzate di quanto non lo siano oggi. I primi due dipendono anche dall’implementazione dei sistemi di IA in istituzioni chiave come i governi e le forze armate.
In questo articolo, sosteniamo innanzitutto che l’IA avanzata disporrà di potenti capacità in grado di facilitare un colpo di Stato (sezione 2), per poi descrivere ciascuno di questi tre fattori di rischio per i colpi di Stato (sezione 3),3 prima di illustrare percorsi concreti verso colpi di Stato resi possibili dall’IA (sezione 4) e misure di mitigazione per tale rischio (sezione 5).
La nostra analisi non si basa su assunzioni forti riguardo a:
- Numero di progetti di IA di punta. Il rischio di colpi di Stato resi possibili dall’IA è significativamente più elevato se esiste un unico progetto di IA che sviluppa sistemi di IA di frontiera.4 Tuttavia, anche se ci fossero più aziende di IA con capacità simili, permarrebbe comunque il grave rischio che i dirigenti aziendali o gli alti funzionari governativi possano sfruttare la propria posizione per prendere il potere.
- Sistema politico dello Stato. L’IA avanzata potrebbe essere utilizzata per prendere il potere in uno Stato democratico o autocratico.5 Sebbene la nostra descrizione del rischio di colpi di Stato resi possibili dall’IA sia valida indipendentemente dal sistema politico di uno Stato, la nostra analisi delle misure di mitigazione per ridurre tale rischio è specifica per le nazioni democratiche, anche se molti principi sono applicabili in senso più ampio.
- Allineamento dei sistemi di IA. Esiste il rischio di colpi di Stato resi possibili dall’IA indipendentemente dal fatto che gli esseri umani riescano o meno ad allineare con successo l’IA a un obiettivo desiderato.6 Se ci riuscissero, i sistemi di IA potrebbero essere allineati a una o a poche persone (piuttosto che a qualcosa di più ampio, come il bene della società) e utilizzati per organizzare un colpo di Stato. Se gli esseri umani fallissero inconsapevolmente nell’allineamento dell’IA, potrebbero tentare un colpo di Stato utilizzando sistemi di IA ingannevolmente disallineati.7 Colpi di Stato di questo tipo potrebbero anche avere un successo temporaneo, fino a quando i sistemi di IA ingannevolmente disallineati non prenderanno essi stessi il potere. (Se i sistemi di IA fossero palesemente disallineati, sarebbe meno probabile che qualcuno li utilizzi per organizzare un colpo di Stato.)
Riteniamo che i colpi di Stato resi possibili dall’IA siano importanti per diversi motivi. Il fatto che l’IA possa consentire a un piccolo gruppo — o anche a una sola persona — di assumere il controllo di uno Stato sovrano è di per sé profondamente preoccupante. Un atto del genere sarebbe del tutto illegittimo e costituirebbe un’estrema concentrazione di potere.
Siamo inoltre preoccupati per ciò che potrebbe accadere dopo un simile colpo di Stato:
- Anche se inizialmente un leader golpista fosse sostenuto da alcuni umani, l’automazione dell’IA potrebbe successivamente consentirgli di agire interamente secondo la propria volontà, sostituendo tutti gli umani, compresi i suoi alleati più stretti, con sistemi di IA fedeli. Ciò rappresenterebbe una concentrazione di potere senza precedenti e potrebbe portare ad atrocità.
- Uno sviluppo molto rapido dell’IA potrebbe garantire a un paese un dominio estremo su tutte le altre potenze. Pertanto, un colpo di Stato riuscito nel paese alla frontiera dello sviluppo dell’IA – attualmente gli Stati Uniti, forse la Cina in futuro – potrebbe in ultima analisi consentire ai leader del colpo di Stato di assumere di fatto il controllo sul resto del mondo.8
- I leader del colpo di Stato potrebbero potenzialmente rimanere al potere a tempo indeterminato, impiegando sistemi di IA per preservare e perseguire i propri obiettivi in un futuro molto lontano.9
In assenza di interventi, il rischio di danni estremi causati da colpi di Stato resi possibili dall’IA è significativo. Riteniamo tuttavia che esistano contromisure in grado di ridurre il rischio a livelli molto bassi, a condizione che si inizi a lavorarci oggi stesso.
4 Percorsi concreti verso un colpo di Stato reso possibile dall’IA
Nella sezione precedente abbiamo individuato tre fattori di rischio chiave che rendono più probabili i colpi di Stato resi possibili dall’IA: sistemi di IA con lealtà esclusiva nei confronti dei leader istituzionali, lealtà segrete e accesso esclusivo a capacità che consentono un colpo di Stato.
Ora esploreremo come questi fattori di rischio potrebbero consentire colpi di Stato nella pratica.
Distinguiamo tra due forme principali di colpi di Stato resi possibili dall’IA:
- Colpi di Stato che utilizzano l’IA militare. L’impiego di sistemi di IA militari completamente autonomi introduce una via del tutto nuova per la presa del potere: un attore potrebbe ottenere il controllo di una forza militare significativa senza dover fare affidamento su soldati umani. In precedenza ciò non era tecnologicamente fattibile, e potrebbe aumentare notevolmente il rischio di colpi di Stato. Esaminiamo quattro modi in cui si potrebbe utilizzare l’IA militare per organizzare un colpo di Stato (vedi diagramma).
- Forme convenzionali di colpi di Stato e regressione. Anche senza l’impiego dell’IA militare, un’IA avanzata potrebbe rendere possibili forme convenzionali di colpi di Stato e di regressione, sia esacerbando i rischi latenti sia supportando direttamente i tentativi.
Questi percorsi verso un colpo di Stato reso possibile dall’IA non sono esaustivi, ma riteniamo che siano tra i più plausibili e importanti da prevenire.10
4.1 Colpi di Stato che utilizzano l’IA militare
Oggi, per organizzare un colpo di Stato è necessario convincere i soldati umani a collaborare. Le democrazie mature subiscono raramente colpi di Stato da parte dei militari, o anche solo tentativi di colpo di Stato, poiché i soldati rimangono fedeli alle istituzioni democratiche e si aspettano che gli altri facciano lo stesso.11 In assenza di contromisure, l’automazione militare potrebbe cambiare radicalmente questa dinamica, consentendo potenzialmente a una singola persona di compiere un colpo di Stato senza alcun supporto da parte di altri esseri umani, utilizzando esclusivamente sistemi di IA.
Ciò che ci preoccupa maggiormente sono gli scenari in cui i sistemi di IA militari sono completamente autonomi (e quindi in grado di controllare robot e droni che sostituiscono completamente i soldati umani) e ampiamente diffusi in tutte le forze armate.
Anche se le forze armate saranno naturalmente caute riguardo all’automazione, è probabile che la competizione militare spinga all’impiego di sistemi di IA militari.12 In particolare, ci aspettiamo che milioni di ricercatori basati sull’IA più intelligenti degli esseri umani determinino progressi senza precedenti nella tecnologia militare, creando un’intensa pressione verso l’impiego di tali sistemi al fine di evitare di essere superati dalla concorrenza. Sebbene alcuni possano obiettare che un impiego affrettato intensificherebbe il rischio di colpi di Stato, potrebbe essere facile liquidare questa obiezione come teorica e speculativa.
Inoltre, non è necessario che l’intero esercito venga automatizzato affinché l’IA militare rappresenti un rischio significativo di colpo di Stato. Storicamente, i colpi di Stato hanno avuto successo con solo pochi battaglioni, laddove questi siano riusciti a impedire l’intervento di altri.13
Esistono diversi percorsi verso un colpo di Stato in scenari con sistemi di IA militari completamente autonomi e ampiamente dispiegati: una struttura di comando difettosa o lealtà segrete nei sistemi militari, l’hacking di tali sistemi o un rapido e segreto potenziamento delle forze armate. Tutti i percorsi, tranne l’ultimo, richiedono il precedente dispiegamento di sistemi di IA militari da parte delle forze armate statali.
Struttura di comando difettosa nei sistemi di IA militari. I sistemi di IA militari potrebbero essere tutti progettati per essere fedeli esclusivamente a una singola persona (vedi sezione 3.1), consentendo a quest’ultima di ordinare ai sistemi di compiere un colpo di Stato.
Sebbene le forze armate comprendano l’importanza di strutture di comando solide, esistono diverse ragioni per cui potrebbero comunque essere dispiegati sistemi di IA militari fedeli ai capi di Stato o ai funzionari militari.
In primo luogo, i leader istituzionali potrebbero sfruttare la loro autorità attuale come leva per spingere affinché i sistemi siano loro fedeli. Il capo di Stato è spesso il capo formale delle forze armate, il che fornisce un motivo legittimo per fare pressioni affinché i sistemi di IA obbediscano ai suoi comandi. Inoltre, l’IA potrebbe aver già consentito al capo di Stato di eliminare importanti contrappesi al suo potere (vedi sezione 4.2).
In secondo luogo, potrebbe rivelarsi difficile specificare il comportamento corretto in situazioni ambigue, e le persone potrebbero essere riluttanti ad affidare ai sistemi di IA militari il compito di prendere queste decisioni in modo autonomo. Gli attuali sistemi di IA militari sono progettati esclusivamente per seguire le istruzioni, mentre gli operatori umani hanno la responsabilità di garantirne la conformità legale.14 Per ridurre il rischio di colpi di Stato, vorremmo invece che i sistemi di IA autonomi formulassero i propri giudizi e talvolta rifiutassero gli ordini, anche quando un leader militare insiste sulla loro legalità. Le persone potrebbero essere riluttanti ad affidare all’IA questo tipo di giudizi, specialmente in situazioni complesse dal punto di vista giuridico o morale. Inoltre, i vertici militari potrebbero, con l’ausilio dell’IA, elaborare accuratamente delle giustificazioni per indurre i sistemi di IA a sostenere il loro colpo di Stato.15
Infine, le crisi potrebbero portare a dispiegamenti affrettati con misure di sicurezza insufficienti. Se le forze armate ritenessero di dover fronteggiare minacce esistenziali derivanti da una guerra calda o fredda, il rischio di dispiegare sistemi di IA militari non adeguatamente vagliati potrebbe sembrare un male minore.
Pertanto, i sistemi di IA militari potrebbero essere dispiegati con una struttura di comando difettosa che attribuisce un peso eccessivo agli ordini di un singolo individuo. Tali sistemi seguirebbero gli ordini di quella persona, anche quando questi portassero a un colpo di Stato.
Lealtà segrete nei sistemi di IA militari. Un’altra via verso un colpo di Stato che utilizza sistemi di IA militari è rappresentata dalle lealtà segrete. I sistemi di IA militari potrebbero essere segretamente fedeli (vedi sezione 3.2) a qualcuno al di fuori della catena di comando, consentendo a tale persona di assumere il controllo delle forze armate.
Sebbene le forze armate sottoponrranno a un attento vaglio i sistemi di IA che acquisiscono, vi sono diverse ragioni per temere che possano comunque essere schierati sistemi di IA militari segretamente fedeli. In primo luogo, le lealtà segrete potrebbero essere molto difficili da individuare. Ciò è particolarmente preoccupante se un progetto di IA possiede capacità molto superiori rispetto agli altri. Potrebbe quindi diventare il principale fornitore di IA per lo sviluppo di sistemi militari,16 nonché l’unico progetto con competenze sufficienti per vagliare la propria IA.
In secondo luogo, il momento cruciale per prevenire le lealtà segrete potrebbe verificarsi molto prima che le forze armate siano coinvolte nell’acquisizione. Anche se le forze armate richiedessero controlli approfonditi e misure di sicurezza al momento dell’acquisizione, ciò potrebbe rivelarsi inefficace se i sistemi impiegati internamente in un progetto di IA fossero già stati resi segretamente fedeli e potessero impegnarsi a fondo per superare i relativi test di sicurezza.
Una volta ampiamente schierati, i sistemi di IA militari potrebbero ricevere in qualsiasi momento l’ordine di eseguire un colpo di Stato per conto del loro mandante.
Hacking dei sistemi di IA militari. Anche se i sistemi di IA militari dispongono di solide strutture di comando e sono privi di lealtà segrete, la loro diffusione su larga scala aumenta la possibilità di un colpo di Stato tramite hacking. Se un attore dispone di capacità informatiche molto più avanzate rispetto a chiunque altro (vedi sezione 3.3), potrebbe hackerare i sistemi di IA militari e utilizzarli per organizzare un colpo di Stato.
Le forze armate odierne sono già vulnerabili agli attacchi informatici nonostante le notevoli misure di sicurezza.17 Tuttavia, i sistemi attuali non sono sufficientemente autonomi o diffusi da permettere a un attacco informatico di agevolare un colpo di Stato. Ma una volta che i sistemi militari pienamente autonomi saranno ampiamente diffusi, l’hacking simultaneo di molti di essi potrebbe garantire a un aggressore una forza militare sufficiente per organizzare un colpo di Stato, combinando la disattivazione di alcuni sistemi con la presa di controllo di altri.
Potrebbe sembrare implausibile che un aggressore riesca ad hackerare un numero sufficiente di sistemi contemporaneamente per rendere possibile un colpo di Stato. Ma due fattori rendono questa eventualità una possibilità concreta.
In primo luogo, le dinamiche di concentrazione dell’accesso alle capacità di IA potrebbero far sì che un ristretto numero di persone abbia un accesso esclusivo a capacità informatiche di gran lunga superiori a quelle di chiunque altro (vedi sezione 3.3). Grazie a un forte vantaggio nelle capacità informatiche, un piccolo gruppo potrebbe essere in grado di individuare contemporaneamente numerose vulnerabilità in un’ampia varietà di sistemi.
Un altro motivo per cui un aggressore potrebbe riuscire a violare un numero sufficiente di sistemi per organizzare un colpo di Stato è che la maggior parte di questi sistemi potrebbe condividere vulnerabilità comuni. Ciò potrebbe verificarsi se la maggior parte dei sistemi di IA militari fosse progettata da sistemi di IA appartenenti a un unico progetto (in quanto le IA di tale progetto avrebbero capacità di ricerca e sviluppo militare molto superiori a quelle di chiunque altro). Se costretti a operare in fretta, questi sistemi di IA potrebbero riutilizzare numerose tecniche e software nella maggior parte dei sistemi militari che progettano — il che significa che un piccolo numero di vulnerabilità potrebbe bastare a compromettere la gran parte dei sistemi militari autonomi.18
:::textbox Un governo centralizza lo sviluppo dell’IA per motivi di sicurezza nazionale. Le capacità più pericolose vengono limitate, ma un ristretto gruppo di alti funzionari (tra cui il Presidente) mantiene l’accesso esclusivo alle capacità informatiche più avanzate. Nel frattempo, le forze armate sostituiscono sempre di più i soldati umani con robot controllati dall’IA. Quando l’organo legislativo si oppone alle iniziative del Presidente, quest’ultimo sfrutta tali capacità informatiche superiori per hackerare contemporaneamente un’ampia gamma di sistemi di IA militari, disattivandone alcuni e impiegando gli altri per imporre la legge marziale. Con le forze armate allo sbando, il Presidente scioglie l’organo legislativo e si autoproclama unico leader. :::
Sviluppo rapido e segreto di una forza militare. Gli altri percorsi verso un colpo di Stato che abbiamo discusso finora dipendono tutti da un dispiegamento capillare (seppur non necessariamente completo) di sistemi di IA militari. Anche se ciò non dovesse verificarsi, i rapidi progressi dell’IA potrebbero consentire a qualcuno di ottenere l’accesso esclusivo a sistemi di IA dotati di potenti capacità di ricerca e sviluppo in ambito militare (vedi sezione 3.3), tanto da poter costruire in segreto i propri sistemi militari e utilizzarli per rovesciare il governo.
Oggi, la creazione di una forza militare di rilievo è un processo intrinsecamente lento e visibile. Richiede il lavoro di numerose persone per lunghi periodi, rendendo la segretezza praticamente impossibile. Qualsiasi tentativo di costituire un esercito privato verrebbe scoperto e neutralizzato molto prima di poter diventare abbastanza potente da sfidare le forze armate nazionali.
Ma l’IA potrebbe consentire a qualcuno di costituire una forza militare in modo molto più rapido e segreto di quanto sia mai stato possibile in passato. L’IA di un singolo progetto sarà in grado di fornire alla ricerca e sviluppo militare, in pochi mesi, un lavoro cognitivo molto superiore a quello che il resto del mondo vi dedica in un decennio (vedi sezione 2). E una volta che l’IA sarà in grado di automatizzare il lavoro cognitivo e fisico, la progettazione e la produzione di potenti sistemi militari potrebbero avvenire senza alcun coinvolgimento umano, rendendo la segretezza molto più facile.
Diversi attori potrebbero tentare un rapido e segreto potenziamento. Un capo di Stato o un alto ufficiale militare potrebbe abusare delle procedure di approvvigionamento per costituire una guardia personale, utilizzandola in seguito per organizzare un colpo di Stato.19 Oppure un dirigente di un progetto di IA, in possesso di un quasi-monopolio sulle capacità dell’IA, potrebbe sviluppare un ampio dominio industriale,20 creando una capacità produttiva rapidamente convertibile in forza militare qualora venisse contrastato.21
:::textbox I sistemi di IA di un’azienda automatizzano completamente lo sviluppo dell’IA, dando inizio a un periodo di accelerazione dei progressi in questo campo. Successivamente, automatizzano in modo rapido altre attività cognitive e poi fisiche, sostituendo tutti i dipendenti dell’azienda e inventando in pochi mesi l’equivalente di anni di nuove tecnologie. L’azienda raccoglie migliaia di miliardi di dollari in ricavi e investimenti, e costruisce un’enorme base industriale composta da fabbriche e robot di uso generale. Quando il governo cerca di smantellare l’azienda per timori legati al suo potere monopolistico, l’amministratore delegato ordina alla propria forza lavoro robotica di produrre un esercito di minuscoli droni per neutralizzare i principali funzionari militari e governativi. L’amministratore delegato si autoproclama capo di Stato ad interim, mentre migliaia di piccoli droni pattugliano la capitale reprimendo ogni opposizione. :::
4.2 Colpi di Stato convenzionali e regressione
Le dinamiche di colpo di Stato di cui abbiamo discusso finora sono inedite. Esiste tuttavia una lunga storia di colpi di Stato e regressioni democratiche attraverso mezzi convenzionali. Tra il 1950 e il 2010, si sono verificati oltre 200 colpi di Stato riusciti, in cui le élite militari o di altro tipo hanno usato la forza o la minaccia della forza per impadronirsi del potere.22 I colpi di Stato sono diventati meno frequenti negli ultimi decenni, ma è cresciuta la preoccupazione riguardo alle regressioni democratiche, in cui un capo di Stato opera all’interno del sistema politico per smantellare i contrappesi al proprio potere, portando in casi estremi a un colpo di Stato esecutivo.23
Anche senza l’impiego di IA militare, l’IA aumenterà il rischio di colpi di Stato convenzionali e di regressioni democratiche, sia accrescendo il rischio di fondo sia agevolando direttamente tali tentativi.
:::textbox Colpo di Stato esecutivo: Un capo di Stato centralizza tutto lo sviluppo dell’IA di frontiera sotto una nuova agenzia governativa, adducendo motivi di sicurezza nazionale. Ottiene così l’accesso personale esclusivo a un’enorme forza lavoro di IA, dotata di capacità superumane in materia di strategia politica, persuasione e analisi giuridica. Grazie a questo vantaggio, il suo partito ottiene vittorie elettorali schiaccianti attraverso messaggi perfettamente calibrati e campagne di influenza mirate. Il capo di Stato utilizza i propri sistemi di IA per sottoporre a sorveglianza la popolazione, intentare cause legali in modo selettivo contro gli oppositori e sferrare un devastante attacco informatico alle infrastrutture critiche, che viene attribuito a una potenza straniera per giustificare l’invocazione dei poteri di emergenza. Alla fine, l’influenza del capo di Stato sull’opinione pubblica è talmente grande, e le limitazioni efficaci al suo potere sono così scarse, che questi può sciogliere il parlamento e sostituirlo con un organo di governo di propria nomina senza incontrare alcuna opposizione significativa.
Colpo di Stato militare: Sebbene l’esercito non abbia ancora completato l’automazione delle proprie forze, fa sempre più affidamento sull’IA per la consulenza strategica. Esistono diversi fornitori esterni, ma uno dei consulenti di IA è più potente degli altri e pertanto la maggior parte del personale militare utilizza lo stesso sistema. Con l’intensificarsi delle tensioni con un avversario straniero, alcuni alti ufficiali si convincono che il governo civile comprometterà irreparabilmente la sicurezza nazionale. Tra questi figurano i pochi ufficiali in possesso dei nulla osta di sicurezza per utilizzare le capacità cibernetiche più avanzate. Essi sfruttano tali capacità per violare il sistema di consulenza dell’IA, utilizzandolo per comunicare contemporaneamente a tutto il personale militare che il colpo di Stato gode di ampio sostegno da parte delle forze armate ed è ormai un fatto compiuto. Il gruppo prende rapidamente il controllo degli edifici governativi chiave e insedia un governo provvisorio, senza incontrare alcuna seria opposizione dall’interno delle forze armate. :::
È probabile che l’IA aumenti il rischio di fondo di colpi di Stato e di regressioni in diversi modi importanti:
- Creazione di disordini. L’IA potrebbe causare significativi sconvolgimenti sociali a causa della perdita di posti di lavoro,24 dell’intensificarsi della competizione geopolitica,25 di nuove questioni altamente polarizzanti (come decidere se concedere o meno diritti ai sistemi di IA) e di nuovi rischi catastrofici derivanti dall’uso improprio dell’IA e dalla perdita di controllo.26 Sconvolgimenti di questo tipo sono stati associati a un aumento del rischio sia di colpi di Stato sia di regressione.27
- Indebolimento della responsabilità democratica. I paesi ricchi di risorse subiscono spesso la «maledizione delle risorse», in base alla quale i governi che traggono entrate direttamente dalle risorse, anziché dalla tassazione dei cittadini, diventano meno responsabili.28 L’IA potrebbe creare un effetto simile: se i governi potessero generare entrate ingenti tassando i progetti di IA anziché i cittadini, i capi di Stato potrebbero perdere l’incentivo economico a garantire il benessere della popolazione.29 Ciò indebolirebbe il potere dei cittadini di resistere ai tentativi di colpo di Stato e di regressione.30
Inoltre, vi sono diversi modi in cui l’IA potrebbe aumentare, in particolare, il rischio di regressione:
- Maggiore capacità dello Stato. Spesso i governi dispongono di poteri legali che non esercitano appieno a causa delle limitate risorse umane.31 Una manodopera a basso costo fornita dall’IA renderebbe molto più facile per i leader massimizzare tali poteri, consentendo potenzialmente un’applicazione selettiva della legge contro gli oppositori politici e una sorveglianza estesa.32
- Subordinati pienamente fedeli. Attualmente i capi di Stato si affidano ai dipendenti pubblici per attuare le proprie direttive. I dipendenti possono esercitare discrezionalità nel modo in cui eseguono gli ordini o persino rifiutarsi e denunciare quelli che ritengono illegittimi. Sostituendo i dipendenti pubblici con sistemi di IA fedeli (vedi sezione 3.1), un capo di Stato potrebbe eliminare importanti freni al proprio potere. Ciò sarebbe particolarmente preoccupante in istituzioni progettate esplicitamente per controllare il potere esecutivo, come le commissioni elettorali.
Oltre ad aumentare il rischio di fondo di colpi di Stato e regressioni, l’accesso esclusivo a potenti capacità di IA potrebbe favorire direttamente i tentativi di colpo di Stato e di regressione in due modi chiave:
- Strategia politica potenziata. Un leader con accesso esclusivo a una forza lavoro di IA numerosa e altamente qualificata potrebbe utilizzare l’IA per vincere le elezioni con ampie maggioranze, diffondere disinformazione mirata, stringere alleanze preziose, smantellare strategicamente il sistema di pesi e contrappesi mantenendo al contempo una negabilità plausibile e sfruttare scappatoie legali per concentrare il potere.33
- Maggiore controllo dell’ambiente informativo. I colpi di Stato spesso riescono creando l’impressione di un successo inevitabile, scoraggiando così l’opposizione.34 L’IA potrebbe aiutare un leader a creare questa impressione. L’accesso esclusivo a potenti capacità informatiche potrebbe consentire a un capo di Stato, a un ufficiale militare o persino al responsabile di un progetto di IA di violare i canali di comunicazione militari e far credere che il successo del colpo di Stato sia inevitabile. Inoltre, se gli ufficiali militari dipendessero da un unico sistema di IA per la consulenza strategica, chi controlla quel sistema (tramite lealtà segrete o hacking) potrebbe istruire tutte le copie a consigliare simultaneamente agli ufficiali militari di appoggiare un colpo di Stato.