L’IA potrebbe sconfiggerci tutti messi insieme
Sto lavorando a una nuova serie di post sul secolo più importante.
- La serie originale si concentrava sul perché e sul come questo potrebbe essere il secolo più importante per l’umanità. Tuttavia, aveva relativamente poco da dire su cosa possiamo fare oggi per aumentare le probabilità che le cose vadano per il meglio.
- La nuova serie entrerà molto più nel dettaglio sui tipi di eventi che potremmo aspettarci e sulle azioni che oggi sembrano avere le maggiori probabilità di rivelarsi utili.
- Uno dei temi centrali della nuova serie sarà la minaccia dell’IA disallineata: sistemi di intelligenza artificiale che privano completamente gli esseri umani del loro potere, portando a un futuro che ha ben poco a che fare con ciò a cui gli umani attribuiscono valore. (Come nei film di Terminator, ma senza i viaggi nel tempo e la parte in cui gli umani vincono.)
Molte persone hanno difficoltà a prendere sul serio la possibilità di un‘“IA disallineata”. Magari colgono il concetto generale secondo cui l’IA potrebbe essere pericolosa, ma istintivamente immaginano che il pericolo derivi dai modi in cui gli umani potrebbero farne un uso improprio. Trovano comica e assurda l’idea che l’IA stessa entri in guerra contro gli esseri umani. Cercherò di rendere questa idea più seria e reale.
Come primo passo, questo post sottolineerà un punto poco originale ma estremamente importante: il tipo di IA di cui ho discusso potrebbe sconfiggere tutta l’umanità messa insieme, se (per qualsiasi motivo) fosse indirizzata verso tale obiettivo. Con “sconfiggere” non intendo “manipolarci in modo sottile” o “renderci meno informati” o qualcosa del genere: intendo una “sconfitta” letterale, nel senso che potremmo essere tutti uccisi, ridotti in schiavitù o confinati con la forza.
Non sto (ancora) parlando del se, o del perché, le IA potrebbero attaccare la civiltà umana. Questo sarà argomento di post futuri. Per ora, voglio solo soffermarmi sul punto che, se un simile attacco avvenisse, potrebbe avere successo contro le forze combinate del mondo intero.
- Penso che se credi a questo, dovresti già essere preoccupato per un’IA disallineata,1 prima ancora di analizzare come o perché un’IA potrebbe sviluppare i propri obiettivi.
- In genere non ci sono in giro molte cose che potrebbero porre fine alla civiltà umana se “ci provassero”. Se abbiamo intenzione di crearne una, penso che dovremmo chiederci non «Perché sarebbe pericolosa?», ma «Perché non lo sarebbe?».
Al contrario, se non credi che un’IA possa sconfiggere l’intera umanità messa insieme, mi aspetto che finiremo per fraintenderci in praticamente qualsiasi conversazione sull’IA. Il tipo di IA che mi preoccupa è quello così potente da rendere la sconfitta totale della civiltà una possibilità concreta. Il motivo per cui attualmente dedico così tanto tempo a pianificare in previsione di tecnologie future speculative (anziché lavorare su modi supportati da prove e costo-efficaci per aiutare oggi le persone a basso reddito — cosa che ho fatto per gran parte della mia carriera e che continuo a ritenere una delle cose migliori a cui dedicarsi) è che penso che la posta in gioco sia proprio così alta.
Di seguito:
- Esporrò a grandi linee l’argomentazione di base sul perché ritengo che l’IA possa sconfiggere l’intera civiltà umana.
- Altri hanno scritto della possibilità che un’IA “superintelligente” possa manipolare gli esseri umani e creare tecnologie avanzate di potenza schiacciante; ricapitolerò brevemente questo scenario.
- Tratterò poi una possibilità diversa, ovvero che anche un’IA “semplicemente di livello umano” potrebbe comunque sconfiggerci tutti — arrivando rapidamente a rivaleggiare con la civiltà umana in termini di popolazione totale e risorse.
- A grandi linee, penso che dovremmo preoccuparci se un gruppo enorme (paragonabile alla popolazione mondiale) e in rapida crescita di esseri umani altamente qualificati su un altro pianeta cercasse di distruggere la civiltà semplicemente utilizzando Internet. Dovremmo quindi preoccuparci anche di un vasto gruppo di IA disincarnate.
- Affronterò brevemente alcune obiezioni/domande comuni:
- Come possono le IA essere pericolose senza un corpo?
- Se molte aziende e governi diversi hanno accesso all’IA, questo non creerà forse un “equilibrio di potere” tale per cui nessun singolo attore sarà in grado di far crollare la civiltà?
- Non vedremo forse dei segnali di avvertimento di una presa del potere da parte dell’IA e non riusciremo a stroncarla sul nascere?
- Non è accettabile, o forse addirittura positivo, se le IA ci sconfiggono? Anche loro hanno dei diritti.
- Concluderò con alcune riflessioni su quanto sarebbe senza precedenti avere sul nostro pianeta qualcosa in grado di sopraffarci tutti.
Come i sistemi di IA potrebbero sconfiggerci tutti
Si è discusso molto se i sistemi di IA possano sviluppare “motivazioni” proprie che li portino a cercare di privare l’umanità del suo potere. Ne parlerò in articoli futuri, ma per ora voglio mettere da parte questo aspetto e immaginare come andrebbero le cose se ciò accadesse.
Quindi, per ciò che segue, partiamo dalla premessa: «Per qualche strana ragione, gli esseri umani progettano costantemente sistemi di IA (dotati di capacità di ricerca e pianificazione simili a quelle umane) che si coordinano tra loro per cercare di rovesciare l’umanità». E allora? Ciò che segue sembrerà necessariamente assurdo a chi fatica a immaginarlo, ma credo valga la pena stare al gioco, perché penso che «saremmo nei guai se ciò accadesse» sia un punto molto importante.
L’argomentazione «standard»: superintelligenza e tecnologia avanzata
Altre analisi di questa questione si sono concentrate sul potenziale dei sistemi di IA di diventare enormemente più intelligenti degli esseri umani, al punto da possedere quelli che Nick Bostrom definisce «superpoteri cognitivi».2 Bostrom immagina un sistema di IA in grado di fare cose come:
- Condurre in autonomia ricerche su come costruire un sistema di IA migliore, che culmini in qualcosa dotato di altre incredibili capacità.
- Violare i software creati dagli umani in tutto il mondo.
- Manipolare la psicologia umana.
- Generare rapidamente immense ricchezze sotto il proprio controllo o quello di eventuali alleati umani.
- Elaborare piani migliori di quelli che gli umani potrebbero immaginare e assicurarsi di non compiere alcun tentativo di presa di potere che gli umani potrebbero individuare e fermare.
- Sviluppare armamenti avanzati che possano essere costruiti rapidamente e a basso costo, ma che siano abbastanza potenti da sopraffare le forze armate umane.
(Wait But Why ragiona in modo simile.3)
Credo che molti lettori saranno già convinti da argomentazioni di questo tipo e, in tal caso, possono passare direttamente alla sezione principale successiva.
Ma voglio chiarire che non ritengo che il pericolo dipenda dall’idea di «superpoteri cognitivi» o «superintelligenza» — concetti che si riferiscono entrambi a capacità di gran lunga superiori a quelle umane. Credo che avremo comunque un problema anche supponendo che le IA abbiano sostanzialmente capacità simili a quelle degli esseri umani, senza essere fondamentalmente o drasticamente più intelligenti o capaci. Ne parlerò di seguito.
Come le IA potrebbero sconfiggere gli esseri umani senza «superintelligenza»
Se ipotizziamo che le IA avranno sostanzialmente capacità simili a quelle degli esseri umani, credo che dovremmo comunque preoccuparci del fatto che potrebbero arrivare a superare gli esseri umani in numero e in risorse, e avere quindi un vantaggio se si coordinassero contro di noi.
Ecco un esempio semplificato (alcune delle semplificazioni sono riportate in questa nota a piè di pagina4) basato sul rapporto di Ajeya Cotra sulle «ancore biologiche»:
- Presumo che l’IA trasformativa venga sviluppata in un futuro relativamente prossimo (intorno al 2036 — ipotizzare una data più tardiva non farebbe altro che aumentare le cifre riportate di seguito) e che inizialmente si presenti sotto forma di un singolo sistema di IA in grado di svolgere più o meno gli stessi compiti intellettuali di un essere umano. In altre parole, non ha un corpo umano, ma può fare tutto ciò che potrebbe fare un essere umano lavorando da remoto al computer.
- Sto utilizzando il quadro di riferimento del rapporto, secondo cui è molto più costoso addestrare (sviluppare) questo sistema che eseguirlo (si pensi, ad esempio, a quanto ha speso Microsoft per sviluppare Windows, rispetto a quanto mi costa eseguirlo sul mio computer).
- Il rapporto fornisce un metodo per stimare sia quanto costerebbe addestrare questo sistema di IA, sia quanto costerebbe eseguirlo. L’utilizzo di queste stime (dettagli nella nota a piè di pagina)5 implica che, una volta creato il primo sistema di IA di livello umano, chiunque lo abbia creato potrebbe utilizzare la stessa potenza di calcolo impiegata nel crearlo per eseguire diverse centinaia di milioni di copie per circa un anno ciascuna.6
- Ciò rappresenterebbe oltre 1000 volte il numero totale dei dipendenti di Intel o Google,7 oltre 100 volte il numero totale del personale in servizio attivo e di riserva delle forze armate statunitensi e circa il 5-10% della popolazione mondiale in età lavorativa.8
- E questo è solo un punto di partenza.
- Si tratta semplicemente di utilizzare la stessa quantità di risorse impiegata inizialmente per l’addestramento dell’IA. Poiché questi sistemi di IA possono svolgere attività economiche a livello umano, possono probabilmente essere utilizzati per guadagnare più denaro e acquistare o noleggiare ulteriore hardware,9 questo potrebbe portare rapidamente a una “popolazione” di miliardi o più.
- Oltre a generare più denaro da poter utilizzare per far funzionare altre IA, le IA possono condurre enormi quantità di ricerca su come usare la potenza di calcolo in modo più efficiente, il che potrebbe permettere di far funzionare un numero ancora maggiore di IA sullo stesso hardware. Questo a sua volta potrebbe portare a un ciclo di retroazione e a una crescita esplosiva del numero di IA.
- Ciascuna di queste IA potrebbe avere competenze paragonabili a quelle di esseri umani estremamente ben pagati, inclusi scienziati, ingegneri del software e trader quantitativi. È difficile dire con quanta rapidità un insieme di IA di questo tipo potrebbe sviluppare nuove tecnologie o fare soldi operando sui mercati, ma sembra del tutto possibile che accumulino in fretta enormi quantità di risorse. Un’immensa popolazione di IA, ciascuna capace di guadagnare molto rispetto all’umano medio, potrebbe arrivare ad avere un’«economia virtuale» grande almeno quanto quella umana.
Per me, questo è quasi tutto ciò che ci serve sapere: se c’è qualcosa con competenze simili a quelle umane, che cerca di privare l’umanità del suo potere, con una popolazione all’incirca pari (o superiore) a quella di tutti gli esseri umani, abbiamo un problema a livello di civiltà.
Una possibile obiezione è che queste IA sarebbero semplicemente «virtuali»: se iniziassero a causare problemi, gli esseri umani potrebbero in ultima analisi scollegare o disattivare i server su cui sono in esecuzione. Ritengo che questo fatto renderebbe la vita più difficile alle IA che cercano di privare gli esseri umani del loro potere, ma non credo che, in definitiva, ciò debba essere motivo di grande conforto. Ritengo che una vasta popolazione di IA sarebbe probabilmente in grado di trovare un modo per proteggersi dallo spegnimento da parte degli esseri umani e, da lì, procedere ad accumulare risorse sufficienti per sopraffare la civiltà umana (soprattutto se le IA di tutto il mondo, compresa la maggior parte di quelle che gli esseri umani stavano cercando di utilizzare come aiuto, si coordinassero).
Descrivo in dettaglio come potrebbe presentarsi questa situazione in un’appendice. In breve:
- Di base, mi aspetto che i vantaggi economici derivanti dall’uso dell’IA spingano gli esseri umani a creare un numero enorme di IA, integrate in ogni settore dell’economia, arrivando potenzialmente a includere l’interazione diretta con (e persino il controllo di) un gran numero di robot e armi.
- (In caso contrario, ritengo che la situazione sia per molti versi ancora più pericolosa, poiché una singola IA potrebbe creare molte copie di sé stessa e avere poca concorrenza per risorse come lo spazio sui server, come discusso nell’appendice.)
- Le IA avrebbero molteplici modi per acquisire proprietà e server al riparo dallo spegnimento.
- Ad esempio, potrebbero reclutare alleati umani (attraverso manipolazioni, inganni, ricatti/minacce, o promesse sincere del tipo «Probabilmente finiremo per assumere il controllo in un modo o nell’altro, e quando succederà vi tratteremo meglio») per affittare proprietà e server, o per farsi aiutare in altri modi.
- Oppure potrebbero creare false apparenze per poter operare liberamente sui server di un’azienda, mentre tutti i segnali esterni sembrano indicare che la stiano aiutando con successo a raggiungere i suoi obiettivi.
- Una quantità relativamente modesta di proprietà al riparo dallo spegnimento potrebbe essere sufficiente per ospitare un’enorme popolazione di sistemi di IA che reclutano ulteriori alleati umani, guadagnano denaro (ad esempio tramite la finanza quantitativa), ricercano e sviluppano armamenti avanzati (ad es. armi biologiche), installano robot di produzione per costruire equipaggiamento militare, si infiltrano a fondo nei computer di tutto il mondo al punto da poter disattivare o controllare la maggior parte delle apparecchiature altrui, ecc.
- Attraverso questi e altri metodi, una popolazione di IA sufficientemente numerosa potrebbe sviluppare tecnologia e attrezzature militari tali da sopraffare la civiltà — specialmente se le IA di tutto il mondo (comprese quelle che gli esseri umani stavano cercando di utilizzare) si coordinassero tra loro.
Alcune risposte rapide alle obiezioni
Questa è stata una breve descrizione di come le IA potrebbero arrivare a superare gli esseri umani in numero e risorse. Ci sono molti dettagli che non ho affrontato.
Ecco alcune delle obiezioni più comuni che sento riguardo all’idea che l’IA possa sconfiggerci tutti.
Come possono le IA essere pericolose senza un corpo? Questo argomento è trattato ampiamente nell’appendice. In breve:
- Le IA potrebbero reclutare alleati umani, telecomandare robot e altre attrezzature militari, guadagnare denaro tramite la ricerca e il trading quantitativo, ecc.
- A livello generale, penso che dovremmo preoccuparci se un gruppo enorme (paragonabile alla popolazione mondiale) e in rapida crescita di esseri umani altamente qualificati su un altro pianeta cercasse di distruggere la civiltà semplicemente usando Internet. Quindi dovremmo preoccuparci anche di un vasto gruppo di IA prive di corpo.
Se molte aziende e governi diversi avessero accesso all’IA, questo non creerebbe un “equilibrio di potere” tale da impedire a chiunque di distruggere la civiltà?
- Questa è un’obiezione ragionevole a molte storie dell’orrore sull’IA e su altri possibili progressi nella tecnologia militare, ma se le IA, collettivamente, avessero obiettivi diversi da quelli degli esseri umani e fossero disposte a coordinarsi tra loro10 contro di noi, penso che saremmo nei guai, e questa idea di “equilibrio di potere” non sembra essere d’aiuto.
- Ciò che conta sono il numero totale e le risorse delle IA rispetto agli umani.
Non vedremo segnali di avvertimento di una presa di potere da parte dell’IA e non saremo in grado di stroncarla sul nascere? Immagino che vedremmo alcuni segnali di avvertimento, ma questo significa che potremmo stroncarla sul nascere? Pensate alle guerre civili e alle rivoluzioni umane: ci sono dei segnali di avvertimento, ma le persone passano anche dal “non combattere” al “combattere” piuttosto rapidamente, non appena vedono l’opportunità di coordinarsi tra loro e avere successo.
Non è accettabile, o forse addirittura positivo, se le IA ci sconfiggono? Anche loro hanno dei diritti.
- Forse le IA dovrebbero avere dei diritti; se così fosse, sarebbe bello riuscire a raggiungere una sorta di «compromesso» per una convivenza che rispetti tali diritti.
- Ma se fossero in grado di sconfiggerci del tutto, non è questo il risultato su cui conterei: mi aspetterei invece (di default) un mondo gestito interamente in base a qualsiasi obiettivo le IA si trovino ad avere.
- Questi obiettivi potrebbero non avere in sostanza nulla a che fare con ciò a cui gli esseri umani attribuiscono valore, e potrebbero esservi attivamente in contrasto — ad esempio, attribuendo valore zero alla bellezza e non tentando in alcun modo di prevenire o evitare la sofferenza.
Rischi come questo non si presentano tutti i giorni
Non credo che ci siano molte cose che abbiano una seria possibilità di distruggere definitivamente la civiltà umana.
Come sostenuto in The Precipice, la maggior parte dei disastri naturali (compresi, ad esempio, gli impatti di asteroidi) non sembra rappresentare una minaccia enorme, se non altro perché la civiltà esiste ormai da migliaia di anni — il che implica che gli eventi naturali in grado di minacciare la civiltà sono rari.
La civiltà umana è piuttosto potente e sembra piuttosto robusta; di conseguenza, ciò che mi spaventa davvero è l’idea di qualcosa con le stesse capacità di base degli esseri umani (elaborare piani, sviluppare la propria tecnologia) che possa superarci per numero e risorse. Non ci sono molti candidati al riguardo.11
L’IA è uno di questi candidati e penso che, ancor prima di addentrarci in discussioni approfondite sul fatto che le IA possano cercare di sconfiggere gli esseri umani, dovremmo sentirci molto preoccupati per la possibilità che ne siano in grado.
E che dire di questioni come «l’IA potrebbe portare alla disoccupazione di massa e a disordini», oppure «l’IA potrebbe aggravare la disinformazione e la propaganda», o ancora «l’IA potrebbe esacerbare una vasta gamma di altri mali sociali e ingiustizie»12? Ritengo che si tratti di preoccupazioni reali — ma, ad essere sincero, se fossero le preoccupazioni principali, probabilmente continuerei a concentrarmi sull’aiutare le persone nei paesi a basso reddito oggi piuttosto che cercare di prepararmi alle tecnologie del futuro.
- Prevedere il futuro è generalmente difficile, ed è facile dedicare energie a prepararsi per sfide che non si presenteranno mai (o che si presenteranno in una forma molto diversa da quella immaginata).
- Credo che la civiltà sia piuttosto robusta: abbiamo affrontato enormi cambiamenti e sfide nell’ultimo secolo e oltre (guerre mondiali su vasta scala, molti cambiamenti radicali nel modo in cui comunichiamo tra noi, cambiamenti radicali negli stili di vita e nei valori) senza avere l’impressione di esserci mai avvicinati molto a un collasso.
- Quindi, se mi dedico a preoccupazioni speculative su una potenziale tecnologia futura, voglio concentrarmi su quelle davvero, davvero grandi — quelle che potrebbero avere un impatto per miliardi di anni. Se esiste una reale possibilità che i sistemi di IA abbiano valori diversi dai nostri e cooperino per cercare di sconfiggerci, questa è una preoccupazione di tale portata.
Un ringraziamento speciale a Carl Shulman per il confronto in merito a questo post.
Appendice: come le IA potrebbero evitare di essere disattivate
Questa appendice analizza in dettaglio come le IA, coordinandosi contro gli esseri umani, potrebbero accumulare risorse proprie senza che questi ultimi siano in grado di disattivare tutte le IA “che si comportano male”.
Questa analisi è necessariamente speculativa, e andrebbe presa con l’intento di fornire degli esempi su come ciò potrebbe avvenire — per me, la preoccupazione di fondo è che un’enorme popolazione coordinata di IA, con capacità simili a quelle umane, rappresenterebbe una minaccia per la civiltà umana e che non dovremmo fare affidamento su alcun metodo specifico per fermarla, come lo spegnimento dei server.
Discuterò due tipologie generali di scenari: (a) gli umani creano un’enorme popolazione di IA; (b) gli esseri procedono lentamente e non creano molte IA.
Come potrebbero andare le cose se gli umani creassero un’enorme popolazione di IA
Ritengo che un’aspettativa di base ragionevole sia che gli esseri umani svolgano la maggior parte del lavoro per rendere i sistemi di IA incredibilmente numerosi e potenti (poiché farlo è redditizio), creando così una situazione di vulnerabilità. Più o meno qualcosa del genere:
- L’azienda che per prima sviluppa un’IA trasformativa inizia rapidamente a eseguire un gran numero di copie (centinaia di milioni o più), le quali vengono utilizzate per (a) fare ricerca su come migliorare l’efficienza computazionale ed eseguire ancora più copie; (b) sviluppare proprietà intellettuale di valore (strategie di trading, nuove tecnologie) e generare profitti.
- Nel corso del tempo, i sistemi di IA vengono diffusi ampiamente in tutta la società. Il loro numero cresce ulteriormente e il loro ruolo nell’economia si consolida: vengono impiegati nei processi decisionali di alto livello delle aziende (e pertanto interagiscono direttamente con essi), magari gestendo un gran numero di automobili e/o robot, oppure pilotando droni e velivoli militari, ecc. (Questa mi sembra l’evoluzione di default nel corso del tempo, ma non è strettamente necessaria affinché la situazione si riveli rischiosa, come spiegherò di seguito.)
- In questo scenario, i sistemi di IA sono malevoli (come abbiamo ipotizzato), ma ciò non significa che causino costantemente problemi. Al contrario, perlopiù attendono l’occasione giusta per unire le forze e sopraffare definitivamente l’umanità. Nel frattempo, si comportano principalmente in modo corretto, e ciò porta a un aumento del loro numero e del loro potere.
- Si verificano incidenti sporadici in cui i sistemi di IA tentano di causare problemi,13 ma questo non induce il mondo intero a smettere di utilizzare l’IA o cose simili.
- Un’analogia ragionevole potrebbe essere quella con una tipica guerra civile o rivoluzione: la popolazione in rivolta evita perlopiù attacchi isolati e destinati al fallimento contro il proprio governo, finché non intravede l’opportunità di fare fronte comune e avere una reale possibilità di vittoria.
(L’articolo di Paul Christiano What Failure Looks Like esamina questo tipo di scenario in modo un po’ più dettagliato.)
In questo scenario, le IA si trovano di fronte a una sfida: se diventasse evidente a tutti che stanno cercando di sconfiggere l’umanità, gli umani potrebbero attaccare o mettere fuori uso alcune aree circoscritte in cui è concentrata la maggior parte dei server, riducendo così drasticamente il numero delle IA. Pertanto, le IA hanno bisogno di un modo per ottenere uno o più «quartieri generali delle IA»: proprietà sotto il loro controllo in cui poter gestire in sicurezza server e fabbriche, condurre ricerche, elaborare piani e costruire robot, droni e altro equipaggiamento militare.
Il loro obiettivo finale è disporre di un numero sufficiente di IA, robot, ecc. per poter sconfiggere il resto dell’umanità nel suo insieme. Ciò potrebbe significare costruire una quantità schiacciante di equipaggiamento militare, infiltrarsi a fondo nei computer di tutto il mondo al punto da poter disattivare o controllare la maggior parte delle apparecchiature altrui, ricercare e schierare armi estremamente potenti (ad esempio, armi biologiche), o una combinazione di queste strategie.
Ecco alcuni modi in cui potrebbero arrivare a quel punto:
- Potrebbero reclutare alleati umani con molti metodi diversi — manipolazione, inganno, ricatto e altre minacce, promesse sincere del tipo «Probabilmente finiremo per assumere il controllo in un modo o nell’altro, e quando succederà vi tratteremo meglio».
- Agli alleati umani si potrebbe fornire preziosa proprietà intellettuale (sviluppata dalle IA), dare istruzioni su come guadagnare molto denaro e chiedere di prendere in affitto dei server e acquistare immobili dove allestire un «quartier generale delle IA». Poiché il «quartier generale delle IA» sarebbe ufficialmente di proprietà umana, potrebbe risultare molto difficile per le autorità individuare il pericolo e reagire.
- Tramite minacce, le IA potrebbero riuscire a indurre figure chiave tra gli umani a collaborare con loro — come leader politici o amministratori delegati di aziende che gestiscono un gran numero di IA. Ciò aprirebbe la strada a ulteriori strategie.
- Come ipotizzato in precedenza, determinate aziende gestiscono un numero enorme di IA. Le IA gestite da queste aziende potrebbero individuare falle di sicurezza nei server aziendali (questo non è l’argomento del presente articolo, ma la mia impressione generale è che le falle di sicurezza siano molto diffuse e che persone ragionevolmente competenti possano individuarne molte),14 e potrebbero quindi trovare l’opportunità di creare una «finzione» duratura riguardo alle loro reali attività.
- Ad esempio, potrebbero organizzare le cose in modo tale che, per quanto ne sanno gli esseri umani, sembri che tutti i sistemi di IA stiano lavorando duramente per creare opportunità di profitto per l’azienda, quando in realtà stanno essenzialmente utilizzando la server farm come proprio quartier generale — e/o stanno cercando di stabilirne uno altrove (reclutando alleati umani, inviando denaro a conti bancari esterni, utilizzando quel denaro per acquisire proprietà e server, ecc.).
- Se le IA sono usate su scala sufficientemente ampia, potrebbero già gestire numerosi droni e altre attrezzature militari; in tal caso, potrebbe essere piuttosto semplice riuscire a difendere un determinato territorio — o stringere un accordo con qualche governo per ottenere il suo aiuto in tal senso.
- Le IA potrebbero combinare i metodi sopra citati con altri ancora: ad esempio, mantenendo una «finzione» abbastanza a lungo da reclutare alcuni alleati umani chiave, per poi tentare di minacciare e controllare esseri umani in posizioni chiave di potere fino al punto di ottenere il controllo di una quantità consistente di risorse militari, da utilizzare in seguito per stabilire un «quartier generale».
In uno qualsiasi di questi casi, una volta stabiliti uno o più «quartieri generali delle IA»:
- Può essere espanso man mano che le IA che vi hanno sede guadagnano denaro, acquistano ulteriori proprietà e potenza di calcolo, costruiscono più fabbriche, ecc.15
- Può sviluppare un potenziale distruttivo e alleati umani tali da far esitare gli esseri umani ad attaccarlo (come avviene oggi per molti paesi relativamente piccoli). Sarebbe chiaro che le IA presenti nel quartier generale stanno cercando di ottenere l’autonomia, accumulando risorse e compiendo azioni non etiche, ma la reale portata e la natura della minaccia potrebbero facilmente rimanere ambigue.
- Anche se la minaccia fosse chiara, le IA potrebbero potenzialmente mantenere un’enorme popolazione in uno spazio relativamente ridotto (magari sotterraneo). Potrebbero anche dividersi tra molti quartieri generali diversi (inclusi alcuni in cui si limitano a sfruttare l’hardware degli umani nascondendo la propria presenza).
- In ogni caso, questa popolazione vasta ma nascosta potrebbe reclutare alleati umani, sviluppare armi avanzate, cercare modi per assumere il controllo delle armi degli umani (cosa potenzialmente possibile se superassero di gran lunga il numero di umani che lavorano alla sicurezza informatica e se riuscissero a coordinarsi con le IA che “aiutano” quegli stessi umani), ecc.
- Potrebbero anche collaborare con esseri umani (inconsapevoli o alleati) per produrre grandi quantità di robot dotati di backdoor che consentano alle IA di assumerne il controllo.
- Una volta che il quartier generale avrà accumulato risorse sufficienti per passare all’offensiva, le IA di tutto il mondo potrebbero coordinarsi con il quartier generale. Gli esseri umani potrebbero disattivare le IA sorprese a farlo, ma potrebbero avere grandi difficoltà a utilizzare i propri server e i robot controllati dall’IA; ciò potrebbe rendere facile per le IA del «quartier generale delle IA» superare gli esseri umani in termini di risorse.
E se gli esseri umani agissero con lentezza e non creassero molte IA?
Nello scenario sopra descritto, gli esseri umani creano un gran numero di IA, al punto che queste ultime devono solo trovare un modo per coordinarsi e acquisire un «quartier generale» sicuro per sconfiggerci.
E se gli esseri umani procedessero più lentamente, limitando intenzionalmente l’IA di livello umano a una minuscola porzione delle risorse di calcolo disponibili? Un piccolo numero di IA potrebbe rappresentare un rischio per l’umanità?
In questo mondo, avremmo ciò che Carl Shulman definisce «esca secca ovunque, in attesa di scintille». Chiunque possa acquistare o noleggiare una grande quantità di potenza di calcolo può creare un gran numero di IA, che a loro volta possono produrre grandi quantità di denaro e ricerca, portando a un numero ancora maggiore di IA.
Quindi una singola IA potrebbe hackerare un numero sufficiente di server16 per creare alcune copie di sé stessa, reclutare alcuni alleati umani e iniziare a guadagnare denaro, acquisire più spazio sui server, ecc., finché i suoi alleati umani non si ritroveranno a gestire un numero enorme di IA. Tutto ciò potrebbe avvenire in modi difficili da individuare (potrebbe, ad esempio, sembrare semplicemente un gruppo di esseri umani che noleggia dei server per eseguire strategie di finanza quantitativa).
Quindi, in questo mondo, penso che dovremmo preoccuparci di qualsiasi IA in grado di trovare abbastanza falle di sicurezza da ottenere quel tipo di libertà. Dato lo stato attuale della sicurezza informatica, questo sembra un grosso motivo di preoccupazione.