Il progetto
Man mano che la corsa all’IAG si intensifica, l’apparato di sicurezza nazionale entrerà in gioco. Il governo degli Stati Uniti si risveglierà dal suo torpore e, entro il 2027/2028, avremo una qualche forma di progetto governativo sull’IAG. Nessuna startup è in grado di gestire la superintelligenza. Da qualche parte in una SCIF, avrà inizio la partita finale.
«Dobbiamo essere curiosi di scoprire come un simile insieme di oggetti — centinaia di centrali elettriche, migliaia di bombe, decine di migliaia di persone radunate nelle istitutzioni nazionali — possa essere ricondotto a poche persone sedute ai banchi di laboratorio a discutere del comportamento peculiare di un tipo di atomo.»
Spencer R. Weart
Oggigiorno vengono proposti molti piani per la “governance dell’IA”, che spaziano dalla concessione di licenze per i sistemi di IA di frontiera agli standard di sicurezza, fino a un cloud pubblico con alcune centinaia di milioni di dollari di potenza di calcolo per gli accademici. Sembrano iniziative ben intenzionate, ma a mio avviso stanno commettendo un errore di categoria.
Trovo che sia un’ipotesi folle che il governo degli Stati Uniti permetta a una startup qualsiasi di San Francisco di sviluppare la superintelligenza. Immaginate se avessimo sviluppato le bombe atomiche lasciando semplicemente improvvisare Uber.
La superintelligenza — sistemi di IA molto più intelligenti degli esseri umani — avrà un potere immenso, dallo sviluppo di armi innovative all’innesco di un’esplosione della crescita economica. La superintelligenza sarà il fulcro della competizione internazionale; un vantaggio di pochi mesi potenzialmente decisivo in un conflitto militare.
È un’illusione di coloro che hanno inconsciamente interiorizzato la nostra breve tregua dalla storia credere che questo non evocherà forze più primordiali. Come molti scienziati prima di noi, le grandi menti di San Francisco sperano di poter controllare il destino del demone che stanno dando alla luce. Al momento, possono ancora farlo; poiché sono tra i pochi ad avere consapevolezza della situazione, a comprendere ciò che stanno costruendo. Ma nei prossimi anni, il mondo si sveglierà. E così pure l’apparato di sicurezza nazionale. La storia farà un ritorno trionfale.
Come in molte altre occasioni in passato — il Covid, la Seconda guerra mondiale — sembrerà che gli Stati Uniti siano addormentati al volante, prima che, all’improvviso, il governo ingrani la marcia nel modo più straordinario. Ci sarà un momento — tra pochi anni, giusto un paio di ulteriori balzi «di livello 2023» nelle capacità dei modelli e nel dibattito sull’IA — in cui sarà chiaro: siamo alle soglie dell’IAG e, poco dopo, della superintelligenza. Sebbene i meccanismi esatti siano ancora molto fluidi, in un modo o nell’altro, il governo degli Stati Uniti sarà al timone; i principali laboratori si fonderanno («volontariamente»); il Congresso stanzierà bilioni per chip ed energia; verrà formata una coalizione di democrazie.
Le startup sono ottime per molte cose, ma una startup da sola semplicemente non è attrezzata per essere a capo del progetto di difesa nazionale più importante degli Stati Uniti. Avremo bisogno del coinvolgimento del governo per avere anche solo una speranza di difenderci dalla minaccia di spionaggio a tutto campo che dovremo affrontare; gli sforzi privati nell’IA potrebbero benissimo consegnare direttamente la superintelligenza al PCC. Avremo bisogno del governo per garantire anche solo una parvenza di catena di comando sensata; non si può permettere ad amministratori delegati qualsiasi (o a consigli di amministrazione di organizzazioni non profit qualsiasi) di avere il controllo del pulsante nucleare. Avremo bisogno del governo per gestire le gravi sfide di sicurezza della superintelligenza, per gestire la nebbia di guerra dell’esplosione di intelligenza. Avremo bisogno del governo per schierare la superintelligenza al fine di difenderci da qualsiasi minaccia estrema si profili, per superare la situazione internazionale straordinariamente instabile e destabilizzata che seguirà. Avremo bisogno che il governo mobiliti una coalizione democratica per vincere la corsa con le potenze autoritarie e crei (e faccia rispettare) un regime di non proliferazione per il resto del mondo. Vorrei che non fosse così, ma avremo bisogno del governo. (Sì, indipendentemente dall’amministrazione.)
In ogni caso, la mia tesi principale non è normativa, ma descrittiva. Tra pochi anni, Il Progetto prenderà il via.
Il percorso verso «Il Progetto»
Un susseguirsi di eventi che mi è rimasto impresso nella memoria è quello tra la fine di febbraio e la metà di marzo del 2020. In quelle ultime settimane di febbraio e nei primi giorni di marzo ero in preda alla disperazione più totale: sembrava chiaro che ci trovassimo sulla curva esponenziale del Covid. Una piaga stava per travolgere il Paese, il collasso dei nostri ospedali era imminente… eppure quasi nessuno prendeva la cosa sul serio. Il sindaco di New York continuava a liquidare i timori per il Covid come razzismo e incoraggiava la gente ad andare agli spettacoli di Broadway. Tutto quello che potevo fare era comprare mascherine e vendere allo scoperto.
Eppure, nel giro di poche settimane, l’intero Paese si è fermato e il Congresso ha stanziato bilioni di dollari (letteralmente >10 % del PIL). Capire in anticipo fin dove potesse arrivare la curva esponenziale era troppo difficile, ma quando la minaccia si è fatta abbastanza vicina, abbastanza esistenziale, si sono scatenate forze straordinarie. La risposta è stata tardiva, grezza, brusca… ma è arrivata, ed è stata drastica.
I prossimi anni nel campo dell’IA daranno una sensazione simile. Ora siamo a metà partita. Il 2023 ha già rappresentato uno scarto pazzesco. L’IAG è passata dall’essere un argomento marginale con cui si esitava ad associarsi, a oggetto di importanti audizioni al Senato e di vertici tra leader mondiali. Considerando quanto siamo ancora all’inizio, il livello di coinvolgimento del governo statunitense mi ha impressionato. Ancora un paio di anni come il 2023 e la finestra di Overton si spalancherà del tutto.
Mentre bruciamo le tappe degli OOM, i balzi in avanti continueranno. Entro il 2025/2026 circa mi aspetto i prossimi salti di livello davvero sconvolgenti; l’IA genererà oltre 100 miliardi di dollari di ricavi annuali per le grandi aziende tecnologiche e supererà i dottori di ricerca in pura intelligenza per la risoluzione dei problemi. Proprio come il crollo del mercato azionario dovuto al Covid ha spinto molti a prendere sul serio la pandemia, avremo aziende da 10 bilioni di dollari e la mania dell’IA sarà ovunque. Se ciò non bastasse, entro il 2027/28 avremo modelli addestrati sul cluster da oltre 100 miliardi di dollari; agenti di IA a tutti gli effetti / lavoratori da remoto “pronti all’uso” inizieranno ad automatizzare su larga scala l’ingegneria del software e altre mansioni cognitive. Ogni anno, l’accelerazione sembrerà vertiginosa.
Sebbene molti non vedano ancora la possibilità di un’IAG, alla fine si formerà un consenso. Alcuni, come Szilard, intravidero la possibilità di una bomba atomica molto prima di altri. Il loro allarme inizialmente non fu ben accolto; la possibilità di una bomba fu liquidata come remota (o almeno, si riteneva che la cosa più prudente e appropriata fosse minimizzarne l’eventualità). I fervidi appelli di Szilard alla segretezza furono derisi e ignorati. Ma molti scienziati, all’inizio scettici, cominciarono a rendersi conto che una bomba era possibile man mano che emergevano sempre più risultati empirici. Una volta che la maggioranza degli scienziati giunse a credere che fossimo alle soglie della realizzazione di una bomba, il governo, a sua volta, ritenne che l’esigenza di sicurezza nazionale fosse troppo grande — e il Progetto Manhattan prese il via.
Man mano che gli OOM passano dall’estrapolazione teorica alla (straordinaria) realtà empirica, gradualmente si formerà un consenso anche tra i principali scienziati, dirigenti e funzionari governativi: siamo alle soglie, alle soglie dell’IAG, alle soglie di un’esplosione di intelligenza, alle soglie della superintelligenza. E a un certo punto lungo questo percorso, assisteremo alle prime dimostrazioni davvero terrificanti dell’IA: forse il tanto discusso «aiutare i principianti a fabbricare armi biologiche», oppure l’hacking autonomo di sistemi critici, o qualcosa di completamente diverso. Diventerà chiaro: che ci piaccia o no, questa sarà una tecnologia militare assolutamente decisiva. Anche se avremo la fortuna di non trovarci in un grande conflitto, sembra probabile che il PCC ne avrà preso atto e avrà avviato un formidabile programma per l’IAG. Forse la successiva (e inevitabile) scoperta dell’infiltrazione del PCC nei principali laboratori di IA americani causerà grande scalpore.
Intorno al 2026-27 circa, l’atmosfera a Washington diventerà cupa. Le persone inizieranno a percepire visceralmente ciò che sta accadendo; avranno paura. Dalle sale del Pentagono ai briefing a porte chiuse del Congresso risuonerà la domanda ovvia, quella che tutti hanno in mente: abbiamo bisogno di un Progetto Manhattan per l’IAG? All’inizio lentamente, poi tutto d’un tratto, diventerà chiaro: sta accadendo, le cose diventeranno folli, questa è la sfida più importante per la sicurezza nazionale degli Stati Uniti dall’invenzione della bomba atomica. In una forma o nell’altra, l’apparato di sicurezza nazionale si coinvolgerà in modo massiccio. Il Progetto sarà la risposta necessaria, anzi l’unica plausibile.
Naturalmente, questa è una descrizione estremamente sintetizzata: molto dipenderà da quando e come si formerà il consenso, dai colpi di avvertimento chiave e così via. Washington è notoriamente disfunzionale. Come nel caso del Covid, e persino del Progetto Manhattan, il governo sarà incredibilmente in ritardo e maldestro. Dopo la lettera di Einstein al Presidente nel 1939 (redatta da Szilard), fu istituito un Comitato consultivo sull’uranio. Ma i funzionari erano incompetenti e all’inizio non accadde granché. Ad esempio, Fermi ottenne solo 6 000 dollari (circa 135 000 dollari odierni) per sostenere la sua ricerca, e anche quelli non gli furono concessi facilmente, ma solo dopo mesi di attesa. Szilard riteneva che il progetto fosse ritardato di almeno un anno a causa della miopia e della lentezza delle autorità. Nel marzo 1941, il governo britannico giunse finalmente alla conclusione che una bomba fosse inevitabile. Il comitato statunitense inizialmente ignorò completamente questo rapporto britannico per mesi — finché, finalmente, nel dicembre 1941, fu avviato un programma su larga scala per la bomba atomica.
Ci sono molti modi in cui ciò potrebbe essere messo in pratica. Per essere chiari, non è necessario che si tratti di una vera e propria nazionalizzazione, con i ricercatori dei laboratori di IA ora assunti dall’esercito o simili (anche se potrebbe essere così!).1 Piuttosto, mi aspetto un’orchestrazione più discreta. Il rapporto con il Dipartimento della Difesa potrebbe assomigliare a quello che il Dipartimento della Difesa ha con Boeing o Lockheed Martin. Forse tramite appalti nel settore della difesa o simili, verrebbe istituita una joint venture tra i principali fornitori di potenza di calcolo, i laboratori di IA e il governo, rendendola di fatto un progetto dello Stato di sicurezza nazionale. Proprio come i laboratori di IA si sono “volontariamente” impegnati nei confronti della Casa Bianca nel 2023, i laboratori occidentali potrebbero accettare più o meno “volontariamente” di unirsi allo sforzo nazionale. E probabilmente il Congresso dovrà essere coinvolto, dati i bilioni di investimenti in gioco e per garantire pesi e contrappesi.2 Come andranno a finire tutti questi dettagli è un’altra storia.
Ma entro la fine del 26/27/28 la storia sarà già in corso. Il team centrale di ricerca sull’IAG (poche centinaia di ricercatori) si trasferirà in una sede sicura; il cluster da un bilione di dollari sarà costruito a tempo di record; il Progetto prenderà il via.
Perché il Progetto è l’unica via
Non mi faccio illusioni sul governo. I governi devono far fronte a ogni sorta di limitazione e a incentivi inadeguati. Credo fermamente nel settore privato americano e non auspicherei quasi mai un forte coinvolgimento governativo nella tecnologia o nell’industria.
Un tempo usavo questo stesso approccio per l’IAG, finché non ho iniziato a lavorare in un laboratorio di IA. I laboratori di IA sono molto bravi in alcune cose: sono riusciti a portare l’IA da un progetto scientifico accademico al grande palcoscenico commerciale, come solo una startup può fare. Ma in definitiva, i laboratori di IA sono pur sempre delle startup. Semplicemente, non dovremmo aspettarci che le startup siano attrezzate per gestire la superintelligenza.
Non ci sono opzioni valide al riguardo, ma non vedo un’altra via. Quando una tecnologia diventa così importante per la sicurezza nazionale, avremo bisogno del governo degli Stati Uniti.
La superintelligenza sarà il progetto di difesa nazionale più importante degli Stati Uniti
In articoli precedenti ho discusso del potere della superintelligenza. Nel giro di pochi anni, la superintelligenza stravolgerà completamente gli equilibri di potere militari. Entro i primi anni ‘30, l’intero arsenale statunitense (che piaccia o no, il fondamento della pace e della sicurezza globali) sarà probabilmente obsoleto. Non si tratterà solo di una questione di modernizzazione, ma di una sostituzione totale.
In parole povere, diventerà chiaro che lo sviluppo dell’IAG rientrerà in una categoria più simile a quella delle armi nucleari che a quella di Internet. Sì, certo, sarà a duplice uso, ma anche la tecnologia nucleare era a duplice uso. Le applicazioni civili avranno il loro momento. Ma nella nebbia della fase finale dell’IAG, nel bene o nel male, la sicurezza nazionale sarà lo scenario principale.
Di fronte al rapido cambiamento tecnologico, dovremo rimodellare completamente le forze armate statunitensi nel giro di pochi anni, o rischieremo di essere completamente surclassati dagli avversari che lo faranno. Forse, più di ogni altra cosa, la priorità iniziale sarà impiegare la superintelligenza per applicazioni difensive, per sviluppare contromisure volte a sopravvivere a nuove e incalcolabili minacce: avversari con capacità di hacking sovrumane, nuove classi di sciami di droni stealth in grado di sferrare un attacco preventivo contro il nostro deterrente nucleare, la proliferazione di progressi nella biologia sintetica trasformabili in armi, turbolente lotte di potere internazionali (e nazionali) e progetti di superintelligenza fuori controllo.
Che sia nominalmente privato o meno, il progetto IAG dovrà essere, sarà, integralmente un progetto di difesa, e richiederà una cooperazione estremamente stretta con l’apparato di sicurezza nazionale.
Una catena di comando sensata per la superintelligenza
Il potere e le sfide della superintelligenza rientreranno in una classe di riferimento molto diversa da qualsiasi altra cosa che siamo abituati a vedere da parte delle aziende tecnologiche. Sembra piuttosto chiaro: essa non dovrebbe essere sotto il comando unilaterale di un amministratore delegato qualsiasi. Infatti, nel mondo dei laboratori privati che sviluppano la superintelligenza, è del tutto plausibile che singoli amministratori delegati abbiano il potere di rovesciare letteralmente il governo degli Stati Uniti.3 Immaginate se Elon Musk avesse il comando supremo dell’arsenale nucleare.4 (O se il consiglio di amministrazione di una non profit qualsiasi potesse decidere di assumere il controllo dell’arsenale nucleare.)
È forse ovvio ma, come società, abbiamo deciso che i governi democratici debbano controllare le forze armate;5 la superintelligenza sarà, almeno all’inizio, l’arma militare più potente. La proposta radicale non è Il Progetto; la proposta radicale è scommettere che amministratori delegati di aziende private di IA esercitino il potere militare e diventino dittatori benevoli.
(In effetti, nel mondo dei laboratori privati di IA, la situazione sarebbe probabilmente anche peggiore rispetto a quella di amministratori delegati qualsiasi con il pulsante nucleare: parte della pessima sicurezza dei laboratori di IA è dovuta alla loro totale mancanza di controlli interni. Cioè, dipendenti qualsiasi di un laboratorio di IA (senza alcuna verifica dei precedenti) potrebbero agire per conto proprio senza essere notati.)
Avremo bisogno di una catena di comando sensata (insieme a tutti gli altri processi e misure di salvaguardia che accompagnano necessariamente l’uso responsabile di ciò che sarà paragonabile a un’arma di distruzione di massa) e spetterà al governo istituirla. In un certo senso, si tratta semplicemente di un’argomentazione burkeana: le istituzioni, le costituzioni, le leggi, i tribunali, il sistema di pesi e contrappesi, le norme e l’impegno comune a favore dell’ordine democratico liberale (ad esempio, i generali che si rifiutano di eseguire ordini illegali), e così via, che limitano il potere del governo, hanno superato la prova di centinaia di anni. Al contrario, le speciali strutture di governance dei laboratori di IA sono crollate la prima volta che sono state messe alla prova. Le forze armate statunitensi potrebbero già uccidere praticamente ogni civile negli Stati Uniti, o prendere il potere se lo volessero, e il modo in cui teniamo sotto controllo il potere del governo sulle armi nucleari non è attraverso una miriade di aziende private con i propri arsenali nucleari. Esiste solo una catena di comando e un unico insieme di istituzioni che si sono dimostrati all’altezza di questo compito.
Ancora una volta, forse sei un vero libertario e dissenti sul piano normativo (lasciamo che Elon Musk e Sam Altman comandino i loro arsenali nucleari!)6, ma una volta che diventerà chiaro che la superintelligenza è una questione fondamentale di sicurezza nazionale, sono certo che è così che la vedranno gli uomini e le donne di Washington.
Gli usi civili della superintelligenza
Naturalmente, ciò non significa che le applicazioni civili della superintelligenza saranno riservate al governo.
- La reazione a catena nucleare fu inizialmente sfruttata nell’ambito di un progetto governativo — e le armi nucleari furono permanentemente riservate al governo — ma l’energia nucleare civile prosperò grazie a progetti privati (negli anni ‘60 e ‘70, prima che gli ambientalisti la bloccassero).
- La Boeing realizzò il B-29 (il progetto militare di ricerca e sviluppo più costoso della Seconda guerra mondiale, ancor più del Progetto Manhattan) e i bombardieri a lungo raggio B-47 e B-52 in collaborazione con le forze armate, prima di impiegare quella tecnologia per il Boeing 707, l’aereo commerciale che inaugurò l’era dei jet. E oggi, mentre può vendere i caccia stealth solo al governo, la Boeing può liberamente sviluppare e vendere jet civili ai privati.
- E così è stato per i radar, i satelliti, i razzi, la tecnologia genetica, le fabbriche della Seconda guerra mondiale e così via.
Lo sviluppo iniziale della superintelligenza sarà dominato dall’esigenza di sicurezza nazionale di sopravvivere e di stabilizzare un periodo incredibilmente volatile. Gli usi militari della superintelligenza rimarranno riservati al governo, e saranno applicate norme di sicurezza. Tuttavia, una volta superato il pericolo iniziale e stabilizzatosi il mondo, il percorso naturale prevede che le aziende coinvolte nel consorzio nazionale (e altre) perseguano privatamente applicazioni civili.
Anche in mondi in cui esiste «Il Progetto», un ecosistema fiorente, privato, pluralista e basato sul mercato di applicazioni civili della superintelligenza avrà il suo momento di gloria.
Sicurezza
Ne ho parlato a lungo in un precedente articolo della serie. Di questo passo, tanto vale rinunciare a qualsiasi iniziativa americana sull’IAG; la Cina può rubare prontamente e direttamente tutte le scoperte algoritmiche e i pesi del modello (letteralmente una copia della superintelligenza). Non è nemmeno chiaro se, mantenendo la rotta attuale, riusciremo a ottenere una sicurezza «a prova di Corea del Nord» per la superintelligenza. In un mondo in cui l’IAG viene sviluppata da startup private, la superintelligenza prolifererebbe in decine di Stati canaglia. È una prospettiva semplicemente insostenibile.
Se vogliamo affrontare la questione con serietà, è ovvio che dobbiamo blindare tutta questa roba. La maggior parte delle aziende private non ha preso la cosa sul serio. Ma in ogni caso, se alla fine dovessimo affrontare tutta la forza dello spionaggio cinese (ad esempio, essendo il furto dei pesi la priorità numero uno del MSS), probabilmente sarebbe impossibile per un’azienda privata garantire una sicurezza adeguata. A quel punto sarà necessaria un’ampia cooperazione da parte dei servizi segreti statunitensi per proteggere adeguatamente l’IAG. Ciò comporterà restrizioni invasive per i laboratori di IA e per il team principale dei ricercatori dell’IAG, da controlli rigorosissimi al monitoraggio costante, dal lavoro all’interno di una SCIF a una ridotta libertà di dimettersi; e richiederà infrastrutture che solo il governo può fornire, inclusa, in ultima analisi, la sicurezza fisica degli stessi centri di calcolo dell’IAG.
In un certo senso, la sola sicurezza è sufficiente a rendere necessario il progetto governativo: sia la preminenza del mondo libero che la sicurezza dell’IA sono condannate se non riusciamo a blindare tutto questo. (In effetti, penso sia piuttosto probabile che si riveli un fattore determinante per l’innesco finale: una volta che l’infiltrazione cinese nei laboratori di IAG diventerà evidente, ogni senatore, membro del Congresso e funzionario della sicurezza nazionale avrà… un’opinione molto netta al riguardo.)
Sicurezza
In parole povere: ci sono molti modi in cui possiamo mandare tutto all’aria, dal garantire di poter controllare in modo affidabile i miliardi di agenti superintelligenti che presto saranno a capo della nostra economia e delle nostre forze armate, e di poterci fidare di loro (il problema del superallineamento), fino a controllare i rischi di uso improprio di nuovi mezzi di distruzione di massa.
Alcuni laboratori di IA sostengono di essere impegnati sul fronte della sicurezza: riconoscono che ciò che stanno costruendo, se dovesse sfuggire di mano, potrebbe causare una catastrofe, e promettono che faranno il necessario quando arriverà il momento. Non so se possiamo fidarci della loro promessa al punto da scommetterci la vita di ogni americano. Ancora più importante, finora non hanno dimostrato la competenza, l’affidabilità o la serietà necessarie per ciò che loro stessi ammettono di stare costruendo.
In fondo, si tratta di startup, con tutti i consueti incentivi commerciali. La concorrenza potrebbe spingerle tutte a lanciarsi a capofitto nell’esplosione di intelligenza, e ci saranno almeno alcuni attori disposti a mettere da parte la sicurezza. In particolare, potremmo voler «utilizzare parte del nostro vantaggio» per avere il tempo di risolvere i problemi di sicurezza, ma per farlo i laboratori occidentali dovranno coordinarsi. (E, naturalmente, ai laboratori privati saranno già stati sottratti i pesi dell’IAG, quindi le loro precauzioni di sicurezza non avranno nemmeno più importanza; saremo in balia delle precauzioni di sicurezza del Partito Comunista Cinese e della Corea del Nord.)
Una risposta è la regolamentazione. Questa potrebbe essere appropriata in mondi in cui l’IA si sviluppa più lentamente, ma temo che la regolamentazione semplicemente non sarà all’altezza della natura della sfida rappresentata dall’esplosione di intelligenza. Ciò di cui ci sarà bisogno somiglierà meno al passare qualche anno a fare valutazioni accurate e a far approvare alcuni standard di sicurezza attraverso la burocrazia. Sarà più simile a combattere una guerra.
Affronteremo un anno folle in cui la situazione si evolverà con estrema rapidità ogni settimana, in cui decisioni difficili basate su dati ambigui saranno una questione di vita o di morte, e in cui le soluzioni — e persino i problemi stessi — non saranno affatto chiari in anticipo, ma dipenderanno dalla competenza in una «nebbia di guerra», che comporterà compromessi folli come: «alcune delle nostre misurazioni sull’allineamento sembrano ambigue, non capiamo più davvero cosa stia succedendo, potrebbe andare tutto bene ma ci sono alcuni segnali di avvertimento che indicano che la prossima generazione di superintelligenza potrebbe andare fuori controllo; dovremmo ritardare il prossimo ciclo di addestramento di 3 mesi per avere maggiore certezza sulla sicurezza — ma oh no, gli ultimi rapporti dell’intelligence indicano che la Cina ha rubato i nostri pesi e sta procedendo a tutta velocità verso la propria esplosione di intelligenza, cosa dovremmo fare?».
Non sono sicuro che un progetto governativo sarebbe in grado di gestire la situazione in modo competente, ma l’alternativa di una «superintelligenza sviluppata dalle startup» sembra molto più simile allo «sperare per il meglio» di quanto comunemente si creda. Avremo bisogno di una catena di comando in grado di mettere in campo la serietà che la gestione di questi difficili compromessi richiederà.
Stabilizzare la situazione internazionale
L’esplosione di intelligenza e le sue immediate conseguenze daranno vita a una delle situazioni più instabili e tese che l’umanità abbia mai affrontato. La nostra generazione non è abituata a tutto questo. Ma in questo periodo iniziale, il compito da svolgere non sarà quello di creare prodotti fantastici. Sarà invece quello di superare in qualche modo, disperatamente, questa fase.
Avremo bisogno del progetto governativo per vincere la corsa contro le potenze autoritarie e per garantirci il netto vantaggio e il margine di manovra necessari a superare i pericoli di questa situazione. Tanto varrebbe arrenderci se non riusciamo a impedire il furto immediato dei pesi dei modelli di superintelligenza. Dovremo unire gli sforzi occidentali: riunire i nostri migliori scienziati, utilizzare ogni GPU che riusciamo a trovare e garantire che la costruzione di cluster per un valore di bilioni di dollari avvenga negli Stati Uniti. Dovremo proteggere i centri di calcolo dai sabotaggi nemici o da attacchi veri e propri.
Forse, più di ogni altra cosa, ci vorrà la leadership americana per sviluppare e, se necessario imporre, un regime di non proliferazione. Dovremo impedire a Russia, Corea del Nord, Iran e gruppi terroristici di utilizzare la propria superintelligenza per sviluppare tecnologie e armamenti che consentirebbero loro di tenere in ostaggio il mondo. Dovremo utilizzare la superintelligenza per rafforzare la sicurezza delle nostre infrastrutture critiche, delle forze armate e del governo, difendendoci da nuove ed estreme capacità di hacking. Dovremo utilizzare la superintelligenza per stabilizzare l’equilibrio tra attacco e difesa rispetto ai progressi della biologia o in campi simili. Dovremo sviluppare strumenti per controllare la superintelligenza in modo sicuro e per disattivare le superintelligenze ribelli nate dai progetti imprudenti altrui. I sistemi di intelligenza artificiale e i robot si muoveranno a una velocità da 10 a 100 volte superiore a quella umana; tutto inizierà ad accadere con estrema rapidità. Dovremo essere pronti a gestire qualsiasi altro sconvolgimento da «sei sigma» — e le minacce che ne derivano — causato dalla compressione di un secolo di progresso tecnologico in pochi anni.
Almeno in questo periodo iniziale, ci troveremo di fronte alla più straordinaria emergenza di sicurezza nazionale. Forse nessuno è all’altezza di questo compito. Ma tra le opzioni a nostra disposizione, il Progetto è l’unica sensata.
Il Progetto è inevitabile; che sia un bene, non lo è
In definitiva, la mia tesi principale qui è descrittiva: che ci piaccia o no, la superintelligenza non avrà l’aspetto di una startup di San Francisco e, in qualche modo, rientrerà principalmente nel dominio della sicurezza nazionale. Nell’ultimo anno ho parlato molto del Progetto ai miei amici di San Francisco. Forse ciò che mi ha sorpreso di più è quanto la maggior parte di loro ne sia rimasta sorpresa. Semplicemente, non avevano considerato questa possibilità. Ma una volta che ci riflettono, la maggior parte concorda sul fatto che sembri ovvia. Se abbiamo un minimo di ragione su ciò che pensiamo di stare costruendo, ovviamente, alla fine si tratterà (in qualche forma) di un progetto governativo. Se domani un laboratorio sviluppasse una vera e propria superintelligenza, ovviamente i federali interverrebbero.
Una variabile importante non è se, ma quando. Il governo non si renderà conto di ciò che sta accadendo finché non saremo nel bel mezzo di un’esplosione di intelligenza, o se ne renderà conto un paio d’anni prima? Se il progetto governativo è inevitabile, prima accade, meglio è. Avremo un disperato bisogno di quei due anni per attuare il programma intensivo di sicurezza, per aggiornare e preparare i funzionari chiave, per costruire un laboratorio unificato funzionante e così via. Sarà molto più caotico se il governo interverrà solo all’ultimo momento (quando ormai i segreti e i pesi saranno già stati rubati).
Un’altra importante variabile è la coalizione internazionale che riusciremo a mobilitare: sia un’alleanza più stretta tra le democrazie per lo sviluppo della superintelligenza, sia un’offerta più ampia di condivisione dei benefici rivolta al resto del mondo.
- La prima potrebbe assomigliare all’Accordo del Québec: un patto segreto tra Churchill e Roosevelt per mettere in comune le risorse al fine di sviluppare armi nucleari, impegnandosi a non utilizzarle l’uno contro l’altro o contro terzi senza un reciproco consenso. Vorremo coinvolgere il Regno Unito (Deepmind), gli alleati dell’Asia orientale come il Giappone e la Corea del Sud (per la catena di approvvigionamento dei chip) e la NATO/altri alleati democratici fondamentali (per una base industriale più ampia). Uno sforzo congiunto disporrà di maggiori risorse e talenti, controllerà l’intera catena di approvvigionamento, consentirà uno stretto coordinamento in materia di sicurezza, sicurezza nazionale e sfide militari, e fornirà utili pesi e contrappesi sull’esercizio del potere della superintelligenza.
- Quest’ultima potrebbe assomigliare ad Atoms for Peace, all’AIEA e al TNP. Dovremmo offrirci di condividere i benefici pacifici della superintelligenza con un gruppo più ampio di Paesi (incluse le non-democrazie) e impegnarci a non usare la superintelligenza in modo offensivo contro di loro. In cambio, questi si astengono dal perseguire i propri progetti di superintelligenza, prendono impegni di sicurezza sull’impiego dei sistemi di IA e accettano restrizioni sulle applicazioni a duplice uso. La speranza è che questa offerta riduca gli incentivi alle corse agli armamenti e alla proliferazione, riunendo un’ampia coalizione sotto l’egida degli Stati Uniti per l’ordine mondiale post-superintelligenza.
Forse la variabile più importante è semplicemente se l’inevitabile progetto governativo sarà competente. Come sarà organizzato? Come possiamo realizzarlo? Come funzioneranno i pesi e contrappesi, e che aspetto avrà una catena di comando sensata? Non è stata dedicata quasi nessuna attenzione a chiarire questi aspetti.7 Quasi tutte le altre manovre politiche dei laboratori di IA e sulla governance dell’IA sono solo un diversivo. È questa la vera partita.
La fase finale
E così, entro il 27/28, la fase finale avrà inizio. Entro il 28/29 l’esplosione di intelligenza sarà in corso; entro il 2030, avremo evocato la superintelligenza, in tutta la sua forza e potenza.
Chiunque venga incaricato di dirigere il Progetto avrà un compito infernale: costruire un’IAG, e costruirla in fretta; mettere l’economia americana in assetto di guerra per produrre centinaia di milioni di GPU; blindare il tutto, scovare le spie e respingere gli attacchi su vasta scala del PCC; gestire in qualche modo cento milioni di IAG impegnate ad automatizzare freneticamente la ricerca sull’IA, a compiere balzi di un decennio in un anno e a produrre in breve tempo sistemi di IA di gran lunga più intelligenti degli esseri umani più brillanti; riuscire in qualche modo a mantenere il controllo della situazione a sufficienza affinché non deragli e non generi una superintelligenza ribelle che tenti di sottrarre il comando ai propri supervisori umani; utilizzare quelle superintelligenze per sviluppare qualsiasi nuova tecnologia necessaria a stabilizzare la situazione e a restare in vantaggio sugli avversari, riorganizzando rapidamente le forze armate statunitensi per integrarle; il tutto destreggiandosi in quella che sarà probabilmente la situazione internazionale più tesa di sempre. Faranno meglio ad essere all’altezza, questo è certo.
Per quelli di noi che riceveranno la chiamata a partecipare a questa avventura, sarà… stressante. Ma sarà nostro dovere servire il mondo libero e l’intera umanità. Se ce la faremo e potremo guardare indietro a quegli anni, sarà la cosa più importante che avremo mai fatto. E anche se la struttura sicura che troveranno probabilmente non avrà i comfort dell’odierno stile di vita da ricercatori di IA, ridicolmente strapagati, non sarà poi così male. San Francisco sembra già una strana cittadina universitaria per ricercatori di IA; probabilmente non sarà poi così diverso. Sarà la stessa cerchia stranamente ristretta che di giorno si scervella sulle curve di scalabilità e nel fine settimana si ritrova a chiacchierare dell’IAG e delle politiche di laboratorio del momento.
Solo che, beh… la posta in gioco sarà fin troppo reale.
Ci vediamo nel deserto, amici.
