Riformulazione dei modelli di minaccia dell’IAG
Salve a tutti. Questo intervento si basa su una serie di ricerche che ho condotto presso OpenAI, ed è concepito anche nello spirito di una provocazione. Ieri riflettevo: molte persone sono in disaccordo su un sacco di cose, ma qual è un aspetto su cui tutti i relatori hanno concordato? Non concordano esattamente sul fatto che esistano tre o quattro tipi di rischio legato all’IA, ma tutti convengono che ne esistano almeno due: l’uso improprio e il disallineamento. Quindi, l’uso improprio — gli esseri umani che utilizzano le IA per compiere azioni dannose — e il disallineamento — le IA che decidono autonomamente di compiere azioni dannose. La domanda alla base di questo intervento è: e se dovessimo semplicemente sbarazzarci di questa distinzione e non utilizzarla più?
Svilupperò quindi questa argomentazione in due passaggi. In primo luogo, a livello tecnico non si tratta in realtà di una distinzione utile. In secondo luogo, non è una distinzione molto utile a livello di governance.
La versione da dieci secondi dell’argomentazione è più o meno questa: al momento le IA sono strumenti e gli esseri umani le utilizzano. Ma man mano che le IA diventano agenti, fare un uso improprio di un’IA consisterà fondamentalmente nel dirle di andare a fare qualcosa in modo autonomo. E il processo in cui un’IA fa qualcosa in modo disallineato, rispetto a un essere umano che fa un uso improprio di un’IA, apparirà identico sotto molti aspetti, tranne che per la primissima parte. E forse proprio questa primissima parte non è l’aspetto principale su cui dovremmo concentrarci quando cerchiamo di suddividere i modelli di minaccia.
Ok, questa è praticamente la versione da dieci secondi dell’argomentazione. Ecco la versione da quattro minuti.
Potreste dire: «Guarda, certo, sono d’accordo che nella pratica l’uso improprio e il disallineamento possano portare a molte delle stesse minacce, ma abbiamo davvero bisogno di questa distinzione a livello tecnico. Dobbiamo assolutamente assicurarci che il nostro lavoro si concentri sulla prevenzione del disallineamento». In realtà, però, credo che se ci si impegna davvero a fondo per prevenire l’uso improprio a livello tecnico, si finirà per svolgere gran parte dello stesso lavoro che si farebbe per prevenire anche il disallineamento. È quindi possibile notare una sorta di analogia tra molti degli elementi presenti in entrambi gli ambiti.
Ad esempio, dal punto di vista del disallineamento, si desidera monitorare il comportamento dell’IA. Dal punto di vista dell’uso improprio, tuttavia, si desidera monitorare anche il comportamento degli utenti e le loro interazioni con l’IA. Non si tratta di cose poi così diverse. Gran parte dell’infrastruttura che è necessario predisporre, come ad esempio l’apparato di monitoraggio, andrà di fatto a sovrapporsi.
Dal punto di vista del disallineamento, si vuole rilevare se le IA siano allineate in modo ingannevole. Potrebbero esserci momenti in cui cambiano idea e iniziano a perseguire una strategia totalmente diversa. Si tratta di un problema tecnico piuttosto simile al tentativo di rilevare se un’IA sia stata compromessa da una backdoor. In entrambi i casi, ci sarà una determinata serie di input che le porterà a cambiare radicalmente il proprio comportamento e a compiere azioni totalmente fuori distribuzione.
Dal punto di vista del disallineamento, ci si potrebbe preoccupare della steganografia, giusto? Le IA che si scambiano messaggi tra loro. Ma questo, in un certo senso, è la questione tecnica: «Può un’IA fornire a un’altra IA un input che la porti a compiere azioni dannose?» E questo è, in un certo senso, lo stesso problema del jailbreaking, tranne che nel caso del jailbreaking di solito è un essere umano a fornire l’input.
Non le esaminerò tutte per ragioni di tempo, ma penso che ci siano analogie piuttosto forti in gran parte del lavoro tecnico che si potrebbe voler svolgere in entrambi i casi.
Dal punto di vista della governance, mi soffermerò su quest’ultimo aspetto. L’IA ribelle è analoga alla concentrazione di potere. Cosa intendo dire con questo? A livello di governance, il problema è che sia l’uso improprio che il disallineamento sono radicalmente diversi a seconda di quali attori compiano l’uso improprio.
Prendiamo ad esempio le armi biologiche. Molti parlano delle armi biologiche come di un problema di uso improprio, giusto? Rilasciamo IA open source, i terroristi costruiscono armi biologiche, il che è davvero grave. Il problema è che, in realtà, la maggior parte delle peggiori armi biologiche viene probabilmente costruita, o in alcuni casi è stata costruita, da attori militari, come gli attori a livello statale, giusto? E quando si inizia a pensare al problema delle armi biologiche costruite da attori statali, molte conclusioni potrebbero ribaltarsi completamente. Ad esempio, si potrebbe volere un maggior ricorso all’open source, perché l’open source è utile per la difesa, mentre gli attori statali che costruiscono armi biologiche disporranno delle IA indipendentemente dal fatto che siano open source o meno, e le useranno comunque a scopo offensivo, giusto? Quindi, in realtà, anche qualcosa che sembra semplice come le armi biologiche rappresenta un modello di minaccia molto diverso a seconda degli attori coinvolti.
Allo stesso modo, i modelli di minaccia legati al disallineamento sono molto diversi a seconda che l’IA si trovi semplicemente su un server da qualche parte alle Bahamas e sia disallineata, oppure che sia sui server di un’azienda specializzata in IA e sia distribuita a un milione di persone, oppure che sia ampiamente distribuita all’interno delle principali forze armate. Questi sono tutti modelli di minaccia del disallineamento molto diversi tra loro.
Ecco la mia proposta. Definiamo una coalizione disallineata come un gruppo di esseri umani e IA che tentano di accaparrarsi il potere con mezzi illegittimi. Esistono diversi tipi di coalizioni disallineate: gruppi terroristici, aziende che violano la legge e così via. E nella maggior parte dei casi, sia per quanto riguarda gli aspetti tecnici che quelli di governance, non abbiamo bisogno di sapere chi detiene il comando all’interno di quella coalizione. Potrebbero essere le IA a comandare, potrebbero essere gli esseri umani a comandare, oppure nessuno potrebbe sapere chi comanda. Ma in ogni caso possiamo cercare di affrontare il problema allo stesso modo.
Non ho una classificazione chiara dei diversi tipi di coalizioni disallineate, ma vorrei sottolineare che vanno dagli attori su piccola scala a quelli su larga scala. Se siete più preoccupati per gli attori su piccola scala, siete in realtà preoccupati per i rischi derivanti dalla decentralizzazione dell’IA, mentre se siete preoccupati per gli attori su larga scala, siete preoccupati per i rischi derivanti dalla centralizzazione. Mi viene in mente uno scenario in cui i Democratici sono più preoccupati per il primo caso, mentre i Repubblicani lo sono per il secondo. Non voglio che la sicurezza dell’IA si frammenti eccessivamente in due coalizioni contrapposte sulla base di questo; vorrei invece che prendessimo atto di questi due tipi di divisioni, per poi cercare di individuare un quadro che le unifichi e le affronti entrambe.