Consigli di carriera per la sicurezza dell’IAG

di Richard Ngo

Allineamento dell'IAGovernance dell'IAIntelligenza artificiale trasformativaInterpretabilità dell'IAScelta della carrieraSicurezza dell'IA

Mi chiedono spesso consigli di carriera legati alla sicurezza dell’IAG. Questo post riassume quelli che do più di frequente. L’ho suddiviso in tre sezioni: mentalità generale, ricerca sull’allineamento e lavoro di governance. Per ciascuna delle ultime due, inizio con consigli di carattere generale rivolti principalmente agli studenti e a chi è all’inizio della propria carriera, per poi approfondire i dettagli del settore.

Mentalità generale

Per avere un grande impatto sul mondo è necessario trovare una leva potente. Questo documento presuppone che, come me, tu pensi che la sicurezza dell’IAG sia la leva più potente in tal senso. Esistono tuttavia molti modi per azionare tale leva: dalla ricerca e dall’ingegneria alle operazioni e allo sviluppo del settore, fino alla politica e alla comunicazione. Ti incoraggio a scegliere tra queste opzioni basandoti principalmente sulla tua idoneità personale: una combinazione di ciò in cui sei davvero bravo e di ciò che ti piace davvero fare. A mio avviso, per la maggior parte delle coppie di lavori legati alla sicurezza dell’IAG, la differenza tra un’idoneità ottima e una mediocre supera di gran lunga la differenza di impatto tra i due lavori.

Come capire qual è la tua idoneità personale? Per cominciare, dovresti concentrarti sulla ricerca di un lavoro che offra rapidi cicli di retroazione. In genere, questo comporta fare esperienza pratica o dedicarsi a un progetto concreto (anziché limitarsi a leggere e studiare) e osservare quanto rapidamente si riesce a fare progressi. Col tempo, dopo aver acquisito una certa esperienza, potresti avvertire un senso di confusione o frustrazione: perché gli altri non colgono il punto, o riescono così male in questo? (Va notato, però, che alcuni ricercatori di spicco hanno commentato una bozza dicendo di non aver vissuto questa esperienza). Per alcuni ciò significa indagare un argomento specifico (nel mio caso, la domanda: «qual è la migliore argomentazione secondo cui l’IAG sarà disallineata?»); per altri si tratta di applicare abilità come la coscienziosità (ad es. «perché gli altri non riescono semplicemente a seguire tutti i passaggi ovvi?»). Raramente essere eccellenti dà la sensazione di esserlo, perché sono le tue stesse capacità a definire la linea di base di ciò che ti sembra normale.

E se avessi questa esperienza con qualcosa che non ti piace fare? Credo che sia un’eventualità piuttosto rara, perché essere bravi in qualcosa è spesso molto piacevole. In quei casi, tuttavia, suggerirei di provarci finché non noti che nemmeno una serie di successi riesce a entusiasmarti per ciò che fai; a quel punto, probabilmente conviene cercare di cambiare strada (anche se molto dipende dai dettagli specifici).

Infine: la sicurezza dell’IAG è un settore giovane e di piccole dimensioni; c’è molto da fare e ci sono ancora pochissime persone per farlo. Ti incoraggio a prendere l’iniziativa per far accadere le cose: il più delle volte, la risposta a «perché questa cosa apparentemente positiva non accade?» o «perché non siamo 10 volte più bravi in questa determinata cosa?» è «perché nessuno se n’è ancora occupato». Inoltre, i requisiti più importanti per riuscire a risolvere un problema sono in genere la capacità di notarlo e la volontà di provarci. Un aneddoto per illustrare meglio il punto: una mia amica ha avuto quattro incarichi in quattro importanti organizzazioni di ricerca sull’allineamento; nessuno di questi ruoli esisteva prima che lei contattasse i gruppi interessati per suggerire l’assunzione di una persona con le sue competenze. E questo è solo ciò che è possibile fare all’interno delle organizzazioni esistenti: avviando un progetto personale, le opportunità di realizzare cose del tutto nuove sono molte di più. (L’eccezione principale riguarda la divulgazione e l’advocacy politica. L’allineamento è un settore insolito, perché la base di appassionati e sostenitori è molto più ampia del numero di ricercatori; pertanto, dovremmo fare attenzione a evitare che il dibattito sull’allineamento venga dominato da sostenitori con scarsa familiarità con i dettagli tecnici e dai toni eccessivamente sicuri di sé).

Ricerca sull’allineamento

Inizierò con alcune raccomandazioni di alto livello, per poi fornire una breve panoramica di come vedo questo settore.

L’allineamento è limitato dalla disponibilità di mentori. Se hai poca esperienza di ricerca, la tua priorità principale dovrebbe essere trovare il miglior mentore possibile per aiutarti ad acquisire competenze di ricerca, ad esempio facendo ricerca nel laboratorio di un professore o tramite stage presso laboratori di IA. La maggior parte dei migliori ricercatori e mentori non lavora (ancora) sull’allineamento, quindi la tua migliore opzione potrebbe trovarsi al di fuori di questo ambito; tuttavia, i dottorati durano a sufficienza, e le tempistiche sono sufficientemente strette, da rendere necessario assicurarti che il tuo mentore sia entusiasta di supervisionare una qualche forma di ricerca rilevante per l’allineamento. A volte c’è chi riesce a fare un ottimo lavoro anche senza alcun mentore; se l’idea ti entusiasma, prova pure, ma concentrati sui tipi di ricerca che offrono cicli di retroazione rapidi.
Dovrai fare esperienza pratica. La migliore ricerca nel campo dell’apprendimento automatico e dell’allineamento si confronta a fondo con le reti neurali (con poche eccezioni). Anche se hai una mentalità più teorica, dovresti prevedere di interagire regolarmente con i modelli e di acquisire le relative competenze di programmazione. In particolare, vedo molti ricercatori junior che vogliono dedicarsi alla “ricerca concettuale”. Ma dovresti partire dal presupposto che tale ricerca sia inutile finché non si concretizza nella scrittura di codice o nella dimostrazione di teoremi, e che sarai tu stesso a doverla concretizzare (la modellazione delle minacce è la principale eccezione, anche se, a mio avviso, gran parte della modellazione delle minacce non è abbastanza concreta da risultare utile). Forse, una volta diventato un ricercatore senior con intuizioni acquisite dall’esperienza pratica, sarai in grado di fare un passo indietro e pensare principalmente a potenziali soluzioni ad alto livello, ma questo non può essere il tuo piano da ricercatore junior: finirebbe prevedibilmente per allontanarti dal fare un lavoro utile.
Puoi iniziare rapidamente. Chi proviene da campi come la fisica e la matematica spesso non si rende conto di quanto l’apprendimento profondo sia, come campo, molto meno profondo, e quindi pensa di dover prima dedicare molto tempo a comprenderne i fondamenti teorici. Non è così: puoi iniziare a fare ricerca sull’apprendimento profondo con nient’altro che la matematica del primo anno di università, acquisendo strada facendo le nozioni che ti mancano. (Tuttavia, le competenze di programmazione sono un prerequisito molto più importante). Puoi inoltre acquisire molte delle basi concettuali dell’allineamento strada facendo, specialmente in ruoli più incentrati sull’ingegneria. Sebbene io raccomandi a tutti i ricercatori sull’allineamento di familiarizzare, prima o poi, con le idee trattate nel programma di studi Alignment Fundamentals, migliorare le proprie competenze nella ricerca empirica dovrebbe essere una priorità maggiore per la maggior parte delle persone che hanno già deciso di intraprendere una carriera nella ricerca sull’allineamento e che non sono già ricercatori di apprendimento automatico.

Alcuni modi consigliati per migliorare le proprie competenze nella ricerca empirica (approssimativamente in ordine):
1. MLAB
2. ARENA
3. Il programma di studi di Jacob Hilton sull’apprendimento profondo
4. La guida di Neel Nanda per iniziare con l’interpretabilità meccanicistica
5. Replicare gli articoli
Ciascuna di queste risorse ti insegna competenze importanti per una buona ricerca: come implementare algoritmi, come eseguire il debug del codice e degli esperimenti, come interpretare i risultati, ecc. Una volta implementato un algoritmo o replicato un articolo, puoi provare a estendere i risultati migliorandone in qualche modo le tecniche.
La maggior parte della ricerca non avrà successo. Questo vale sia a livello di singoli progetti, sia a livello di interi filoni di ricerca: la ricerca è un ambito caratterizzato da una distribuzione a coda molto pesante. Dovresti cercare con attenzione le intuizioni di fondo che spiegano perché una determinata direzione di ricerca avrà successo: la loro assenza può essere nascosta dietro formalismi matematici o algoritmi complicati. (Puoi considerarla una sorta di ricerca concettuale, intesa a guidare il tuo lavoro empirico o teorico, piuttosto che come un risultato di ricerca a sé stante). Nella sezione successiva espongo alcune delle mie opinioni su quali direzioni di ricerca siano promettenti e quali no.

Direzioni di ricerca sull’allineamento

Dal mio punto di vista, la ricerca sull’allineamento più promettente rientra in tre categorie principali. Le illustro di seguito, insieme a tre categorie secondarie che ritengo preziose. Va notato che mi aspetto che i confini tra tutte queste categorie diventino sempre più sfumati col passare del tempo, man mano che la ricerca al riguardo progredisce e che automatizziamo sempre più attività.

1. Supervisione scalabile

Trovare modi per sfruttare modelli più potenti per produrre segnali di ricompensa migliori. La ricerca sulla supervisione scalabile potrebbe avere un effetto leva particolarmente elevato se finisse per essere adottata su larga scala, ad esempio come strumento per prevenire le allucinazioni (proprio come il lavoro dei team di allineamento sull’apprendimento per rinforzo con feedback umano è stato ormai ampiamente adottato).

L’articolo teorico a cui rimando più spesso è quello sul dibattito di Irving et al..
L’articolo empirico a cui rimando più spesso è quello sulle critiche di Saunders et al., che può essere considerato il caso più semplice dell’algoritmo di dibattito; anche Bowman et al. (2022) è utile dal punto di vista metodologico.
Gli altri due algoritmi ben noti in questo ambito sono l’amplificazione iterata e la modellazione ricorsiva delle ricompense. La mia opinione è che spesso si sopravvalutino le differenze tra questi algoritmi e che le loro presentazioni standard offuschino le somiglianze strutturali che li accomunano. Personalmente trovo che il dibattito sia l’approccio su cui è più facile ragionare (e sembra che anche altri siano d’accordo, dato che vi si basano più articoli rispetto agli altri), motivo per cui raccomando più spesso di lavorarci.
La supervisione scalabile porterà semplicemente a ulteriori progressi nelle capacità? Si tratta di una domanda importante; un modo di ragionarci è in termini del divario generatore-discriminatore-critica descritto nell’articolo sulle critiche di Saunders et al.. Nello specifico, sebbene mi aspetti che colmare il divario generatore-discriminatore sia un progresso a duplice finalità (che potrebbe rivelarsi positivo o negativo a seconda dei propri punti di vista), colmare il divario discriminatore-critica producendo spiegazioni corrette e comprensibili per l’uomo dovrebbe senza dubbio essere considerato un progresso nell’allineamento.

2. Interpretabilità meccanicistica

Trovare modi per comprendere come funzionano internamente le reti. Sebbene sia ancora solo un piccolo sottosettore dell’apprendimento automatico, lo considero un modo per spostare l’intero campo dell’apprendimento automatico da una prospettiva “comportamentista”, che si concentra unicamente su input e output, verso un’impostazione “cognitivista” che studia ciò che avviene all’interno delle reti neurali. Inoltre, è un’attività molto più facile da svolgere al di fuori dei laboratori industriali rispetto al lavoro sulla supervisione scalabile. Per iniziare, dai un’occhiata all’elenco 200 problemi concreti aperti nell’interpretabilità meccanicistica di Nanda.

Tre filoni di ricerca sull’interpretabilità meccanicistica:

Casi di studio: individuare all’interno delle reti gli algoritmi che implementano capacità specifiche. I miei articoli preferiti in questo ambito sono Olsson et al. (2022), Nanda et al. (2023), Wang et al. (2022) e Li et al. (2022); non vedo l’ora di leggere ulteriori lavori che si basino in particolare su quest’ultimo per individuare modelli del mondo e obiettivi rappresentati internamente nelle reti.
Risoluzione della sovrapposizione: trovare modi per addestrare le reti affinché presentino meno concetti sovrapposti all’interno dei singoli neuroni. La risorsa chiave in questo ambito è Elhage (2022) (così come altri lavori nel filone dei circuiti dei trasformatori).
Interpretabilità scalabile: trovare algoritmi per identificare o modificare automaticamente le rappresentazioni interne. I miei articoli preferiti sono Meng et al. (2022) e Burns et al. (2023) (sebbene alcuni ritengano che quest’ultimo sia più vicino alla supervisione scalabile).

3. Teoria dell’allineamento

Individuare quadri formali che possiamo utilizzare per ragionare sull’IA avanzata. Vorrei sottolineare che il successo in questo tipo di ricerca presenta una distribuzione a coda ancora più pesante rispetto alle altre direzioni di ricerca che ho descritto: sembra richiedere eccezionali competenze matematiche, una profonda comprensione della teoria dell’apprendimento automatico e intuizioni filosofiche ricche di sfumature. Non sono ottimista sul fatto che le direzioni di ricerca qui elencate possano funzionare, ma cercano di affrontare problemi talmente fondamentali che anche dei successi parziali potrebbero rivelarsi di grande importanza.

Sono particolarmente entusiasta del lavoro di Christiano sulla formalizzazione delle argomentazioni euristiche, del programma di Kosoy basato sulla teoria dell’apprendimento (in particolare l’infra-bayesianesimo), e dei vari lavori di Scott Garrabrant (ad esempio, la razionalità geometrica, gli insiemi fattorizzati finiti e i quadri cartesiani).
Storicamente, la maggior parte del lavoro in questa categoria è stata svolta dal MIRI (ad esempio, il lavoro sulla teoria della decisione funzionale e sull’induzione di Garrabrant). Ultimamente, però, la loro produzione è diminuita in modo significativo; pertanto tendo a considerarli principalmente come una manciata di ricercatori che portano avanti i propri interessi individuali, piuttosto che come un’organizzazione con un programma di ricerca unificato.
Perché ritengo che valga la pena approfondire la teoria dell’allineamento? In gran parte perché la conoscenza scientifica è tipicamente molto interconnessa. La teoria dell’allineamento sembra spesso scollegata dall’apprendimento automatico moderno, ma i moti delle stelle un tempo sembravano totalmente scollegati dagli eventi sulla Terra. E chi avrebbe mai immaginato che comprendere le variazioni nei becchi dei fringuelli avrebbe fatto progredire la nostra comprensione di… beh, praticamente tutto in biologia? In molti ambiti esistono principi chiave che spiegano una vasta gamma di fenomeni, e la difficoltà principale sta nel trovare un approccio trattabile. Ecco perché porre le domande giuste è spesso più importante che ottenere effettivamente dei risultati concreti. Ad esempio, chiedersi «qual è la strategia ottimale in questa specifica formalizzazione di un gioco a due giocatori?» ha costituito gran parte del lavoro per l’invenzione della teoria dei giochi.

Altre tre aree di ricerca che sembrano importanti, ma meno centrali

1. Valutazioni

Trovare modi per misurare quanto siano pericolosi e/o disallineati i modelli.

Finora è stato pubblicato poco al riguardo; il punto di riferimento principale sono le valutazioni ARC (discusse anche nella sezione 2.9 della scheda di sistema di GPT-4). In generale sembra che le valutazioni sull’allineamento siano molto difficili, quindi la maggior parte delle persone si sta invece concentrando sulle valutazioni per misurare le capacità pericolose.
La mia opinione è che il successo o il fallimento delle valutazioni dipenderà da quanto siano semplici e scalabili. Le valutazioni migliori sarebbero facilmente implementabili anche da persone senza alcun background nell’allineamento, e traccerebbero in modo significativo i miglioramenti dai sistemi attuali fino alle superintelligenze. In breve, ciò è dovuto al fatto che lo scopo principale delle valutazioni è facilitare il processo decisionale e il coordinamento, ed entrambi traggono enorme beneficio da metriche leggibili e prevedibili.

2. Addestramento antagonistico senza restrizioni

Trovare modi per generare input che inducano i sistemi disallineati a comportarsi in modo anomalo.

Sembra vi siano forti ragioni di principio per aspettarsi che ciò sia difficile: in generale, è possibile generare dati falsi in grado di ingannare un modello solo utilizzandone uno molto più potente. Tuttavia, potrebbe essere possibile trovare esempi antagonistici senza restrizioni sfruttando l’interpretabilità meccanicistica, come illustrato in questo post di Christiano.
L’articolo empirico a cui rimando più spesso è Ziegler et al. (2022) (vedi anche gli altri articoli citati al suo interno).

3. Modellazione delle minacce

Comprendere e prevedere in che modo l’IAG potrebbe portare a esiti catastrofici.

Rimando molto spesso al mio recente articolo (Ngo et al., 2022). Fra gli altri validi lavori vi sono i rapporti di Joe Carlsmith e Ajeya Cotra. (Cohen et al. (2022) presentano un’argomentazione sottoposta a revisione tra pari sul rischio esistenziale derivante dall’IAG, ma la trovo troppo incentrata sull’allineamento esterno per convincermi del tutto.)
Una direzione di ricerca sulla modellazione delle minacce che sembra valida è comprendere il gradient hacking (e, più in generale, comprendere la cooperazione tra modelli diversi). Un’altra consiste nell’esplorare i modi specifici in cui è più probabile che le IAG vengano impiegate nel mondo reale e quali tipi di vulnerabilità potrebbero essere in grado di sfruttare.

Direzioni di ricerca sopravvalutate

Di contro, ecco alcune direzioni di ricerca che ritengo sopravvalutate da molti neofiti del settore, insieme ad alcune critiche al riguardo:

Apprendimento per rinforzo inverso cooperativo (la direzione che Stuart Russell difende nel suo libro Human Compatible); critiche qui e qui.
Il lavoro di John Wentworth sulle astrazioni naturali; esposizione e critica qui e un’altra qui.
Lavori che si basano su agenti che agiscono in modo miope, compresi quelli che si limitano a prevedere solo il passo temporale successivo (ad esempio, il lavoro sull’astrazione dei simulatori o sul condizionamento dei modelli predittivi); critica qui.

Lavoro sulla governance

Mentalmente suddivido questo ambito in tre categorie: ricerca sulla governance, governance dei laboratori e lavori legati alle politiche pubbliche. Ecco alcuni punti chiave di carattere generale per ciascuna:

1. Ricerca sulla governance

Il consiglio principale che do a chi vuole entrare in questo settore: scegli un argomento rilevante e cerca di diventarne esperto. Ci sono circa due dozzine di argomenti per i quali vorrei esistesse un esperto mondiale nella loro applicazione allo sviluppo positivo dell’IAG, eppure non esiste nessuna figura simile; di seguito ho stilato un elenco di tali argomenti. Per approfondirli, consiglio vivamente non solo di leggere e assimilare le idee, ma anche di scrivere al riguardo. È molto plausibile che, pur partendo senza alcuna preparazione nel settore, nel giro di sei mesi tu sia in grado di scrivere un post o un articolo che faccia avanzare la frontiera delle nostre conoscenze sulla rilevanza di uno di questi argomenti per la governance dell’IAG.
Non devi necessariamente mantenere la tua scelta a lungo termine; la mia tesi è principalmente che è importante avere un argomento concreto da approfondire. Così facendo, esplorerai gradualmente altri argomenti tangenzialmente pertinenti e acquisirai una conoscenza più ampia del settore (il corso sui fondamenti della governance è un buon modo per farlo). Alla fine sarai in grado di svolgere una “ricerca strategica” con implicazioni molto più ampie. Ma cercare di farlo fin dall’inizio è un pessimo piano: andrà molto meglio se partirai da una base di competenze dettagliate su cui lavorare.
In generale, penso che le persone sopravvalutino l‘“analisi” e sottovalutino le “proposte”. Esistono molti fattori di alto livello che influenzeranno la governance dell’IAG e potremmo passare il resto della nostra vita a cercare di analizzarli. Ma in definitiva ciò di cui abbiamo bisogno sono meccanismi concreti che facciano davvero la differenza, i quali al momento scarseggiano. Naturalmente è necessario fare analisi per comprendere i fattori che influenzeranno il successo delle proposte, ma dovresti sempre tenere a mente l’obiettivo di cercare di concretizzarla in qualcosa di utile.
A questo proposito, personalmente non ritengo che la modellazione quantitativa sia molto utile. Non ho ancora visto un modello del genere su una questione di ampio respiro (ad esempio, le proiezioni sulla potenza di calcolo, la velocità di decollo, le tempistiche) le cui conclusioni modifichino in modo sostanziale le mie opinioni su quali siano le migliori proposte di governance. Se un modello del genere dovesse avere un forte successo, potrebbe spostare il mio grado di convinzione su una data proposizione, diciamo, dal 25% al 75%. Ma si tratta solo di una differenza di un fattore 3, mentre un piano per risolvere il problema della governance potrebbe essere di uno o due ordini di grandezza più efficace di un altro. E in generale i modelli raramente mi convincono così tanto, perché anche pochi parametri liberi permettono un enorme sovradattamento alle proprie intuizioni; di solito preferirei avere un breve riassunto delle intuizioni fondamentali che chi ha realizzato la modellazione ha appreso durante quel processo. Quindi dai priorità ai piani, poi alle intuizioni e infine ai modelli.
Non lasciarti limitare troppo dalla fattibilità politica, specialmente quando formuli le prime versioni di un piano. Quasi nessuno al mondo possiede al tempo stesso buone intuizioni su come funzioni realmente la politica e su quanto saranno folli i progressi verso l’IAG. In futuro si apriranno possibilità di ogni genere: dobbiamo solo essere pronti con proposte concrete quando ciò accadrà. Tuttavia, una profonda comprensione dei fattori fondamentali che guidano le decisioni politiche odierne sarà utile per orientarsi quando le cose inizieranno a cambiare molto più rapidamente.

2. Governance dei laboratori di IA

I principali laboratori sono spesso disposti a mettere in pratica proposte che non comportino pesanti compromessi rispetto al loro lavoro sulle capacità fondamentali; il collo di bottiglia è solitamente rappresentato dall’intraprendenza e dal lavoro necessari per attuare effettivamente la proposta. Pertanto, gli interventi del tipo «dire ai laboratori di prestare maggiore attenzione alla sicurezza» in genere non funzionano molto bene, mentre quelli del tipo «ecco una richiesta concreta, ecco i passaggi specifici da compiere, ecco una persona che ha accettato di guidare l’iniziativa» tendono ad avere successo. Questo post trasmette l’idea in modo particolarmente efficace.
Per chi si trova all’esterno dei laboratori è difficile conoscere i dettagli di ciò che accade al loro interno in misura sufficiente per poter formulare proposte concrete, ma ritengo vi siano alcuni casi importanti in cui ciò è possibile. Probabilmente si tratta di un percorso molto simile a quello delineato nella sezione sulla ricerca in materia di governance: prima si acquisiscono competenze su un argomento specifico, per poi generare proposte concrete.
Esiste una specifica abilità nel far accadere le cose all’interno delle grandi organizzazioni che manca alla maggior parte degli EA (per la mancanza di esperienza aziendale e per una scarsa propensione ai rapporti interpersonali), ma che si rivela particolarmente utile quando si promuovono proposte di governance per i laboratori. Se la possiedi, il lavoro sulla governance dei laboratori potrebbe fare al caso tuo.

3. Lavori legati alle politiche pubbliche

Con questo intendo andare a lavorare in posizioni legate all’ambito governativo, con l’obiettivo di arrivare a un ruolo dal quale poter contribuire al buon funzionamento della regolamentazione governativa. Non ho molto da dire al riguardo, poiché non è la mia area di competenza. Probabilmente conviene seguire consigli piuttosto generali (ad esempio, quelli riportati qui) su come costruirsi una carriera di successo in questo settore, per poi capire come avanzare più rapidamente partendo dal presupposto che la preoccupazione delle persone per l’IA aumenterà sempre più. I master brevi e le borse di studio in materia di politiche pubbliche sono metodi rapidi per accelerare il percorso verso ruoli di livello intermedio in questo settore; è inoltre utile acquisire anche solo un livello minimo di competenza comprovabile sull’IA (ad esempio, un qualsiasi titolo di studio o lavoro legato all’informatica o all’IA).

Elenco di argomenti relativi alla governance

Ecco alcuni argomenti per i quali vorrei che avessimo un esperto mondiale nella loro applicazione alla sicurezza dell’IAG. Un esempio di come potrebbe essere un ottimo lavoro su uno di questi argomenti: l’articolo di Baker sulle lezioni tratte dal controllo degli armamenti nucleari (un argomento che sarebbe stato in questo elenco se lui non avesse scritto quell’articolo).

Un gruppo di argomenti può essere descritto approssimativamente come «tutto ciò che è menzionato nell’articolo di Yonadav Shavit sulla governance della computazione», in particolare:

Registrazione con evidenza di manomissione nelle GPU
Tracciamento globale delle GPU
Algoritmi di prova dell’apprendimento
Ispezioni in loco dei modelli
Individuazione dei centri di calcolo
Sviluppo di una suite per l’inferenza verificabile
Misurazione dell’uso effettivo della potenza di calcolo (ad es. misurando e tenendo conto del progresso algoritmico)
Regolamentazione dell’addestramento decentralizzato su larga scala (se dovesse diventare competitivo rispetto a quello centralizzato)

Un altro gruppo: argomenti relativi alla sicurezza, quali:

Prevenzione dell’esfiltrazione dei pesi delle reti neurali (da parte di terzi o dell’IA stessa)
Valutazione della possibilità di replica autonoma su Internet
Escalation dei privilegi dall’interno di sistemi sicuri (ad es. se il tuo assistente di programmazione fosse disallineato, cosa potrebbe ottenere?)
Monitoraggio dei centri di calcolo (ad es. se sui tuoi server fossero in esecuzione copie non autorizzate di un modello, come te ne accorgeresti?)
Rilevamento di canali di comunicazione non autorizzati tra diverse copie di un modello.
Rilevamento di manomissioni (ad es. se la tua sessione di addestramento fosse stata modificata, come te ne accorgeresti?)
Quanto sono vulnerabili i sistemi di comando e controllo nucleari?
Monitoraggio scalabile del comportamento (ad es. come possiamo aggregare le informazioni provenienti dai log di monitoraggio di milioni di IA?)

E una terza categoria più eterogenea (e meno tecnica):

Quale apparato normativo all’interno del governo degli Stati Uniti sarebbe più efficace nel regolamentare le grandi sessioni di addestramento?
Di quali strumenti e metodi dispone il governo degli Stati Uniti per sottoporre a verifica le aziende tecnologiche?
Quali sono le lacune più significative nei controlli statunitensi sulle esportazioni verso la Cina e come potrebbero essere colmate?
A quali applicazioni o dimostrazioni dell’IA la società reagirà con maggiore intensità?
Quali interfacce useranno gli esseri umani per interagire con le IA in futuro?
In che modo l’IA verrà probabilmente impiegata per compiti delicati (ad esempio, fornire consulenza ai leader mondiali), date le preoccupazioni relative alla privacy?
In che modo il dibattito politico sull’IA potrebbe polarizzarsi e cosa potrebbe mitigare tale fenomeno?
Cosa servirebbe per automatizzare le infrastrutture cruciali (fabbriche, armi, ecc.)?

Pubblicazione originale: Richard Ngo (2023) AGI safety career advice, AI Alignment Forum, 1 di maggio.