Ricerca tecnica sulla sicurezza dell’IA

I progressi nell’IA — pur potendo essere estremamente vantaggiosi — comportano rischi significativi. Rischi che, come abbiamo sostenuto, potrebbero essere esistenziali.

Ma questi rischi possono essere affrontati.

Con ulteriori progressi nella sicurezza dell’IA, abbiamo l’opportunità di sviluppare un’IA per il bene comune: sistemi sicuri, etici e vantaggiosi per tutti.

Questo articolo spiega come puoi contribuire.

Riepilogo

L’intelligenza artificiale avrà effetti trasformativi sulla società nei prossimi decenni e potrebbe portare enormi benefici — ma riteniamo anche che vi sia un rischio sostanziale. Un modo promettente per ridurre le probabilità di una catastrofe legata all’IA consiste nel trovare soluzioni tecniche che ci consentano di impedire ai sistemi di IA di mettere in atto comportamenti pericolosi.

Vantaggi:

Opportunità di dare un contributo significativo a un’area di ricerca di enorme importanza.
Lavoro intellettualmente stimolante e interessante.
Il settore ha un forte bisogno di ricercatori e ingegneri qualificati ed è nel complesso molto trascurato.

Svantaggi:

A causa della carenza di manager, è difficile trovare lavoro e potrebbe volerci del tempo per costruire il capitale di carriera e le competenze necessarie.
È necessario un solido background quantitativo.
Potrebbe essere molto difficile trovare soluzioni.
Esiste un rischio concreto di causare danni.

Informazioni chiave sull’idoneità:

Avrai bisogno di una formazione quantitativa e probabilmente dovrebbe piacerti programmare. Se non hai mai provato a programmare, potresti comunque essere adatto se sei in grado di scomporre i problemi in parti logiche, formulare e verificare ipotesi, se sei disposto a sperimentare molte soluzioni diverse e hai una spiccata attenzione ai dettagli.

Se sei un ingegnere del software esperto, potresti candidarti fin da subito per ruoli di collaboratore nella ricerca empirica (anche se non hai una formazione in apprendimento automatico, sebbene questa sia d’aiuto)
Se riuscissi ad accedere a uno dei 10 migliori programmi di dottorato in apprendimento automatico, saresti sulla strada giusta per diventare un responsabile della ricerca
Se hai una solida formazione in matematica o in informatica teorica, probabilmente sarai molto adatto per la ricerca teorica sull’allineamento

Grazie ad Adam Gleave, Jacob Hilton e Rohin Shah per aver rivisto questo articolo. E grazie a Charlie Rogers-Smith per il suo aiuto e per il suo articolo sull’argomento —How to pursue a career in technical AI alignment.

Perché la ricerca tecnica sulla sicurezza dell’IA ha un forte impatto

Come abbiamo sostenuto, nei prossimi decenni potremmo assistere allo sviluppo di sistemi di apprendimento automatico estremamente potenti, in grado di trasformare la società. Questa trasformazione potrebbe portare enormi benefici — ma solo se riusciremo a evitare i rischi.

Riteniamo che i rischi più gravi legati ai sistemi di IA derivino in gran parte dal fatto che tali sistemi potrebbero essere disallineati — ovvero, mireranno a fare cose che non vogliamo che facciano. In particolare, riteniamo che potrebbero essere disallineati al punto da sviluppare (ed eseguire) piani che mettono a rischio la capacità dell’umanità di influenzare il mondo, anche quando non vogliamo che tale influenza vada perduta.

Riteniamo che ciò significhi che questi sistemi futuri rappresentano una minaccia esistenziale per la civiltà.

Anche se trovassimo un modo per evitare questo comportamento orientato al potere, permarrebbero comunque rischi sostanziali — come l’uso improprio da parte dei governi o di altri attori — che potrebbero costituire di per sé minacce esistenziali.

Esistono molti modi per ridurre i rischi che questi sistemi potrebbero comportare. Ma uno dei più promettenti potrebbe essere la ricerca di soluzioni tecniche che prevengano comportamenti indesiderati — compresi quelli disallineati — da parte dei sistemi di IA. (Trovare un modo tecnico per prevenire il disallineamento, in particolare, è noto come problema dell’allineamento.)

Negli ultimi anni abbiamo visto un numero crescente di organizzazioni iniziare a prendere questi rischi più seriamente. Molti dei principali laboratori del settore che sviluppano l’intelligenza artificiale — tra cui Google DeepMind e OpenAI — dispongono di team dedicati alla ricerca di queste soluzioni, affiancati da gruppi di ricerca accademici, tra cui quelli del MIT, di Oxford, di Cambridge, della Carnegie Mellon University e dell’Università della California, Berkeley.

Detto questo, il settore è ancora molto giovane. Riteniamo che ci siano solo circa 300 persone al lavoro su approcci tecnici per ridurre i rischi esistenziali derivanti dai sistemi di IA,⁠⁠1 il che rende questo campo altamente trascurato.

Trovare soluzioni tecniche per ridurre questo rischio potrebbe rivelarsi piuttosto impegnativo. Qualsiasi soluzione che sia utile nella pratica deve preservare l’utilità dei sistemi (rimanendo economicamente competitiva rispetto a sistemi meno sicuri) e continuare a funzionare man mano che i sistemi migliorano nel tempo (deve cioè essere “scalabile”). Come abbiamo sostenuto nel nostro profilo del problema, sembra che possa essere difficile trovare soluzioni praticabili, in particolare per i moderni sistemi di apprendimento automatico.

(Se non sai nulla di apprendimento automatico, abbiamo scritto una brevissima introduzione all’apprendimento automatico e approfondiremo come saperne di più sull’apprendimento automatico più avanti in questo articolo. In alternativa, se hai esperienza nel campo dell’apprendimento automatico, contatta il nostro team: potranno darti consigli personalizzati sulla carriera, metterti in contatto con altre persone che lavorano su questi temi e, forse, aiutarti persino a trovare lavoro o opportunità di finanziamento.)

Sebbene sembri difficile, ci sono molte strade per approfondire la ricerca — e il campo è davvero molto giovane, quindi spuntano continuamente nuove direzioni di ricerca promettenti. Riteniamo quindi che sia moderatamente trattabile, anche se siamo fortemente incerti.

In realtà, siamo incerti su tutto questo e abbiamo scritto ampiamente sui motivi per cui potremmo sbagliarci riguardo al rischio legato all’IA.

Ma, nel complesso, riteniamo che — se c’è una buona idoneità personale — dedicarti alla ricerca tecnica sulla sicurezza dell’IA potrebbe essere proprio la cosa di maggiore impatto che tu possa fare nella tua carriera.

Cosa comporta questo percorso?

La ricerca tecnica sulla sicurezza dell’IA consiste generalmente nel lavorare come scienziato o ingegnere presso i principali laboratori di IA, nel mondo accademico o in organizzazioni non profit indipendenti.

Questi ruoli possono essere molto difficili da ottenere. Probabilmente dovrai accumulare capitale di carriera prima di ricoprire un ruolo di grande impatto (ne parleremo più avanti, nella sezione su come entrare nel settore). Detto questo, potresti non dover dedicare molto tempo a costruire questo capitale di carriera: abbiamo visto persone di eccezionale talento passare alla sicurezza dell’IA da altri campi quantitativi, a volte in meno di un anno.

La maggior parte della ricerca tecnica sulla sicurezza dell’IA si colloca in uno spettro tra la ricerca empirica (sperimentare con i sistemi attuali per capire meglio cosa funzionerà) e la ricerca teorica (ricerca concettuale e matematica volta a individuare modi per garantire che i futuri sistemi di IA siano sicuri).

Indipendentemente dal punto di questo spettro in cui finirai per lavorare, il tuo percorso di carriera potrebbe essere un po’ diverso a seconda che tu voglia puntare a diventare un responsabile della ricerca — proponendo progetti, gestendo un team e definendo la direzione — o un collaboratore — concentrandoti sullo svolgimento della ricerca.

Infine, ci sono due ruoli leggermente diversi a cui potresti aspirare:

Nel mondo accademico, la ricerca è spesso guidata dai professori — la caratteristica distintiva fondamentale dell’essere un professore è che dovrai anche tenere lezioni e fare da mentore agli studenti di dottorato (e avrai sicuramente bisogno di un dottorato di ricerca).
Molti dei ruoli di collaboratore nella ricerca empirica (anche se non tutti) sono ricoperti da ingegneri, spesso ingegneri del software. Qui ci concentriamo sui ruoli legati al software che contribuiscono direttamente alla ricerca sulla sicurezza dell’IA (e che spesso richiedono alcune basi di apprendimento automatico) — abbiamo trattato l’ingegneria del software in modo più generale in un profilo di carriera separato.

L'immagine mostra una matrice a quattro quadranti che classifica i ruoli nella ricerca in base al tipo di ricerca (empirica vs. teorica) e al tipo di ruolo (responsabile vs. collaboratore), con note che precisano che alcuni responsabili saranno professori e ingegneri, in particolare ingegneri del software.

Riteniamo che i ruoli da responsabile della ricerca abbiano probabilmente un impatto maggiore, in generale. Nel complesso, tuttavia, l’impatto che potresti avere in uno qualsiasi di questi ruoli è con ogni probabilità determinato principalmente dalla tua idoneità personale per il ruolo — vedi la sezione su come prevedere in anticipo la tua idoneità.

Di seguito, esamineremo cosa potrebbe comportare lavorare in ciascun percorso. Più avanti, vedremo come potresti accedere a ciascuno di essi.

In cosa consiste il lavoro nel percorso empirico sulla sicurezza dell’IA?

La sicurezza empirica dell’IA tende a coinvolgere team che lavorano direttamente con modelli di apprendimento automatico per identificare eventuali rischi e sviluppare modi per mitigarli.

Ciò significa che il lavoro si concentra sulle tecniche attuali di apprendimento automatico e su quelle che potrebbero essere applicate nell’immediato futuro.

In pratica, lavorare sulla sicurezza empirica dell’IA comporta molta programmazione e ingegneria dell’apprendimento automatico. Potresti, ad esempio, ideare modi per testare la sicurezza dei sistemi esistenti e poi eseguire questi test empirici.

È possibile trovare ruoli nel campo della sicurezza empirica dell’IA sia nel settore industriale che in quello accademico, oltre che in alcune organizzazioni non profit incentrate sulla sicurezza dell’IA.

Soprattutto in ambito accademico, molti lavori rilevanti non sono esplicitamente etichettati come incentrati sul rischio esistenziale, ma possono comunque essere di grande valore. Ad esempio, il lavoro sull’interpretabilità, sugli esempi antagonistici, sulla diagnostica e sull’apprendimento backdoor, tra le altre aree, potrebbe essere estremamente rilevante per ridurre la probabilità di una catastrofe legata all’IA.

Siamo inoltre entusiasti del lavoro sperimentale volto a sviluppare standard di sicurezza a cui le aziende di IA potrebbero attenersi in futuro — ad esempio, il lavoro condotto da ARC Evals.

Per saperne di più sui tipi di ricerca in corso nei laboratori incentrati sulla sicurezza empirica dell’IA, dai un’occhiata a:

Sebbene la programmazione sia fondamentale per tutto il lavoro empirico, in generale i ruoli di responsabile della ricerca saranno meno incentrati sulla programmazione; piuttosto, richiedono un maggiore intuito per la ricerca e una più profonda comprensione teorica. Di contro, i collaboratori alla ricerca devono eccellere nella programmazione e nell’ingegneria del software.

In cosa consiste il lavoro nel percorso teorico della sicurezza dell’IA?

La sicurezza teorica dell’IA è molto più concettuale e matematica. Spesso richiede un attento ragionamento sul comportamento ipotetico dei futuri sistemi.

In generale, l’obiettivo è individuare proprietà che sarebbe utile riscontrare negli algoritmi di apprendimento automatico sicuri. Una volta individuate alcune proprietà utili, puoi cercare di sviluppare algoritmi che le incorporino (tenendo presente che, per risultare utili nella pratica, questi algoritmi dovranno infine essere adottati dall’industria). In alternativa, potresti sviluppare metodi per verificare se i sistemi possiedono tali proprietà. Queste verifiche potrebbero, ad esempio, contribuire a garantire che i futuri prodotti di IA rispettino elevati standard di sicurezza.

Molte persone che lavorano nella sicurezza teorica dell’IA dedicano gran parte del loro tempo a dimostrare teoremi o a sviluppare nuovi framework matematici. Esistono anche approcci più concettuali, sebbene tendano comunque a fare ampio uso di framework formali.

Tra gli esempi di ricerca nella sicurezza teorica dell’IA ci sono:

Evan Hubinger et al. (2021) Risks from learned optimization in advanced machine learning systems, arXiv:1906.01820 [cs.AI].
Paul Christiano, Ajeya Cotra & Mark Xu (2021) Eliciting Latent Knowledge, Alignment Research Center.
Paul Christiano, Eric Neyman & Mark Xu (2022) Formalizing the presumption of independence, arXiv:2211.06738 [cs.AI].
Zachary Kenton et al. (2022) Discovering agents, arXiv:2208.08345.
Peter Barnett et al. (2023) Active reward learning from multiple teachers, arXiv:2303.00894 [cs.LG].

In generale, i ruoli disponibili nel campo della sicurezza teorica dell’IA sono meno numerosi, specialmente per quanto riguarda i collaboratori alla ricerca. Ruoli di collaboratore alla ricerca teorica esistono presso organizzazioni non profit (principalmente l’Alignment Research Center), nonché presso alcuni laboratori (ad esempio, il lavoro di Anthropic sui modelli predittivi condizionati e il Causal Incentives Working Group presso Google DeepMind). La maggior parte dei ruoli di collaboratore nella sicurezza teorica dell’IA si trova probabilmente nel mondo accademico (ad esempio, dottorandi in team che lavorano a progetti relativi alla sicurezza teorica dell’IA).

Alcuni approcci interessanti alla sicurezza dell’IA

Attualmente si stanno perseguendo molti approcci tecnici alla sicurezza dell’IA. Eccone solo alcuni:

Apprendimento scalabile con feedback umano. Tra gli esempi ci sono l’amplificazione iterata, la sicurezza dell’IA attraverso il dibattito, la creazione di assistenti di IA che nutrono incertezze riguardo ai nostri obiettivi e li apprendono interagendo con noi e altri modi per far sì che i sistemi di IA addestrati con la discesa stocastica del gradiente riferiscano in modo veritiero ciò che sanno.
Modellazione delle minacce. Un esempio di questo lavoro potrebbe essere dimostrare la possibilità di capacità pericolose (permettendoci così di studiarle), come sistemi di IA ingannevoli o manipolatori. Puoi leggerne una panoramica in un recente articolo di Google DeepMind. Questo lavoro si suddivide in ricerche che valutano se un modello possieda capacità pericolose (come il lavoro di ARC Evals nella valutazione di GPT-4) e ricerche che valutano se un modello causerebbe danni nella pratica (come la ricerca di Anthropic sul comportamento dei modelli linguistici di grandi dimensioni e questo articolo sull’errata generalizzazione degli obiettivi).
Ricerca sull’interpretabilità. Questo lavoro consiste nello studiare perché i sistemi di IA agiscano in un certo modo e nel cercare di spiegarlo in termini comprensibili all’uomo. Ad esempio, questo articolo ha esaminato come AlphaZero apprenda a giocare a scacchi, mentre questo articolo ha analizzato come individuare la conoscenza latente nei modelli linguistici senza supervisione. Questa categoria include anche l’interpretabilità meccanicistica — ad esempio, Zoom in: an introduction to circuits. Per ulteriori informazioni, vedi questo articolo di sintesi, nonché l’articolo di Hubinger A transparency and interpretability tech tree e quello di Nanda A longlist of theories of impact for interpretability per una panoramica su come la ricerca sull’interpretabilità possa ridurre il rischio esistenziale derivante dall’IA.
Altre ricerche contro l’uso improprio per ridurre i rischi di catastrofe causata dall’uso improprio dei sistemi. (Ne abbiamo parlato più approfonditamente nel nostro profilo del problema sul rischio legato all’IA. Ad esempio, questo lavoro include l’addestramento delle IA affinché siano difficili da utilizzare per scopi pericolosi. (Si noti che vi è una notevole sovrapposizione con le altre ricerche presenti in questo elenco).
Ricerca per aumentare la robustezza delle reti neurali. Questo lavoro consiste nell’assicurare che i tipi di comportamento mostrati dalle reti neurali quando esposte a un determinato insieme di input si mantengano anche in presenza di input a cui non sono mai state esposte prima, al fine di impedire che i sistemi di IA passino a comportamenti non sicuri. Per ulteriori informazioni, vedi la sezione 2 di Unsolved problems in ML safety.
Lavorare allo sviluppo di un’IA cooperativa. Individuare modi per garantire che, anche se i singoli sistemi di IA sembrano sicuri, non producano esiti negativi interagendo con altri sistemi sociotecnici. Per ulteriori informazioni, consulta Open problems in cooperative AI di Dafoe et al. o la Cooperative AI Foundation. Ciò sembra particolarmente rilevante per la riduzione dei ‘rischi S’.
Più in generale, esistono alcuni piani di sicurezza unificati. Per ulteriori informazioni, vedi An overview of 11 proposals for building safe advanced AI di Hubinger o How might we align transformative AI if it’s developed very soon? di Karnofsky.⁠⁠2

Vale la pena notare che esistono molti approcci alla sicurezza dell’IA e gli esperti del settore sono fortemente in disaccordo su ciò che funzionerà o meno.

Ciò significa che, una volta che si lavora in questo campo, vale la pena essere ben disposti e attenti a non dare per scontato che il lavoro altrui sia inutile solo perché è parso tale a una rapida occhiata. Probabilmente, bisognerebbe mantenere un certo grado di incertezza anche riguardo al proprio programma di ricerca.

Inoltre, come accennato in precedenza, molti lavori rilevanti in tutti questi ambiti non sono esplicitamente etichettati come «sicurezza».

È quindi importante riflettere attentamente su come, o se, una determinata ricerca contribuisca a ridurre i rischi che i sistemi di IA potrebbero comportare.

Quali sono gli svantaggi di questa carriera?

La ricerca tecnica sulla sicurezza dell’IA non è l’unico modo per compiere progressi nella riduzione dei rischi che i futuri sistemi di IA potrebbero comportare. Inoltre, ci sono molti altri problemi urgenti nel mondo che non riguardano la possibilità di una catastrofe legata all’IA, e molte carriere che possono contribuire a risolverli. Se avessi una maggiore idoneità personale per lavorare su qualcos’altro, probabilmente dovresti farlo.

Oltre all’idoneità personale, ci sono alcuni altri svantaggi in questa carriera:

L’ingresso può essere molto competitivo (anche se, una volta entrati, le posizioni sono ben retribuite e ci sono molte opzioni di riserva).
Sono indispensabili competenze quantitative — e probabilmente anche competenze di programmazione.
Il lavoro è geograficamente concentrato in pochi luoghi (principalmente la Bay Area in California e Londra, ma ci sono opportunità anche in località con università di eccellenza come Oxford, New York, Pittsburgh e Boston). Detto questo, il lavoro da remoto è sempre più praticabile in molti laboratori di ricerca.
Trovare validi metodi tecnici per ridurre il rischio potrebbe non essere molto trattabile. Sebbene le valutazioni sulla difficoltà varino, e sebbene compiere progressi sia quasi certamente possibile, farlo potrebbe rivelarsi piuttosto difficile. Questo riduce l’impatto che potresti avere lavorando nel settore. Detto questo, se inizi con un ruolo tecnico potresti riuscire a passare a un lavoro di governance dell’IA, poiché questo spesso trae vantaggio dall’formazione tecnica e dall’esperienza nel settore, che la maggior parte delle persone non possiede.
A questo proposito, nel settore vi è un forte disaccordo su ciò che potrebbe funzionare; probabilmente riuscirai a trovare almeno alcune persone che ritengono inutile ciò su cui stai lavorando, qualunque cosa tu finisca per fare.
Ma soprattutto, c’è il rischio di causare danni. Mentre accumuli capitale di carriera e mentre lavori alla ricerca stessa, dovrai prendere decisioni e fare valutazioni difficili per capire se stai lavorando a qualcosa di benefico (vedi i nostri consigli anonimi sul lavorare in ruoli che promuovono le capacità dell’IA). C’è un enorme disaccordo su quali approcci tecnici alla sicurezza dell’IA possano funzionare — e talvolta questo disaccordo si traduce nel ritenere che una determinata strategia aumenterà attivamente i rischi esistenziali legati all’IA.

Infine, abbiamo approfondito le migliori argomentazioni contro l’idea che l’IA sia una questione urgente nel nostro profilo del problema sulla prevenzione di una catastrofe legata all’IA. Se tali argomentazioni sono corrette, forse potresti avere un impatto maggiore lavorando su una questione diversa.

Quanto guadagnano i ricercatori tecnici nel campo della sicurezza dell’IA?

Molti ricercatori tecnici lavorano presso aziende o piccole startup che offrono stipendi competitivi rispetto a quelli del settore tecnologico della Bay Area e della Silicon Valley, e persino le organizzazioni più piccole e le non profit offrono stipendi competitivi per attrarre i migliori talenti. La retribuzione mediana per un ingegnere del software nella Bay Area di San Francisco era di 222 000 dollari all’anno nel 2020.⁠⁠3 (Maggiori informazioni sugli stipendi degli ingegneri del software).

Questa mediana di 222 000 dollari potrebbe essere una sottostima, poiché i ruoli nel campo dell’IA, specialmente nei principali laboratori che stanno rapidamente espandendo le proprie attività in questo settore, spesso offrono retribuzioni migliori rispetto ad altri impieghi in ambito tecnologico; lo stesso vale per i ricercatori nel campo della sicurezza dell’IA, persino per quelli che operano nelle non profit.

Tuttavia, il mondo accademico offre in genere stipendi inferiori rispetto all’industria, e ipotizziamo che i ruoli di ricerca sulla sicurezza dell’IA nel mondo accademico siano meno remunerativi rispetto a quelli nei laboratori commerciali e nelle non profit.

Come valutare in anticipo la tua idoneità

In genere è necessaria una formazione quantitativa (anche se non necessariamente in informatica o apprendimento automatico) per intraprendere questa carriera.

Esistono due approcci principali che puoi adottare per valutare la tua idoneità, ed è utile seguirli entrambi:

Mettiti alla prova: fai i primi passi nella sezione sottostante dedicata all’apprendimento delle nozioni di base. Se non l’hai ancora fatto, prova a imparare un po’ di Python, oltre a seguire corsi di algebra lineare, analisi matematica e probabilità. E se l’hai già fatto, prova ad approfondire un po’ l’apprendimento profondo e la sicurezza dell’IA. Infine, per molte persone, il modo migliore per mettersi alla prova sarebbe quello di trovare effettivamente un lavoro come ingegnere di apprendimento automatico (non nel campo della sicurezza) (maggiori informazioni nella sezione su come entrare nel settore).
Parla con altre persone per capire se questa carriera è adatta a te: se vuoi diventare un ricercatore tecnico, il nostro team vorrebbe probabilmente parlarti. Possiamo offrirti una consulenza individuale, gratuitamente. Se conosci qualcuno che lavora in questo settore (o in un ambito simile), discuti di questa carriera con questa persona e chiedi la sua opinione sincera. Potresti incontrare persone tramite la nostra comunità. Anche i nostri consulenti possono aiutarti a creare contatti.

Ci vuole del tempo per acquisire competenza e la soddisfazione può arrivare di conseguenza — quindi preparati a dedicare un po’ di tempo all’apprendimento e alla pratica prima di decidere di passare a qualcosa di completamente diverso.

Se non sai bene a quali ruoli puntare a lungo termine, ecco alcuni metodi indicativi per provare a farti un’idea degli obiettivi da perseguire e se potresti avere l’idoneità per i vari ruoli in questo percorso:

Verificare la tua idoneità come collaboratore alla ricerca empirica: in un post sul blog dedicato all’assunzione di ricercatori nel campo della sicurezza, il team di Google DeepMind ha affermato come test approssimativo per il ruolo di ingegnere di ricerca, se riesci a riprodurre un tipico articolo di apprendimento automatico in poche centinaia di ore e i tuoi interessi sono in linea con i nostri, probabilmente saremo interessati a farti un colloquio.
- Considerando in particolare l’ingegneria del software, un responsabile delle assunzioni di Anthropic ha affermato che, se con poche settimane di lavoro riuscissi a scrivere una nuova funzionalità complessa o a correggere un bug molto grave in una delle principali librerie di apprendimento automatico, vorrebbero farti un colloquio immediatamente. (Leggi di più.)
Verificare la tua idoneità per la ricerca teorica: se avessi potuto accedere a uno dei 10 migliori programmi di dottorato in matematica o informatica teorica qualora avessi ottimizzato il tuo percorso di studi per farlo, questo è un buon indicatore della tua idoneità (e in effetti molti ricercatori possiedono questi dottorati). L’Alignment Research Center (una delle poche organizzazioni che, al 2023, assume collaboratori per la ricerca teorica) ha dichiarato di essere disposta ad assumere persone senza alcun background di ricerca. Hanno indicato quattro criteri di idoneità: creatività (ad esempio, potresti avere idee per risolvere problemi aperti nel campo, come l’estrazione delle conoscenze latenti); esperienza nella progettazione di algoritmi, nella dimostrazione di teoremi o nella formalizzazione di concetti; ampia conoscenza della matematica e dell’informatica; e aver riflettuto a fondo sul problema dell’allineamento dell’IA in particolare.
Verificare la tua idoneità come responsabile della ricerca (o per un dottorato di ricerca): la stragrande maggioranza dei responsabili di ricerca possiede un dottorato di ricerca. Inoltre, molti (ma sicuramente non tutti) ruoli di ricerca tecnica sulla sicurezza dell’IA richiederanno un dottorato di ricerca — e se non lo richiedono, possederne uno (o essere il tipo di persona in grado di ottenerlo) aiuterebbe sicuramente a dimostrare la tua idoneità per questo lavoro. Per entrare in uno dei 20 migliori programmi di dottorato di ricerca in apprendimento automatico, probabilmente dovresti pubblicare qualcosa come un articolo per un workshop come primo autore, oltre a un articolo per una conferenza come terzo autore in un importante convegno di apprendimento automatico (come NeurIPS o ICML). (Leggi di più per capire se dovresti conseguire un dottorato di ricerca.

Leggi il nostro articolo sull’idoneità personale per saperne di più su come valutare la tua idoneità ai percorsi di carriera che desideri intraprendere.

Come entrare nel settore

Potresti essere in grado di candidarti per alcuni ruoli fin da subito — soprattutto se soddisfi, o sei vicino a soddisfare, i criteri appena esaminati — ma potrebbe anche volerci del tempo, forse diversi anni, per acquisire prima le competenze necessarie.

Pertanto, in questa sezione, ti forniremo una guida per entrare nella ricerca tecnica sulla sicurezza dell’IA. Affronteremo quattro domande chiave:

Come imparare le basi
Se convenga conseguire un dottorato di ricerca
Come trovare lavoro nella ricerca empirica
Come trovare lavoro nella ricerca teorica

Ci auguriamo che, alla fine della sezione, tu abbia tutto il necessario per iniziare.

Imparare le basi

Per farti strada nel mondo della ricerca tecnica sulla sicurezza dell’IA, probabilmente avrai bisogno di conoscenze di base di programmazione, matematica e apprendimento profondo.

Potresti anche voler fare pratica a sufficienza per diventare un ingegnere di apprendimento automatico di buon livello (anche se ciò è generalmente più utile per la ricerca empirica) e imparare qualcosa in particolare sulle tecniche di sicurezza (anche se ciò è generalmente più utile per i responsabili della ricerca empirica e i ricercatori teorici).

Esamineremo ciascuno di questi aspetti uno alla volta.

Imparare a programmare

Probabilmente vorrai imparare a programmare in Python, poiché è il linguaggio più diffuso nell’ingegneria dell’apprendimento automatico.

Probabilmente il primo passo è semplicemente fare una prova. Da principiante assoluto, puoi scrivere in meno di 20 minuti un programma in Python che ti ricordi di fare una pausa ogni due ore. Non scoraggiarti se il tuo codice non funziona al primo tentativo — è ciò che accade normalmente quando si programma!

Una volta fatto ciò, hai alcune opzioni:

Impara a programmare da autodidatta. Prova a seguire un corso gratuito per principianti come Automate the Boring Stuff with Python di Al Sweigart. Online ci sono anche molti ottimi corsi introduttivi all’informatica e alla programmazione, tra cui: Introduzione all’informatica di Udacity, Introduzione all’informatica e alla programmazione del MIT, e Metodologia di programmazione di Stanford. Dopodiché, prova a trovare qualcosa che desideri creare e realizzalo, oppure partecipa a un progetto open source. Per esercitarti in vista dei colloqui, prova leetcode o TopCoder, oppure gli esercizi in Cracking the Coding Interview di Gayle McDowell.
Segui un corso universitario. Se frequenti l’università, questa è un’ottima opzione perché ti permette di imparare a programmare mentre il costo opportunità del tuo tempo è inferiore. Puoi anche prendere in considerazione l’idea di laurearti in informatica (o in un’altra materia che preveda molta programmazione).
Impara sul campo. Se riesci a trovare uno stage, acquisirai esperienza pratica e competenze che altrimenti non apprenderesti con i corsi di laurea.
Frequenta un bootcamp. I bootcamp di programmazione mirano a far ottenere a persone con scarse conoscenze di programmazione il lavoro meglio retribuito possibile nel giro di un paio di mesi — anche se alcuni sostengono che le prospettive a lungo termine non siano altrettanto buone per la mancanza di una comprensione approfondita dell’informatica. Course Report è un’ottima guida per scegliere un bootcamp. Fai attenzione a evitare i bootcamp di scarsa qualità. Puoi anche trovare bootcamp online — per chi è completamente alle prime armi con la programmazione — incentrati sull’apprendimento automatico, come il Python for Data Science and Machine Learning Bootcamp di Udemy.

Puoi leggere ulteriori informazioni su come imparare a programmare — e su come ottenere il tuo primo lavoro nell’ingegneria del software (se è questa la strada che vuoi intraprendere) — nella nostra analisi della carriera in ingegneria del software.

Imparare la matematica

La matematica dell’apprendimento profondo si basa in gran parte sul calcolo infinitesimale e sull’algebra lineare, e anche la statistica può essere utile — sebbene in generale imparare la matematica sia molto meno importante della programmazione e delle basi pratiche dell’apprendimento automatico.

In generale, consigliamo di seguire un corso di laurea in materie quantitative (come matematica, informatica o ingegneria), la maggior parte dei quali coprirà abbastanza bene tutte e tre le aree.

Se vuoi diventare davvero bravo in matematica, devi risolvere problemi. Quindi, in generale, la cosa più utile che i libri di testo e i corsi online offrono non sono le spiegazioni, ma una serie di esercizi da provare a risolvere, in ordine, con un po’ di aiuto se ti blocchi.

Se vuoi studiare in autonomia (soprattutto se non hai una laurea in materie quantitative), ecco alcune possibili risorse:

Analisi matematica: la serie di video di 3blue1brown sull’analisi matematica potrebbe essere un buon punto di partenza. Potresti anche seguire dei corsi universitari registrati: il corso del MIT di analisi matematica a una variabile (che richiede solo conoscenze di algebra e trigonometria di livello liceale), seguito dal corso del MIT di analisi matematica vettoriale e a più variabili.
Algebra lineare: anche in questo caso, suggeriamo la serie di video di 3blue1brown sull’algebra lineare come punto di partenza. Nel suo post sulle carriere nell’allineamento tecnico, Rogers-Smith raccomanda Linear Algebra Done Right di Sheldon Axler. Infine, se preferisci le lezioni frontali, prova il corso universitario di algebra lineare del MIT (tieni presente, tuttavia, che questo corso presuppone la conoscenza dell’analisi a più variabili).
Probabilità: dai un’occhiata al corso universitario del MIT su probabilità e variabili casuali.

Potresti trovare risorse che coprono tutte queste aree, come il corso Matematica per l’apprendimento automatico dell’Imperial College.

Imparare le basi dell’apprendimento automatico

Probabilmente dovrai avere una discreta comprensione di come vengono attualmente sviluppati i sistemi di intelligenza artificiale. Questo comporterà lo studio dell’apprendimento automatico e delle reti neurali, prima di addentrarti in qualsiasi sottocampo specifico dell’apprendimento profondo.

Anche in questo caso, c’è la possibilità di affrontare questi argomenti all’università. Se attualmente frequenti l’università, vale la pena verificare se puoi seguire un corso di apprendimento automatico anche se non sei iscritto al corso di laurea in informatica.

C’è un’avvertenza importante da fare: imparerai moltissimo sul campo, e la quantità di nozioni che dovrai conoscere in anticipo per qualsiasi ruolo o corso varierà enormemente! Nemmeno i migliori accademici sanno tutto dei propri campi di specializzazione. Vale la pena cercare di capire quanto ti servirà sapere per il ruolo a cui aspiri prima di investire centinaia di ore nello studio dell’apprendimento automatico.

Tenendo a mente questa avvertenza, ecco alcuni suggerimenti da cui potresti partire se desideri studiare in autonomia le nozioni di base:

La serie di 3blue1brown sulle reti neurali è davvero un ottimo punto di partenza per i principianti.
Quando studiavo, ho usato Neural Networks and Deep Learning: si tratta di un libro di testo online, ideale se hai familiarità con la matematica, che include anche alcuni esercizi utili.
Corsi introduttivi online come fast.ai (incentrati sulle applicazioni pratiche), Full Stack Deep Learning e i vari corsi su deeplearning.ai.
Per maggiori dettagli, consulta corsi universitari come Introduzione all’apprendimento automatico del MIT o Apprendimento profondo della NYU per informazioni ancora più dettagliate. Consigliamo inoltre la serie di lezioni di Google DeepMind.

PyTorch è un pacchetto molto diffuso utilizzato per l’implementazione di reti neurali, e probabilmente vale la pena impararlo! Quando ho iniziato a studiare l’apprendimento automatico, la mia prima rete neurale è stata una rete neurale convoluzionale a 3 strati con regolarizzazione L2 che classificava i caratteri del database MNIST. Si tratta di una prima sfida piuttosto comune e di un ottimo modo per imparare a usare PyTorch.

Saperne di più sulla sicurezza dell’IA

Se intendi lavorare come ricercatore sulla sicurezza dell’IA, di solito è utile conoscere la sicurezza dell’IA.

Questo non è sempre vero: per alcuni ruoli ingegneristici non serve una grande conoscenza della sicurezza dell’IA. Ma anche in tal caso, conoscerne le basi probabilmente ti aiuterà a ottenere un incarico, e può rivelarsi utile anche per prendere decisioni difficili ed evitare di fare danni. Inoltre, se vuoi essere in grado di individuare e svolgere del lavoro utile, prima o poi dovrai approfondire questo campo.

Poiché il campo è ancora così nuovo, probabilmente non ci sono (ancora) corsi universitari da seguire. Dovrai quindi dedicarti allo studio autonomo. Ecco alcuni punti da cui potresti partire:

La sezione 3 del nostro profilo del problema sulla prevenzione di una catastrofe legata all’IA offre un’introduzione ai problemi che la sicurezza dell’IA cerca di risolvere (con particolare attenzione all’allineamento).
Il canale YouTube di Rob Miles è ricco di video introduttivi divulgativi e ben spiegati che non richiedono molte conoscenze preliminari di apprendimento automatico.
AXRP — il podcast dedicato alla ricerca sul rischio esistenziale legato all’IA — è ricco di conversazioni approfondite (e piacevoli) con i ricercatori sulle loro ricerche.
I corsi di AI Safety Fundamentals, in particolare l’AI Alignment Course, eventualmente seguito da Alignment 201, che offrono un’introduzione alla ricerca sul problema dell’allineamento.
Intro to ML Safety, un corso del Center for AI Safety, si concentra sulla resistenza ai pericoli (“robustezza”), sull’identificazione dei pericoli (“monitoraggio”) e sulla riduzione dei pericoli sistemici (“sicurezza sistemica”), oltre che sull’allineamento.

Per ulteriori suggerimenti — soprattutto quando si tratta di documentarsi sulla natura dei rischi legati all’IA che potremmo affrontare — dai un’occhiata alle migliori risorse per saperne di più nel nostro profilo del problema.

Dovresti conseguire un dottorato di ricerca?

Alcuni ruoli di ricerca tecnica richiedono un dottorato di ricerca — ma molti altri no, e il dottorato non è l’opzione migliore per tutti.

Il vantaggio principale di conseguire un dottorato di ricerca è probabilmente quello di fare pratica nel definire e portare avanti il proprio programma di ricerca. Di conseguenza, ottenere un dottorato di ricerca è praticamente la scelta predefinita se vuoi diventare un responsabile della ricerca.

Detto questo, è possibile diventare un responsabile della ricerca anche senza un dottorato, in particolare passando da un ruolo di collaboratore di ricerca. In alcuni grandi laboratori, il confine tra l’essere un collaboratore e un responsabile è sempre più sfumato.

Molte persone trovano i dottorati molto difficili. Possono essere isolanti e frustranti, e richiedere molto tempo (4–6 anni). Inoltre, sia la qualità della vita che la quantità di conoscenze acquisite dipenderanno dal tuo supervisore — e può essere davvero difficile capire in anticipo se stai facendo una buona scelta.

Quindi, se stai pensando di intraprendere un dottorato di ricerca, ecco alcuni aspetti da considerare:

La tua visione a lungo termine: Se il tuo obiettivo è diventare responsabile della ricerca, questo suggerisce che potresti voler conseguire un dottorato — la stragrande maggioranza dei responsabili della ricerca possiede un dottorato. Se desideri principalmente essere un collaboratore (ad esempio, un ingegnere di apprendimento automatico o del software), questo suggerisce che potresti non averne bisogno. Se sei indeciso, dovresti provare a fare qualcosa per verificare la tua idoneità personale per ciascuna opzione, ad esempio partecipando a un progetto o a uno stage. Potresti provare a ricoprire un ruolo di assistente di ricerca pre-dottorato — se la ricerca che svolgi è pertinente alla tua futura carriera, questa esperienza può rappresentare un buon capitale di carriera, indipendentemente dal fatto che tu decida o meno di conseguire un dottorato.
L’argomento della tua ricerca: È facile lasciarsi vincolare da un argomento di dottorato di cui non sei convinto. Se il dottorato che stai prendendo in considerazione ti permettesse di lavorare su qualcosa che sembra utile per la sicurezza dell’IA, probabilmente — a parità di condizioni — sarebbe meglio per la tua carriera, e anche la ricerca stessa potrebbe avere un impatto positivo.
Tutoraggio: Come sono i supervisori o i manager nelle opportunità a tua disposizione? Potresti trovare ruoli di ingegneria dell’apprendimento automatico o di ricerca nell’industria dove imparare molto di più rispetto a un dottorato — o viceversa. Quando scegli un supervisore, prova a contattare gli studenti, attuali o passati, del potenziale supervisore per fare loro qualche domanda sincera. (Vedi anche questo articolo su come scegliere un supervisore di dottorato.)
La tua idoneità all’ambiente di lavoro: Fare un dottorato significa lavorare in autonomia con pochissima supervisione o feedback per lunghi periodi di tempo. Alcune persone danno il meglio di sé in queste condizioni! Altre invece proprio no e trovano i dottorati estremamente difficili.

Per saperne di più, consulta la nostra rassegna più dettagliata (ma meno aggiornata) sui dottorati in apprendimento automatico.

Vale la pena ricordare che la maggior parte dei lavori non richiede un dottorato. E per alcuni lavori, specialmente nei ruoli di collaborazione alla ricerca empirica, anche se un dottorato sarebbe utile, spesso ci sono modi migliori per ottenere il capitale di carriera di cui avresti bisogno (ad esempio, lavorando come ingegnere del software o di apprendimento automatico). Abbiamo intervistato due ingegneri di apprendimento automatico che hanno avuto carriere di grandissimo successo senza aver fatto un dottorato.

La scelta di fare un dottorato non dipende (molto) dalle tempistiche

Riteniamo plausibile che svilupperemo un’IA che potrebbe essere enormemente trasformativa per la società entro la fine degli anni ‘30.

A parità di condizioni, tale possibilità potrebbe giustificare il tentativo di avere un impatto fin da subito, piuttosto che dedicare cinque (o più) anni a un dottorato di ricerca.

In definitiva, però, quanto tu, in particolare, sia adatto a un determinato dottorato è probabilmente un fattore molto più importante rispetto a quando verrà sviluppata l’IA.

In altre parole, riteniamo che l’aumento di impatto derivante dalla scelta di un percorso adatto a te sia probabilmente maggiore di qualsiasi diminuzione di impatto causata dal ritardare il tuo lavoro. Ciò è dovuto in parte al fatto che la gamma di impatto determinata dagli specifici ruoli a tua disposizione, così come la tua idoneità personale a ricoprirli, è solitamente molto ampia. Alcuni ruoli (soprattutto quelli di responsabile della ricerca) richiederanno necessariamente il possesso di un dottorato, mentre altri (soprattutto quelli più incentrati sull’ingegneria) no —e l’idoneità delle persone a questi percorsi varia notevolmente.

Siamo inoltre estremamente incerti riguardo alle stime su quando potremmo sviluppare un’IA trasformativa. Questa incertezza riduce il costo atteso di qualsiasi ritardo.

Soprattutto, riteniamo che i dottorati non debbano essere considerati un puro ritardo per il tuo impatto. Durante un dottorato puoi svolgere un lavoro utile e, in generale, i primi due anni di qualsiasi percorso di carriera comportano l’apprendimento di molte basi e un periodo di adattamento. Quindi, se hai un buon mentore, un ambiente di lavoro favorevole e una buona scelta dell’argomento, il tuo lavoro di dottorato potrebbe essere pari, o forse superiore, a quello che faresti andando a lavorare altrove all’inizio della tua carriera. E se improvvisamente ricevessi prove che abbiamo a disposizione meno tempo di quanto pensassi, è relativamente facile interrompere gli studi.

Ci sono molte altre considerazioni in merito: per una panoramica di massima e alcune riflessioni, vedi questo post di Alex Lawsen, consulente di 80,000 Hours, oltre ai commenti.

Nel complesso, suggeriamo che, invece di preoccuparti di un ritardo per il tuo impatto, pensi piuttosto a quale percorso a lungo termine desideri intraprendere e a come le specifiche opportunità che ti si presentano ti aiuteranno a raggiungerlo.

Come accedere a un dottorato di ricerca

I dottorati in apprendimento automatico possono essere molto competitivi. Per essere ammessi, probabilmente avrai bisogno di alcune pubblicazioni (come abbiamo detto sopra, qualcosa come un articolo da workshop come primo autore, nonché un articolo da conferenza come terzo autore in un’importante conferenza sull’apprendimento automatico (come NeurIPS o ICML), e referenze, probabilmente da parte di accademici del settore dell’apprendimento automatico. (Anche se le pubblicazioni fanno sempre bella figura, qualunque sia il percorso che finirai per intraprendere!)

Per arrivare a quel punto, ti servirà un bel po’ di fortuna e dovrai anche trovare il modo di acquisire un po’ di esperienza di ricerca.

Un’opzione è quella di conseguire un master in apprendimento automatico, ma assicurati che sia orientato alla ricerca: la maggior parte dei master in apprendimento automatico si concentra principalmente sulla preparazione al mondo del lavoro.

Ancora meglio, prova a ottenere uno stage in un gruppo di ricerca sull’apprendimento automatico. Tra le varie opportunità ci sono il RISS alla Carnegie Mellon University, l’UROP all’Imperial College di Londra, il programma internazionale estivo di ricerca dell’Aalto Science Institute, il Data Science Summer Institute, il programma di tirocinio del Toyota Technological Institute e il MILA. Puoi anche provare a svolgere uno stage specificamente nel campo della sicurezza dell’IA, ad esempio presso il CHAI, sebbene questo approccio presenti alcuni svantaggi: potrebbe risultare più difficile pubblicare e il tutoraggio potrebbe essere più limitato.

Un altro modo per acquisire esperienza di ricerca è chiedere se è possibile collaborare con dei ricercatori. Se frequenti già un’università di prestigio, la soluzione più semplice potrebbe essere quella di contattare le persone che lavorano presso il tuo stesso ateneo.

I dottorandi o i post-doc possono rispondere più tempestivamente rispetto ai professori, ma alla fine avrai bisogno di qualche professore con cui hai lavorato per avere delle referenze, quindi dovrai metterti in contatto con loro. I professori tendono a ricevere moltissime e-mail non richieste, perciò cerca di attirare la loro attenzione! Puoi provare a:

Farti presentare, ad esempio da un professore di cui hai seguito i corsi
Menzionare ciò che hai fatto (i tuoi voti, i corsi pertinenti che hai seguito, il tuo GitHub, eventuali articoli di ricerca sull’apprendimento automatico che hai provato a replicare per fare pratica)
Leggere alcuni dei loro articoli e i principali articoli del settore, e menzionarli nell’e-mail
Fare domanda per i finanziamenti disponibili per gli studenti che vogliono lavorare nella sicurezza dell’IA, e far sapere che disponi di un finanziamento per lavorare con loro

L’ideale è trovare qualcuno che ti segua bene e abbia tempo per lavorare con te (il che non significa necessariamente il professore più famoso, anche se aiuta molto se pubblica regolarmente in conferenze di prestigio). In questo modo, avrà modo di conoscerti, potrai fare una buona impressione e ti fornirà un’eccellente referenza quando farai domanda per un dottorato.

È molto probabile che, per ottenere le pubblicazioni e le referenze necessarie per accedere a un dottorato di ricerca, tu debba trascorrere uno o due anni lavorando come assistente di ricerca, anche se queste posizioni possono essere piuttosto competitive.

Questa guida di Adam Gleave approfondisce ulteriormente come ottenere un dottorato di ricerca, indicando dove candidarsi e fornendo consigli sul processo di candidatura stesso. Trattiamo i dottorati in apprendimento automatico in modo più dettagliato nella nostra rassegna sulle carriere relative ai dottorati in apprendimento automatico (sebbene sia ormai superata rispetto a questa analisi di carriera).

Trovare lavoro nella ricerca empirica sulla sicurezza dell’IA

In definitiva, il modo migliore per imparare a condurre ricerca empirica —soprattutto in ruoli da collaboratore e incentrati sull’ingegneria— è lavorare in un’organizzazione che svolga sia attività ingegneristiche di alta qualità sia ricerca all’avanguardia.

I tre laboratori principali sono probabilmente Google DeepMind (che offre tirocini agli studenti), OpenAI (che ha un programma di residenza di 6 mesi) e Anthropic. (Lavorare in uno dei principali laboratori di IA comporta un certo rischio di causare danni, quindi è importante valutare attentamente le tue opzioni. Abbiamo scritto un articolo a parte che illustra le principali considerazioni in merito.)

Per arrivare a ricoprire un ruolo nella ricerca empirica, probabilmente dovrai costruirti un po’ di capitale di carriera.

Che tu voglia diventare un responsabile della ricerca o un collaboratore, ti sarà utile diventare un ingegnere del software davvero competente. I modi migliori per farlo di solito consistono nel trovare un lavoro come ingegnere del software presso una grande azienda tecnologica o una startup promettente. (Abbiamo dedicato un intero articolo a come diventare ingegnere del software.)

Molti ruoli richiederanno che tu sia un buon ingegnere di apprendimento automatico, il che significa andare oltre le semplici nozioni di base che abbiamo visto sopra. Il modo migliore per diventare un buon ingegnere di apprendimento automatico è trovare un lavoro nel campo dell’ingegneria dell’apprendimento automatico — e i posti migliori per farlo sono probabilmente i principali laboratori di IA.

Per i ruoli di responsabile della ricerca, avrai bisogno di un’esperienza di ricerca relativamente maggiore. Ti converrà diventare prima un collaboratore di ricerca, oppure accedere attraverso il mondo accademico (ad esempio conseguendo un dottorato).

Detto questo, è importante ricordare che non è necessario sapere tutto per iniziare a candidarti, poiché inevitabilmente imparerai moltissimo sul campo — quindi cerca di capire cosa dovrai imparare per ottenere i ruoli specifici che stai prendendo in considerazione.

Quanta esperienza serve per ottenere un lavoro? Vale la pena ribadire i test che abbiamo esaminato sopra per i ruoli di collaboratore:

In un post sul blog dedicato alle assunzioni di ricercatori nel campo della sicurezza, il team di DeepMind ha affermato: come test approssimativo per il ruolo di ingegnere di ricerca, se sei in grado di riprodurre un tipico articolo di apprendimento automatico in poche centinaia di ore e i tuoi interessi sono in linea con i nostri, probabilmente saremo interessati a farti un colloquio.
Per quanto riguarda specificamente l’ingegneria del software, un responsabile delle assunzioni di Anthropic ha affermato che se, con poche settimane di lavoro, riuscissi a scrivere una nuova funzionalità o a correggere un grave bug in una delle principali librerie di apprendimento automatico, vorrebbero farti immediatamente un colloquio. (Leggi di più.)

Mentre acquisisci questa esperienza, potresti finire per lavorare in ruoli che fanno progredire le capacità dell’IA. Esistono diverse opinioni sulla possibilità che ciò sia dannoso; pertanto, ti suggeriamo di leggere il nostro articolo sul lavoro nei principali laboratori di IA e il nostro articolo contenente consigli anonimi di esperti sul lavoro in ruoli che fanno progredire tali capacità. Vale anche la pena parlare con il nostro team di eventuali opportunità specifiche a tua disposizione.

Se stai svolgendo un altro lavoro, stai conseguendo una laurea o pensi di dover imparare qualcosa in più prima di provare a cambiare carriera, esistono alcuni modi efficaci per acquisire maggiore esperienza nell’ingegneria dell’apprendimento automatico che vanno oltre le nozioni di base già trattate:

Acquisire esperienza nell’ingegneria del software / apprendimento automatico. Ad esempio, se stai frequentando un corso di laurea, potresti provare a svolgere uno stage come ingegnere del software durante l’estate. DeepMind offre stage per studenti che abbiano completato almeno due anni di studi in una materia tecnica.
Replicare gli articoli scientifici. Un ottimo modo per acquisire esperienza nell’ingegneria dell’apprendimento automatico è replicare alcuni articoli nel sottosettore in cui vorresti lavorare. Richard Ngo, ricercatore di governance dell’IA presso OpenAI, ha scritto alcuni consigli sulla replica di articoli. Tieni però presente che replicare articoli può essere piuttosto difficile: dai un’occhiata al blog di Amid Fish su ciò che ha imparato replicando un articolo sull’apprendimento per rinforzo profondo. Infine, Rogers-Smith offre alcuni suggerimenti sugli articoli da replicare. Se dedichi del tempo alla replica di articoli, ricorda che quando arriverai a candidarti per delle posizioni, sarà davvero utile poter dimostrare di aver svolto questo lavoro. Quindi prova a caricare il tuo lavoro su GitHub o a scrivere un blog sui tuoi progressi. E se stai pensando di dedicarci molto tempo (ad esempio, più di 100 ore), cerca di ottenere qualche feedback sugli articoli che potresti replicare prima di iniziare — potresti persino contattare un laboratorio per cui vorresti lavorare.
Seguire un corso più approfondito sulla ricerca empirica in materia di sicurezza dell’IA. Redwood Research ha organizzato il bootcamp MLAB, ed è possibile richiedere l’accesso al loro programma di studi qui. Potresti anche dare un’occhiata a questo programma di apprendimento profondo di Jacob Hilton, un ricercatore presso l’Alignment Research Center — anche se probabilmente è molto impegnativo senza un mentore.⁠⁠4 L’Alignment Research Engineer Accelerator è un programma che utilizza questo percorso formativo. Alcuni mentori del SERI ML Alignment Theory Scholars Program si concentrano sulla ricerca empirica.
Approfondire un sottocampo dell’apprendimento profondo. In particolare, suggeriamo l’elaborazione del linguaggio naturale (nello specifico i trasformatori — vedi questa lezione come punto di partenza) e l’apprendimento per rinforzo (dai un’occhiata a Deep Reinforcement Learning: Pong from Pixels di Andrej Karpathy e a Spinning Up in Deep RL di OpenAI). Cerca di arrivare al punto in cui conosci i progressi recenti più importanti.

Trovare lavoro nella ricerca teorica sulla sicurezza dell’IA

Ci sono meno posti di lavoro disponibili nella ricerca teorica sulla sicurezza dell’IA, quindi è più difficile dare consigli concreti. Avere un dottorato in matematica o in informatica teorica non è sempre necessario, ma è piuttosto comune tra i ricercatori del settore industriale, ed è praticamente richiesto per intraprendere la carriera accademica.

Se fai un dottorato, l’ideale sarebbe sceglierlo in un’area almeno in qualche modo correlata alla ricerca teorica sulla sicurezza dell’IA. Ad esempio, potrebbe riguardare la teoria della probabilità applicata all’IA, oppure l’informatica teorica (cerca i ricercatori che pubblicano su COLT o FOCS).

In alternativa, un possibile percorso è diventare responsabile della ricerca empirica prima di passare alla ricerca teorica.

Rispetto alla ricerca empirica, dovrai saperne relativamente meno di ingegneria e relativamente di più di sicurezza dell’IA come disciplina.

Una volta acquisite le nozioni di base, un possibile passo successivo è provare a leggere gli articoli di uno specifico ricercatore o su un particolare argomento, per poi riassumere ciò che hai scoperto.

Potresti anche provare a dedicare un po’ di tempo (magari 10–100 ore) a documentarti su un argomento e poi dell’altro tempo (magari altre 10–100 ore) a cercare di elaborare nuove idee al riguardo. Ad esempio, potresti provare a formulare delle proposte per risolvere il problema dell’estrazione delle conoscenze latenti. In alternativa, se volessi concentrarti sull’aspetto più matematico, potresti cimentarti con il compito alla fine di questa lezione di Michael Cohen, uno studente di dottorato dell’Università di Oxford.

Se vuoi intraprendere la carriera accademica, leggere una montagna di articoli sembra essere particolarmente importante. Potresti provare a scrivere un articolo di sintesi su un determinato argomento nel tempo libero. È un ottimo modo per padroneggiare una tematica, stimolare nuove idee, individuare lacune e trovare spunti di ricerca. Quando ti candidi per un dottorato o per un lavoro, un tuo articolo sarà un modo fantastico per dimostrare che ami così tanto la ricerca da farla per puro divertimento.

Esistono alcuni programmi di ricerca rivolti a chi è alle prime armi nel settore, come il SERI ML Alignment Theory Scholars Program, al quale potresti candidarti.

Altri modi per acquisire un’esperienza più concreta includono fare tirocini di ricerca, lavorare come assistente di ricerca o conseguire un dottorato, tutte opzioni di cui abbiamo parlato più sopra nella sezione su se e come accedere a un programma di dottorato.

Un aspetto da notare è che molte delle persone con cui parliamo cercano di imparare in modo autonomo. Questa può essere un’ottima idea per alcuni, ma risulta piuttosto difficile per molti, poiché vi è molta meno struttura e supervisione.

Organizzazioni consigliate

Laboratori di IA nel settore industriale che dispongono di team per la sicurezza tecnica empirica o che sono interamente dedicati alla sicurezza:

Anthropic è un’azienda specializzata nella sicurezza dell’IA che lavora alla creazione di sistemi di IA interpretabili e sicuri. Si concentra sulla ricerca empirica sulla sicurezza dell’IA. I cofondatori di Anthropic, Daniela e Dario Amodei, hanno rilasciato un’intervista sul laboratorio nel podcast del Future of Life Institute. Nel nostro podcast abbiamo parlato con Chris Olah, che guida la ricerca di Anthropic sull’interpretabilità, e con Nova DasSarma, che si occupa dell’infrastruttura dei sistemi presso Anthropic.
ARC Evals si occupa di valutare se i sistemi di IA all’avanguardia possano rappresentare rischi catastrofici per la civiltà, compreso il lavoro sperimentale in fase iniziale per lo sviluppo di tecniche e la valutazione dei sistemi prodotti da Anthropic e OpenAI.
Il Center for AI Safety è un’organizzazione non profit che svolge ricerca tecnica e promuove la sicurezza nella più ampia comunità dell’apprendimento automatico.
FAR AI è un’organizzazione di ricerca non profit che promuove e accelera programmi di ricerca che richiedono risorse troppo ingenti per il mondo accademico ma non sono ancora pronti per la commercializzazione da parte dell’industria, tra cui la ricerca sulla robustezza antagonistica, l’interpretabilità e l’apprendimento delle preferenze.
Google DeepMind è probabilmente il gruppo di ricerca più grande e conosciuto che sviluppa l’intelligenza artificiale generale ed è famoso per il suo lavoro nella creazione di AlphaGo, AlphaZero e AlphaFold. Sebbene non sia incentrato principalmente sulla sicurezza, dispone di due team dedicati alla sicurezza dell’IA, con lo Scalable Alignment Team che si concentra sull’allineamento dei sistemi all’avanguardia esistenti, e l’Alignment Team, incentrato su progetti di ricerca volti all’allineamento dei sistemi futuri.
OpenAI, fondata nel 2015, è un laboratorio che sta cercando di sviluppare un’intelligenza artificiale generale che sia sicura e a beneficio di tutta l’umanità. OpenAI è ben nota per i suoi modelli linguistici come GPT-4. Come DeepMind, non si concentra principalmente sulla sicurezza, ma dispone di un team dedicato alla sicurezza e di un team di governance. Jan Leike (co-responsabile del team di superallineamento) ha pubblicato alcuni post sul blog su come concepisce l’allineamento dell’IA.
Ought è un laboratorio di apprendimento automatico che sta sviluppando Elicit, un assistente di ricerca basato sull’IA. Il loro obiettivo è allineare il ragionamento aperto apprendendo le fasi del ragionamento umano e orientare i progressi dell’IA verso il supporto nella valutazione di prove e argomentazioni.
Redwood Research è un’organizzazione di ricerca sulla sicurezza dell’IA, il cui primo grande progetto ha cercato di garantire che i modelli linguistici (come GPT-3) producano output che seguano determinate regole con probabilità molto elevata, al fine di affrontare modalità di guasto troppo rare per manifestarsi nell’addestramento standard.

Laboratori teorici/concettuali sulla sicurezza dell’IA:

L’Alignment Research Center (ARC) sta cercando di elaborare strategie di allineamento che possano essere adottate nell’industria odierna, pur essendo scalabili per i sistemi futuri. Il centro si concentra sul lavoro concettuale, sviluppando strategie che potrebbero funzionare per l’allineamento e che potrebbero rappresentare direzioni promettenti per il lavoro empirico, piuttosto che svolgere direttamente attività empiriche nel campo dell’IA. Il loro primo progetto è stato la pubblicazione di un rapporto sull’estrazione delle conoscenze latenti, ovvero il problema di indurre i sistemi avanzati di IA a rivelare onestamente ciò che credono (o “credono”) riguardo al mondo. Nel nostro podcast abbiamo intervistato il fondatore dell’ARC, Paul Christiano, sulla sua ricerca (prima che fondasse l’ARC).
Il Center on Long-Term Risk lavora per affrontare i rischi più gravi derivanti dall’IA avanzata. Si concentra sui conflitti tra sistemi di IA.
Il Machine Intelligence Research Institute è stato uno dei primi gruppi a preoccuparsi dei rischi derivanti dall’intelligenza artificiale all’inizio degli anni 2000, e il suo team ha pubblicato una serie di articoli sulle questioni di sicurezza e su come risolverle.
Anche alcuni team nei laboratori commerciali svolgono un lavoro più teorico e concettuale sull’allineamento, come ad esempio il lavoro di Anthropic sui modelli predittivi condizionati e il Causal Incentives Working Group presso Google DeepMind.

La sicurezza dell’IA nel mondo accademico (un elenco tutt’altro che esaustivo; sebbene il numero di accademici che si occupano esplicitamente e pubblicamente di sicurezza dell’IA sia esiguo, è possibile svolgere un lavoro rilevante in una gamma molto più ampia di contesti):

L’Algorithmic Alignment Group presso il Laboratorio di informatica e intelligenza artificiale del MIT, guidato da Dylan Hadfield-Menell
Il Center for Human-Compatible AI presso l’Università della California, Berkeley, guidato da Stuart Russell, si concentra sulla ricerca accademica volta a garantire che l’IA sia sicura e vantaggiosa per gli esseri umani. (Il nostro podcast con Stuart Russell analizza il suo approccio a un’IA dimostrabilmente benefica.)
Il gruppo di ricerca di Jacob Steinhardt presso il Dipartimento di Statistica dell’Università della California, Berkeley
Il Gruppo di ricerca sull’allineamento della NYU guidato da Sam Bowman
Il gruppo di ricerca di David Krueger presso il Laboratorio di apprendimento computazionale e biologico dell’Università di Cambridge
Il Laboratorio sui fondamenti dell’IA cooperativa della Carnegie Mellon University
Il gruppo di ricerca sull’Allineamento dei sistemi complessi dell’Università Carolina di Praga

Per saperne di più sulla ricerca tecnica sulla sicurezza dell’IA

Ecco alcuni suggerimenti su dove potresti approfondire l’argomento:

Per aiutarti a orientarti nel settore, ti consigliamo il AI safety starter pack.
La guida passo passo di Charlie Rogers-Smith alle carriere nella sicurezza dell’IA (su cui si basa in gran parte questo articolo) fornisce alcuni consigli concreti e utili, tra cui modi per ottenere dei finanziamenti che ti aiutino a intraprendere una carriera nella ricerca tecnica sulla sicurezza dell’IA.
Carriere nella ricerca sull’IA benefica di Adam Gleave, amministratore delegato di FAR AI
Il nostro profilo del problema sul rischio legato all’IA
Questo corso sulla sicurezza dell’IA a cura di AI Safety Fundamentals (oppure, per una versione più breve, la serie di post di Richard Ngo)
La nostra analisi delle prospettive di carriera per il dottorato in apprendimento automatico
La nostra analisi delle prospettive di carriera per l’ingegneria del software
La nostra analisi delle prospettive di carriera per il lavoro in uno dei principali laboratori di IA

Se preferisci i podcast, ci sono alcuni episodi pertinenti del podcast di 80,000 Hours che potrebbero esserti utili:

Pubblicazione originale: Benjamin Hilton (2023) AI safety technical research, 80,000 Hours, giugno.

1 2 3 4

Ricerca tecnica sulla sicurezza dell’IA

di Benjamin Hilton

Sicurezza dell'IA

I progressi nell’IA — pur potendo essere estremamente vantaggiosi — comportano rischi significativi. Rischi che, come abbiamo sostenuto, potrebbero essere esistenziali.

Ma questi rischi possono essere affrontati.

Con ulteriori progressi nella sicurezza dell’IA, abbiamo l’opportunità di sviluppare un’IA per il bene comune: sistemi sicuri, etici e vantaggiosi per tutti.

Questo articolo spiega come puoi contribuire.

Riepilogo

Vantaggi:

Opportunità di dare un contributo significativo a un’area di ricerca di enorme importanza.
Lavoro intellettualmente stimolante e interessante.
Il settore ha un forte bisogno di ricercatori e ingegneri qualificati ed è nel complesso molto trascurato.

Svantaggi:

A causa della carenza di manager, è difficile trovare lavoro e potrebbe volerci del tempo per costruire il capitale di carriera e le competenze necessarie.
È necessario un solido background quantitativo.
Potrebbe essere molto difficile trovare soluzioni.
Esiste un rischio concreto di causare danni.

Informazioni chiave sull’idoneità:

Se sei un ingegnere del software esperto, potresti candidarti fin da subito per ruoli di collaboratore nella ricerca empirica (anche se non hai una formazione in apprendimento automatico, sebbene questa sia d’aiuto)
Se riuscissi ad accedere a uno dei 10 migliori programmi di dottorato in apprendimento automatico, saresti sulla strada giusta per diventare un responsabile della ricerca
Se hai una solida formazione in matematica o in informatica teorica, probabilmente sarai molto adatto per la ricerca teorica sull’allineamento

Perché la ricerca tecnica sulla sicurezza dell’IA ha un forte impatto

Riteniamo che ciò significhi che questi sistemi futuri rappresentano una minaccia esistenziale per la civiltà.

In realtà, siamo incerti su tutto questo e abbiamo scritto ampiamente sui motivi per cui potremmo sbagliarci riguardo al rischio legato all’IA.

Cosa comporta questo percorso?

Infine, ci sono due ruoli leggermente diversi a cui potresti aspirare:

Nel mondo accademico, la ricerca è spesso guidata dai professori — la caratteristica distintiva fondamentale dell’essere un professore è che dovrai anche tenere lezioni e fare da mentore agli studenti di dottorato (e avrai sicuramente bisogno di un dottorato di ricerca).
Molti dei ruoli di collaboratore nella ricerca empirica (anche se non tutti) sono ricoperti da ingegneri, spesso ingegneri del software. Qui ci concentriamo sui ruoli legati al software che contribuiscono direttamente alla ricerca sulla sicurezza dell’IA (e che spesso richiedono alcune basi di apprendimento automatico) — abbiamo trattato l’ingegneria del software in modo più generale in un profilo di carriera separato.

Di seguito, esamineremo cosa potrebbe comportare lavorare in ciascun percorso. Più avanti, vedremo come potresti accedere a ciascuno di essi.

In cosa consiste il lavoro nel percorso empirico sulla sicurezza dell’IA?

La sicurezza empirica dell’IA tende a coinvolgere team che lavorano direttamente con modelli di apprendimento automatico per identificare eventuali rischi e sviluppare modi per mitigarli.

Ciò significa che il lavoro si concentra sulle tecniche attuali di apprendimento automatico e su quelle che potrebbero essere applicate nell’immediato futuro.

Siamo inoltre entusiasti del lavoro sperimentale volto a sviluppare standard di sicurezza a cui le aziende di IA potrebbero attenersi in futuro — ad esempio, il lavoro condotto da ARC Evals.

Per saperne di più sui tipi di ricerca in corso nei laboratori incentrati sulla sicurezza empirica dell’IA, dai un’occhiata a:

In cosa consiste il lavoro nel percorso teorico della sicurezza dell’IA?

La sicurezza teorica dell’IA è molto più concettuale e matematica. Spesso richiede un attento ragionamento sul comportamento ipotetico dei futuri sistemi.

Tra gli esempi di ricerca nella sicurezza teorica dell’IA ci sono:

Evan Hubinger et al. (2021) Risks from learned optimization in advanced machine learning systems, arXiv:1906.01820 [cs.AI].
Paul Christiano, Ajeya Cotra & Mark Xu (2021) Eliciting Latent Knowledge, Alignment Research Center.
Paul Christiano, Eric Neyman & Mark Xu (2022) Formalizing the presumption of independence, arXiv:2211.06738 [cs.AI].
Zachary Kenton et al. (2022) Discovering agents, arXiv:2208.08345.
Peter Barnett et al. (2023) Active reward learning from multiple teachers, arXiv:2303.00894 [cs.LG].

Alcuni approcci interessanti alla sicurezza dell’IA

Attualmente si stanno perseguendo molti approcci tecnici alla sicurezza dell’IA. Eccone solo alcuni:

Apprendimento scalabile con feedback umano. Tra gli esempi ci sono l’amplificazione iterata, la sicurezza dell’IA attraverso il dibattito, la creazione di assistenti di IA che nutrono incertezze riguardo ai nostri obiettivi e li apprendono interagendo con noi e altri modi per far sì che i sistemi di IA addestrati con la discesa stocastica del gradiente riferiscano in modo veritiero ciò che sanno.
Modellazione delle minacce. Un esempio di questo lavoro potrebbe essere dimostrare la possibilità di capacità pericolose (permettendoci così di studiarle), come sistemi di IA ingannevoli o manipolatori. Puoi leggerne una panoramica in un recente articolo di Google DeepMind. Questo lavoro si suddivide in ricerche che valutano se un modello possieda capacità pericolose (come il lavoro di ARC Evals nella valutazione di GPT-4) e ricerche che valutano se un modello causerebbe danni nella pratica (come la ricerca di Anthropic sul comportamento dei modelli linguistici di grandi dimensioni e questo articolo sull’errata generalizzazione degli obiettivi).
Ricerca sull’interpretabilità. Questo lavoro consiste nello studiare perché i sistemi di IA agiscano in un certo modo e nel cercare di spiegarlo in termini comprensibili all’uomo. Ad esempio, questo articolo ha esaminato come AlphaZero apprenda a giocare a scacchi, mentre questo articolo ha analizzato come individuare la conoscenza latente nei modelli linguistici senza supervisione. Questa categoria include anche l’interpretabilità meccanicistica — ad esempio, Zoom in: an introduction to circuits. Per ulteriori informazioni, vedi questo articolo di sintesi, nonché l’articolo di Hubinger A transparency and interpretability tech tree e quello di Nanda A longlist of theories of impact for interpretability per una panoramica su come la ricerca sull’interpretabilità possa ridurre il rischio esistenziale derivante dall’IA.
Altre ricerche contro l’uso improprio per ridurre i rischi di catastrofe causata dall’uso improprio dei sistemi. (Ne abbiamo parlato più approfonditamente nel nostro profilo del problema sul rischio legato all’IA. Ad esempio, questo lavoro include l’addestramento delle IA affinché siano difficili da utilizzare per scopi pericolosi. (Si noti che vi è una notevole sovrapposizione con le altre ricerche presenti in questo elenco).
Ricerca per aumentare la robustezza delle reti neurali. Questo lavoro consiste nell’assicurare che i tipi di comportamento mostrati dalle reti neurali quando esposte a un determinato insieme di input si mantengano anche in presenza di input a cui non sono mai state esposte prima, al fine di impedire che i sistemi di IA passino a comportamenti non sicuri. Per ulteriori informazioni, vedi la sezione 2 di Unsolved problems in ML safety.
Lavorare allo sviluppo di un’IA cooperativa. Individuare modi per garantire che, anche se i singoli sistemi di IA sembrano sicuri, non producano esiti negativi interagendo con altri sistemi sociotecnici. Per ulteriori informazioni, consulta Open problems in cooperative AI di Dafoe et al. o la Cooperative AI Foundation. Ciò sembra particolarmente rilevante per la riduzione dei ‘rischi S’.
Più in generale, esistono alcuni piani di sicurezza unificati. Per ulteriori informazioni, vedi An overview of 11 proposals for building safe advanced AI di Hubinger o How might we align transformative AI if it’s developed very soon? di Karnofsky.⁠⁠2

Vale la pena notare che esistono molti approcci alla sicurezza dell’IA e gli esperti del settore sono fortemente in disaccordo su ciò che funzionerà o meno.

Inoltre, come accennato in precedenza, molti lavori rilevanti in tutti questi ambiti non sono esplicitamente etichettati come «sicurezza».

È quindi importante riflettere attentamente su come, o se, una determinata ricerca contribuisca a ridurre i rischi che i sistemi di IA potrebbero comportare.

Quali sono gli svantaggi di questa carriera?

Oltre all’idoneità personale, ci sono alcuni altri svantaggi in questa carriera:

L’ingresso può essere molto competitivo (anche se, una volta entrati, le posizioni sono ben retribuite e ci sono molte opzioni di riserva).
Sono indispensabili competenze quantitative — e probabilmente anche competenze di programmazione.
Il lavoro è geograficamente concentrato in pochi luoghi (principalmente la Bay Area in California e Londra, ma ci sono opportunità anche in località con università di eccellenza come Oxford, New York, Pittsburgh e Boston). Detto questo, il lavoro da remoto è sempre più praticabile in molti laboratori di ricerca.
Trovare validi metodi tecnici per ridurre il rischio potrebbe non essere molto trattabile. Sebbene le valutazioni sulla difficoltà varino, e sebbene compiere progressi sia quasi certamente possibile, farlo potrebbe rivelarsi piuttosto difficile. Questo riduce l’impatto che potresti avere lavorando nel settore. Detto questo, se inizi con un ruolo tecnico potresti riuscire a passare a un lavoro di governance dell’IA, poiché questo spesso trae vantaggio dall’formazione tecnica e dall’esperienza nel settore, che la maggior parte delle persone non possiede.
A questo proposito, nel settore vi è un forte disaccordo su ciò che potrebbe funzionare; probabilmente riuscirai a trovare almeno alcune persone che ritengono inutile ciò su cui stai lavorando, qualunque cosa tu finisca per fare.
Ma soprattutto, c’è il rischio di causare danni. Mentre accumuli capitale di carriera e mentre lavori alla ricerca stessa, dovrai prendere decisioni e fare valutazioni difficili per capire se stai lavorando a qualcosa di benefico (vedi i nostri consigli anonimi sul lavorare in ruoli che promuovono le capacità dell’IA). C’è un enorme disaccordo su quali approcci tecnici alla sicurezza dell’IA possano funzionare — e talvolta questo disaccordo si traduce nel ritenere che una determinata strategia aumenterà attivamente i rischi esistenziali legati all’IA.

Quanto guadagnano i ricercatori tecnici nel campo della sicurezza dell’IA?

Come valutare in anticipo la tua idoneità

In genere è necessaria una formazione quantitativa (anche se non necessariamente in informatica o apprendimento automatico) per intraprendere questa carriera.

Esistono due approcci principali che puoi adottare per valutare la tua idoneità, ed è utile seguirli entrambi:

Mettiti alla prova: fai i primi passi nella sezione sottostante dedicata all’apprendimento delle nozioni di base. Se non l’hai ancora fatto, prova a imparare un po’ di Python, oltre a seguire corsi di algebra lineare, analisi matematica e probabilità. E se l’hai già fatto, prova ad approfondire un po’ l’apprendimento profondo e la sicurezza dell’IA. Infine, per molte persone, il modo migliore per mettersi alla prova sarebbe quello di trovare effettivamente un lavoro come ingegnere di apprendimento automatico (non nel campo della sicurezza) (maggiori informazioni nella sezione su come entrare nel settore).
Parla con altre persone per capire se questa carriera è adatta a te: se vuoi diventare un ricercatore tecnico, il nostro team vorrebbe probabilmente parlarti. Possiamo offrirti una consulenza individuale, gratuitamente. Se conosci qualcuno che lavora in questo settore (o in un ambito simile), discuti di questa carriera con questa persona e chiedi la sua opinione sincera. Potresti incontrare persone tramite la nostra comunità. Anche i nostri consulenti possono aiutarti a creare contatti.

Verificare la tua idoneità come collaboratore alla ricerca empirica: in un post sul blog dedicato all’assunzione di ricercatori nel campo della sicurezza, il team di Google DeepMind ha affermato come test approssimativo per il ruolo di ingegnere di ricerca, se riesci a riprodurre un tipico articolo di apprendimento automatico in poche centinaia di ore e i tuoi interessi sono in linea con i nostri, probabilmente saremo interessati a farti un colloquio.
- Considerando in particolare l’ingegneria del software, un responsabile delle assunzioni di Anthropic ha affermato che, se con poche settimane di lavoro riuscissi a scrivere una nuova funzionalità complessa o a correggere un bug molto grave in una delle principali librerie di apprendimento automatico, vorrebbero farti un colloquio immediatamente. (Leggi di più.)
Verificare la tua idoneità per la ricerca teorica: se avessi potuto accedere a uno dei 10 migliori programmi di dottorato in matematica o informatica teorica qualora avessi ottimizzato il tuo percorso di studi per farlo, questo è un buon indicatore della tua idoneità (e in effetti molti ricercatori possiedono questi dottorati). L’Alignment Research Center (una delle poche organizzazioni che, al 2023, assume collaboratori per la ricerca teorica) ha dichiarato di essere disposta ad assumere persone senza alcun background di ricerca. Hanno indicato quattro criteri di idoneità: creatività (ad esempio, potresti avere idee per risolvere problemi aperti nel campo, come l’estrazione delle conoscenze latenti); esperienza nella progettazione di algoritmi, nella dimostrazione di teoremi o nella formalizzazione di concetti; ampia conoscenza della matematica e dell’informatica; e aver riflettuto a fondo sul problema dell’allineamento dell’IA in particolare.
Verificare la tua idoneità come responsabile della ricerca (o per un dottorato di ricerca): la stragrande maggioranza dei responsabili di ricerca possiede un dottorato di ricerca. Inoltre, molti (ma sicuramente non tutti) ruoli di ricerca tecnica sulla sicurezza dell’IA richiederanno un dottorato di ricerca — e se non lo richiedono, possederne uno (o essere il tipo di persona in grado di ottenerlo) aiuterebbe sicuramente a dimostrare la tua idoneità per questo lavoro. Per entrare in uno dei 20 migliori programmi di dottorato di ricerca in apprendimento automatico, probabilmente dovresti pubblicare qualcosa come un articolo per un workshop come primo autore, oltre a un articolo per una conferenza come terzo autore in un importante convegno di apprendimento automatico (come NeurIPS o ICML). (Leggi di più per capire se dovresti conseguire un dottorato di ricerca.

Leggi il nostro articolo sull’idoneità personale per saperne di più su come valutare la tua idoneità ai percorsi di carriera che desideri intraprendere.

Come entrare nel settore

Pertanto, in questa sezione, ti forniremo una guida per entrare nella ricerca tecnica sulla sicurezza dell’IA. Affronteremo quattro domande chiave:

Come imparare le basi
Se convenga conseguire un dottorato di ricerca
Come trovare lavoro nella ricerca empirica
Come trovare lavoro nella ricerca teorica

Ci auguriamo che, alla fine della sezione, tu abbia tutto il necessario per iniziare.

Imparare le basi

Per farti strada nel mondo della ricerca tecnica sulla sicurezza dell’IA, probabilmente avrai bisogno di conoscenze di base di programmazione, matematica e apprendimento profondo.

Esamineremo ciascuno di questi aspetti uno alla volta.

Imparare a programmare

Probabilmente vorrai imparare a programmare in Python, poiché è il linguaggio più diffuso nell’ingegneria dell’apprendimento automatico.

Una volta fatto ciò, hai alcune opzioni:

Impara a programmare da autodidatta. Prova a seguire un corso gratuito per principianti come Automate the Boring Stuff with Python di Al Sweigart. Online ci sono anche molti ottimi corsi introduttivi all’informatica e alla programmazione, tra cui: Introduzione all’informatica di Udacity, Introduzione all’informatica e alla programmazione del MIT, e Metodologia di programmazione di Stanford. Dopodiché, prova a trovare qualcosa che desideri creare e realizzalo, oppure partecipa a un progetto open source. Per esercitarti in vista dei colloqui, prova leetcode o TopCoder, oppure gli esercizi in Cracking the Coding Interview di Gayle McDowell.
Segui un corso universitario. Se frequenti l’università, questa è un’ottima opzione perché ti permette di imparare a programmare mentre il costo opportunità del tuo tempo è inferiore. Puoi anche prendere in considerazione l’idea di laurearti in informatica (o in un’altra materia che preveda molta programmazione).
Impara sul campo. Se riesci a trovare uno stage, acquisirai esperienza pratica e competenze che altrimenti non apprenderesti con i corsi di laurea.
Frequenta un bootcamp. I bootcamp di programmazione mirano a far ottenere a persone con scarse conoscenze di programmazione il lavoro meglio retribuito possibile nel giro di un paio di mesi — anche se alcuni sostengono che le prospettive a lungo termine non siano altrettanto buone per la mancanza di una comprensione approfondita dell’informatica. Course Report è un’ottima guida per scegliere un bootcamp. Fai attenzione a evitare i bootcamp di scarsa qualità. Puoi anche trovare bootcamp online — per chi è completamente alle prime armi con la programmazione — incentrati sull’apprendimento automatico, come il Python for Data Science and Machine Learning Bootcamp di Udemy.

Imparare la matematica

In generale, consigliamo di seguire un corso di laurea in materie quantitative (come matematica, informatica o ingegneria), la maggior parte dei quali coprirà abbastanza bene tutte e tre le aree.

Se vuoi studiare in autonomia (soprattutto se non hai una laurea in materie quantitative), ecco alcune possibili risorse:

Analisi matematica: la serie di video di 3blue1brown sull’analisi matematica potrebbe essere un buon punto di partenza. Potresti anche seguire dei corsi universitari registrati: il corso del MIT di analisi matematica a una variabile (che richiede solo conoscenze di algebra e trigonometria di livello liceale), seguito dal corso del MIT di analisi matematica vettoriale e a più variabili.
Algebra lineare: anche in questo caso, suggeriamo la serie di video di 3blue1brown sull’algebra lineare come punto di partenza. Nel suo post sulle carriere nell’allineamento tecnico, Rogers-Smith raccomanda Linear Algebra Done Right di Sheldon Axler. Infine, se preferisci le lezioni frontali, prova il corso universitario di algebra lineare del MIT (tieni presente, tuttavia, che questo corso presuppone la conoscenza dell’analisi a più variabili).
Probabilità: dai un’occhiata al corso universitario del MIT su probabilità e variabili casuali.

Potresti trovare risorse che coprono tutte queste aree, come il corso Matematica per l’apprendimento automatico dell’Imperial College.

Imparare le basi dell’apprendimento automatico

Tenendo a mente questa avvertenza, ecco alcuni suggerimenti da cui potresti partire se desideri studiare in autonomia le nozioni di base:

La serie di 3blue1brown sulle reti neurali è davvero un ottimo punto di partenza per i principianti.
Quando studiavo, ho usato Neural Networks and Deep Learning: si tratta di un libro di testo online, ideale se hai familiarità con la matematica, che include anche alcuni esercizi utili.
Corsi introduttivi online come fast.ai (incentrati sulle applicazioni pratiche), Full Stack Deep Learning e i vari corsi su deeplearning.ai.
Per maggiori dettagli, consulta corsi universitari come Introduzione all’apprendimento automatico del MIT o Apprendimento profondo della NYU per informazioni ancora più dettagliate. Consigliamo inoltre la serie di lezioni di Google DeepMind.

Saperne di più sulla sicurezza dell’IA

Se intendi lavorare come ricercatore sulla sicurezza dell’IA, di solito è utile conoscere la sicurezza dell’IA.

Poiché il campo è ancora così nuovo, probabilmente non ci sono (ancora) corsi universitari da seguire. Dovrai quindi dedicarti allo studio autonomo. Ecco alcuni punti da cui potresti partire:

La sezione 3 del nostro profilo del problema sulla prevenzione di una catastrofe legata all’IA offre un’introduzione ai problemi che la sicurezza dell’IA cerca di risolvere (con particolare attenzione all’allineamento).
Il canale YouTube di Rob Miles è ricco di video introduttivi divulgativi e ben spiegati che non richiedono molte conoscenze preliminari di apprendimento automatico.
AXRP — il podcast dedicato alla ricerca sul rischio esistenziale legato all’IA — è ricco di conversazioni approfondite (e piacevoli) con i ricercatori sulle loro ricerche.
I corsi di AI Safety Fundamentals, in particolare l’AI Alignment Course, eventualmente seguito da Alignment 201, che offrono un’introduzione alla ricerca sul problema dell’allineamento.
Intro to ML Safety, un corso del Center for AI Safety, si concentra sulla resistenza ai pericoli (“robustezza”), sull’identificazione dei pericoli (“monitoraggio”) e sulla riduzione dei pericoli sistemici (“sicurezza sistemica”), oltre che sull’allineamento.

Dovresti conseguire un dottorato di ricerca?

Alcuni ruoli di ricerca tecnica richiedono un dottorato di ricerca — ma molti altri no, e il dottorato non è l’opzione migliore per tutti.

Quindi, se stai pensando di intraprendere un dottorato di ricerca, ecco alcuni aspetti da considerare:

La tua visione a lungo termine: Se il tuo obiettivo è diventare responsabile della ricerca, questo suggerisce che potresti voler conseguire un dottorato — la stragrande maggioranza dei responsabili della ricerca possiede un dottorato. Se desideri principalmente essere un collaboratore (ad esempio, un ingegnere di apprendimento automatico o del software), questo suggerisce che potresti non averne bisogno. Se sei indeciso, dovresti provare a fare qualcosa per verificare la tua idoneità personale per ciascuna opzione, ad esempio partecipando a un progetto o a uno stage. Potresti provare a ricoprire un ruolo di assistente di ricerca pre-dottorato — se la ricerca che svolgi è pertinente alla tua futura carriera, questa esperienza può rappresentare un buon capitale di carriera, indipendentemente dal fatto che tu decida o meno di conseguire un dottorato.
L’argomento della tua ricerca: È facile lasciarsi vincolare da un argomento di dottorato di cui non sei convinto. Se il dottorato che stai prendendo in considerazione ti permettesse di lavorare su qualcosa che sembra utile per la sicurezza dell’IA, probabilmente — a parità di condizioni — sarebbe meglio per la tua carriera, e anche la ricerca stessa potrebbe avere un impatto positivo.
Tutoraggio: Come sono i supervisori o i manager nelle opportunità a tua disposizione? Potresti trovare ruoli di ingegneria dell’apprendimento automatico o di ricerca nell’industria dove imparare molto di più rispetto a un dottorato — o viceversa. Quando scegli un supervisore, prova a contattare gli studenti, attuali o passati, del potenziale supervisore per fare loro qualche domanda sincera. (Vedi anche questo articolo su come scegliere un supervisore di dottorato.)
La tua idoneità all’ambiente di lavoro: Fare un dottorato significa lavorare in autonomia con pochissima supervisione o feedback per lunghi periodi di tempo. Alcune persone danno il meglio di sé in queste condizioni! Altre invece proprio no e trovano i dottorati estremamente difficili.

Per saperne di più, consulta la nostra rassegna più dettagliata (ma meno aggiornata) sui dottorati in apprendimento automatico.

La scelta di fare un dottorato non dipende (molto) dalle tempistiche

Riteniamo plausibile che svilupperemo un’IA che potrebbe essere enormemente trasformativa per la società entro la fine degli anni ‘30.

A parità di condizioni, tale possibilità potrebbe giustificare il tentativo di avere un impatto fin da subito, piuttosto che dedicare cinque (o più) anni a un dottorato di ricerca.

In definitiva, però, quanto tu, in particolare, sia adatto a un determinato dottorato è probabilmente un fattore molto più importante rispetto a quando verrà sviluppata l’IA.

Siamo inoltre estremamente incerti riguardo alle stime su quando potremmo sviluppare un’IA trasformativa. Questa incertezza riduce il costo atteso di qualsiasi ritardo.

Ci sono molte altre considerazioni in merito: per una panoramica di massima e alcune riflessioni, vedi questo post di Alex Lawsen, consulente di 80,000 Hours, oltre ai commenti.

Come accedere a un dottorato di ricerca

Per arrivare a quel punto, ti servirà un bel po’ di fortuna e dovrai anche trovare il modo di acquisire un po’ di esperienza di ricerca.

Farti presentare, ad esempio da un professore di cui hai seguito i corsi
Menzionare ciò che hai fatto (i tuoi voti, i corsi pertinenti che hai seguito, il tuo GitHub, eventuali articoli di ricerca sull’apprendimento automatico che hai provato a replicare per fare pratica)
Leggere alcuni dei loro articoli e i principali articoli del settore, e menzionarli nell’e-mail
Fare domanda per i finanziamenti disponibili per gli studenti che vogliono lavorare nella sicurezza dell’IA, e far sapere che disponi di un finanziamento per lavorare con loro

Trovare lavoro nella ricerca empirica sulla sicurezza dell’IA

Per arrivare a ricoprire un ruolo nella ricerca empirica, probabilmente dovrai costruirti un po’ di capitale di carriera.

Quanta esperienza serve per ottenere un lavoro? Vale la pena ribadire i test che abbiamo esaminato sopra per i ruoli di collaboratore:

In un post sul blog dedicato alle assunzioni di ricercatori nel campo della sicurezza, il team di DeepMind ha affermato: come test approssimativo per il ruolo di ingegnere di ricerca, se sei in grado di riprodurre un tipico articolo di apprendimento automatico in poche centinaia di ore e i tuoi interessi sono in linea con i nostri, probabilmente saremo interessati a farti un colloquio.
Per quanto riguarda specificamente l’ingegneria del software, un responsabile delle assunzioni di Anthropic ha affermato che se, con poche settimane di lavoro, riuscissi a scrivere una nuova funzionalità o a correggere un grave bug in una delle principali librerie di apprendimento automatico, vorrebbero farti immediatamente un colloquio. (Leggi di più.)

Acquisire esperienza nell’ingegneria del software / apprendimento automatico. Ad esempio, se stai frequentando un corso di laurea, potresti provare a svolgere uno stage come ingegnere del software durante l’estate. DeepMind offre stage per studenti che abbiano completato almeno due anni di studi in una materia tecnica.
Replicare gli articoli scientifici. Un ottimo modo per acquisire esperienza nell’ingegneria dell’apprendimento automatico è replicare alcuni articoli nel sottosettore in cui vorresti lavorare. Richard Ngo, ricercatore di governance dell’IA presso OpenAI, ha scritto alcuni consigli sulla replica di articoli. Tieni però presente che replicare articoli può essere piuttosto difficile: dai un’occhiata al blog di Amid Fish su ciò che ha imparato replicando un articolo sull’apprendimento per rinforzo profondo. Infine, Rogers-Smith offre alcuni suggerimenti sugli articoli da replicare. Se dedichi del tempo alla replica di articoli, ricorda che quando arriverai a candidarti per delle posizioni, sarà davvero utile poter dimostrare di aver svolto questo lavoro. Quindi prova a caricare il tuo lavoro su GitHub o a scrivere un blog sui tuoi progressi. E se stai pensando di dedicarci molto tempo (ad esempio, più di 100 ore), cerca di ottenere qualche feedback sugli articoli che potresti replicare prima di iniziare — potresti persino contattare un laboratorio per cui vorresti lavorare.
Seguire un corso più approfondito sulla ricerca empirica in materia di sicurezza dell’IA. Redwood Research ha organizzato il bootcamp MLAB, ed è possibile richiedere l’accesso al loro programma di studi qui. Potresti anche dare un’occhiata a questo programma di apprendimento profondo di Jacob Hilton, un ricercatore presso l’Alignment Research Center — anche se probabilmente è molto impegnativo senza un mentore.⁠⁠4 L’Alignment Research Engineer Accelerator è un programma che utilizza questo percorso formativo. Alcuni mentori del SERI ML Alignment Theory Scholars Program si concentrano sulla ricerca empirica.
Approfondire un sottocampo dell’apprendimento profondo. In particolare, suggeriamo l’elaborazione del linguaggio naturale (nello specifico i trasformatori — vedi questa lezione come punto di partenza) e l’apprendimento per rinforzo (dai un’occhiata a Deep Reinforcement Learning: Pong from Pixels di Andrej Karpathy e a Spinning Up in Deep RL di OpenAI). Cerca di arrivare al punto in cui conosci i progressi recenti più importanti.

Trovare lavoro nella ricerca teorica sulla sicurezza dell’IA

In alternativa, un possibile percorso è diventare responsabile della ricerca empirica prima di passare alla ricerca teorica.

Rispetto alla ricerca empirica, dovrai saperne relativamente meno di ingegneria e relativamente di più di sicurezza dell’IA come disciplina.

Esistono alcuni programmi di ricerca rivolti a chi è alle prime armi nel settore, come il SERI ML Alignment Theory Scholars Program, al quale potresti candidarti.

Organizzazioni consigliate

Laboratori di IA nel settore industriale che dispongono di team per la sicurezza tecnica empirica o che sono interamente dedicati alla sicurezza:

Anthropic è un’azienda specializzata nella sicurezza dell’IA che lavora alla creazione di sistemi di IA interpretabili e sicuri. Si concentra sulla ricerca empirica sulla sicurezza dell’IA. I cofondatori di Anthropic, Daniela e Dario Amodei, hanno rilasciato un’intervista sul laboratorio nel podcast del Future of Life Institute. Nel nostro podcast abbiamo parlato con Chris Olah, che guida la ricerca di Anthropic sull’interpretabilità, e con Nova DasSarma, che si occupa dell’infrastruttura dei sistemi presso Anthropic.
ARC Evals si occupa di valutare se i sistemi di IA all’avanguardia possano rappresentare rischi catastrofici per la civiltà, compreso il lavoro sperimentale in fase iniziale per lo sviluppo di tecniche e la valutazione dei sistemi prodotti da Anthropic e OpenAI.
Il Center for AI Safety è un’organizzazione non profit che svolge ricerca tecnica e promuove la sicurezza nella più ampia comunità dell’apprendimento automatico.
FAR AI è un’organizzazione di ricerca non profit che promuove e accelera programmi di ricerca che richiedono risorse troppo ingenti per il mondo accademico ma non sono ancora pronti per la commercializzazione da parte dell’industria, tra cui la ricerca sulla robustezza antagonistica, l’interpretabilità e l’apprendimento delle preferenze.
Google DeepMind è probabilmente il gruppo di ricerca più grande e conosciuto che sviluppa l’intelligenza artificiale generale ed è famoso per il suo lavoro nella creazione di AlphaGo, AlphaZero e AlphaFold. Sebbene non sia incentrato principalmente sulla sicurezza, dispone di due team dedicati alla sicurezza dell’IA, con lo Scalable Alignment Team che si concentra sull’allineamento dei sistemi all’avanguardia esistenti, e l’Alignment Team, incentrato su progetti di ricerca volti all’allineamento dei sistemi futuri.
OpenAI, fondata nel 2015, è un laboratorio che sta cercando di sviluppare un’intelligenza artificiale generale che sia sicura e a beneficio di tutta l’umanità. OpenAI è ben nota per i suoi modelli linguistici come GPT-4. Come DeepMind, non si concentra principalmente sulla sicurezza, ma dispone di un team dedicato alla sicurezza e di un team di governance. Jan Leike (co-responsabile del team di superallineamento) ha pubblicato alcuni post sul blog su come concepisce l’allineamento dell’IA.
Ought è un laboratorio di apprendimento automatico che sta sviluppando Elicit, un assistente di ricerca basato sull’IA. Il loro obiettivo è allineare il ragionamento aperto apprendendo le fasi del ragionamento umano e orientare i progressi dell’IA verso il supporto nella valutazione di prove e argomentazioni.
Redwood Research è un’organizzazione di ricerca sulla sicurezza dell’IA, il cui primo grande progetto ha cercato di garantire che i modelli linguistici (come GPT-3) producano output che seguano determinate regole con probabilità molto elevata, al fine di affrontare modalità di guasto troppo rare per manifestarsi nell’addestramento standard.

Laboratori teorici/concettuali sulla sicurezza dell’IA:

L’Alignment Research Center (ARC) sta cercando di elaborare strategie di allineamento che possano essere adottate nell’industria odierna, pur essendo scalabili per i sistemi futuri. Il centro si concentra sul lavoro concettuale, sviluppando strategie che potrebbero funzionare per l’allineamento e che potrebbero rappresentare direzioni promettenti per il lavoro empirico, piuttosto che svolgere direttamente attività empiriche nel campo dell’IA. Il loro primo progetto è stato la pubblicazione di un rapporto sull’estrazione delle conoscenze latenti, ovvero il problema di indurre i sistemi avanzati di IA a rivelare onestamente ciò che credono (o “credono”) riguardo al mondo. Nel nostro podcast abbiamo intervistato il fondatore dell’ARC, Paul Christiano, sulla sua ricerca (prima che fondasse l’ARC).
Il Center on Long-Term Risk lavora per affrontare i rischi più gravi derivanti dall’IA avanzata. Si concentra sui conflitti tra sistemi di IA.
Il Machine Intelligence Research Institute è stato uno dei primi gruppi a preoccuparsi dei rischi derivanti dall’intelligenza artificiale all’inizio degli anni 2000, e il suo team ha pubblicato una serie di articoli sulle questioni di sicurezza e su come risolverle.
Anche alcuni team nei laboratori commerciali svolgono un lavoro più teorico e concettuale sull’allineamento, come ad esempio il lavoro di Anthropic sui modelli predittivi condizionati e il Causal Incentives Working Group presso Google DeepMind.

L’Algorithmic Alignment Group presso il Laboratorio di informatica e intelligenza artificiale del MIT, guidato da Dylan Hadfield-Menell
Il Center for Human-Compatible AI presso l’Università della California, Berkeley, guidato da Stuart Russell, si concentra sulla ricerca accademica volta a garantire che l’IA sia sicura e vantaggiosa per gli esseri umani. (Il nostro podcast con Stuart Russell analizza il suo approccio a un’IA dimostrabilmente benefica.)
Il gruppo di ricerca di Jacob Steinhardt presso il Dipartimento di Statistica dell’Università della California, Berkeley
Il Gruppo di ricerca sull’allineamento della NYU guidato da Sam Bowman
Il gruppo di ricerca di David Krueger presso il Laboratorio di apprendimento computazionale e biologico dell’Università di Cambridge
Il Laboratorio sui fondamenti dell’IA cooperativa della Carnegie Mellon University
Il gruppo di ricerca sull’Allineamento dei sistemi complessi dell’Università Carolina di Praga

Per saperne di più sulla ricerca tecnica sulla sicurezza dell’IA

Ecco alcuni suggerimenti su dove potresti approfondire l’argomento:

Per aiutarti a orientarti nel settore, ti consigliamo il AI safety starter pack.
La guida passo passo di Charlie Rogers-Smith alle carriere nella sicurezza dell’IA (su cui si basa in gran parte questo articolo) fornisce alcuni consigli concreti e utili, tra cui modi per ottenere dei finanziamenti che ti aiutino a intraprendere una carriera nella ricerca tecnica sulla sicurezza dell’IA.
Carriere nella ricerca sull’IA benefica di Adam Gleave, amministratore delegato di FAR AI
Il nostro profilo del problema sul rischio legato all’IA
Questo corso sulla sicurezza dell’IA a cura di AI Safety Fundamentals (oppure, per una versione più breve, la serie di post di Richard Ngo)
La nostra analisi delle prospettive di carriera per il dottorato in apprendimento automatico
La nostra analisi delle prospettive di carriera per l’ingegneria del software
La nostra analisi delle prospettive di carriera per il lavoro in uno dei principali laboratori di IA

Se preferisci i podcast, ci sono alcuni episodi pertinenti del podcast di 80,000 Hours che potrebbero esserti utili:

Pubblicazione originale: Benjamin Hilton (2023) AI safety technical research, 80,000 Hours, giugno.

1 2 3 4