Le “ancore biologiche” servono a delimitare, non a individuare, le tempistiche dell’IA
In precedenza ho riassunto il metodo di Ajeya Cotra delle “ancore biologiche” per la previsione sull’IA trasformativa, detto anche “Bio-ancore”. Qui voglio cercare di chiarire perché trovo questo metodo così utile, anche se sono d’accordo con la maggior parte delle cose specifiche che ho sentito dire sulle sue debolezze (a volte da persone che non riescono a capire perché io abbia puntato su di esso).
Un paio di premesse:
Solo per ristabilire il contesto, ecco alcune citazioni essenziali dal mio post principale sugli ancoraggi biologici:
L’idea di base è:
— I moderni modelli di intelligenza artificiale possono “imparare” a svolgere compiti attraverso un processo (economicamente costoso) noto come “addestramento”. Si può pensare all’addestramento come a un’enorme quantità di prove ed errori. Ad esempio, i modelli di intelligenza artificiale per il riconoscimento vocale ricevono un file audio di una persona che parla, tirano a indovinare cosa sta dicendo la persona e poi ricevono la risposta giusta. Facendo questo per milioni di volte, “imparano” a tradurre in modo affidabile il parlato in testo. Altro: — Quanto più grande è un modello di IA e quanto più complesso è il compito, tanto maggiore è il costo del processo di previsione [o ]. Alcuni modelli di IA sono più grandi di altri; ad oggi, nessuno è nemmeno lontanamente “grande come il cervello umano” (il significato di questo termine verrà approfondito più avanti). Altro: — Il metodo delle bio-ancore chiede: Altro:
…Il quadro fornisce un modo per pensare a come potrebbe essere contemporaneamente vero che (a) i sistemi di IA di un decennio fa non sembravano affatto impressionanti; (b) i sistemi di IA di oggi possono fare molte cose impressionanti, ma sono ancora molto lontani da ciò che gli esseri umani sono in grado di fare; (c) i prossimi decenni (o anche i prossimi 15 anni) potrebbero facilmente vedere lo sviluppo di IA trasformative.
Inoltre, penso che valga la pena di notare una coppia di punti di alto livello di “Bioanchors” che non dipendono da tante stime puntuali e ipotesi:
— Nel prossimo decennio o giù di lì, probabilmente vedremo per la prima volta modelli di IA con “dimensioni” paragonabili a quelle del cervello umano. — Se i modelli di IA continueranno a diventare più grandi e più efficienti ai ritmi stimati da “Bioanchors"", probabilmente nel corso del secolo diventerà accessibile raggiungere alcune pietre miliari piuttosto estreme — la “fascia alta” di ciò che “Bioanchors” ritiene possa essere necessario. Queste sono difficili da riassumere, ma si vedano i quadri “rete neurale a lungo orizzonte” e “ancora di evoluzione” nel rapporto. — Un modo per pensare a questo è che nel prossimo secolo passeremo probabilmente da “non c’è abbastanza potenza di calcolo per far funzionare un modello di dimensioni umane” a “potenza di calcolo estremamente abbondante, tanto quanto le stime abbastanza conservative di ciò che potrebbe essere necessario”. La potenza di calcolo non è l’unico fattore di progresso dell’IA, ma nella misura in cui altri fattori (algoritmi, processi di addestramento) diventano i nuovi colli di bottiglia, ci saranno probabilmente potenti incentivi (e più decenni) per risolverli.
“Bioanchors”, in un certo senso, “dà per buono che ”l’IA trasformativa sia costruita in un modo particolare: semplice forza bruta per tentativi ed errori di compiti ad alta potenza di calcolo (come previsto qui). Le sue previsioni principali si basano su questo quadro: stima quando ci sarà abbastanza potenza di calcolo per eseguire una certa quantità di prove ed errori, e la chiama “stima di quando verrà sviluppata l’IA trasformativa”.
Ritengo improbabile che, se e quando l’IA trasformativa verrà sviluppata, il modo in cui verrà sviluppata assomiglierà a questo tipo di processo di prove ed errori di compiti a lungo termine.
Se dovessi indovinare come si svilupperà l’IA trasformativa, sarebbe più simile a quanto segue:
Come ho notato nel mio precedente post:
Le bioancore potrebbero essere troppo aggressive, perché danno per buono che “la potenza di calcolo sia il collo di bottiglia”:
— Presuppongono che se si potesse pagare tutta la potenza di calcolo per eseguire l’“addestramento” a forza bruta descritto sopra per i compiti fondamentali (ad esempio, l’automazione del lavoro scientifico), ne seguirebbe (probabilmente) un’IA trasformativa. — L’addestramento di un modello di IA non richiede solo l’acquisto di potenza di calcolo. È necessario assumere ricercatori, condurre esperimenti e, cosa forse più importante, trovare un modo per impostare il processo di “prova ed errore” in modo che l’IA possa fare un numero enorme di “tentativi” per il compito fondamentale. Potrebbe risultare proibitivo farlo.
Come già detto, l’IA trasformativa potrebbe richiedere molto tempo per ragioni come “è estremamente difficile ottenere dati e ambienti di addestramento per alcuni compiti cruciali” o “alcuni compiti non sono semplicemente apprendibili nemmeno con grandi quantità di prove ed errori”.
L’IA trasformativa potrebbe anche essere sviluppata molto più velocemente di quanto implica l’articolo. Ad esempio, una svolta nel modo in cui progettiamo gli algoritmi di IA, forse ispirata dalle neuroscienze, potrebbe portare ad IA in grado di fare ~tutto ciò che i cervelli umani possono fare, senza aver bisogno dell’enorme quantità di prove ed errori che stimati dall’articolo (basandosi sull’estrapolazione dai sistemi di apprendimento automatico di oggi).
Ho elencato altre previsioni come queste qui.
Per quanto ne so, i modelli di cambiamento climatico cercano di esaminare ogni fattore principale che potrebbe causare un aumento o un abbassamento delle temperature in futuro; producono una stima di massima per ciascuno di essi e li mettono tutti insieme in una previsione delle temperature.
In un certo senso, si può pensare a queste stime come a una “migliore ipotesi” (o addirittura a una “simulazione”) delle temperature future: pur non essendo certe o precise, esse identificano temperature particolari e specifiche sulla base di tutti i principali fattori che potrebbero farle salire o scendere.
Molti altri casi in cui qualcuno stima qualcosa di incerto (ad esempio, la popolazione futura) hanno proprietà simili.
Per il modello delle ancore biologiche non è così. Ci sono fattori che ignora e che oggi sono identificabili e quasi certamente significativi. Quindi, in un certo senso di importanza, non sta “individuando” l’anno più probabile per lo sviluppo trasformativo dell’IA.
Il modello delle ancore biologiche stima alcune cose difficili da stimare, come ad esempio:
Riconosco una significativa incertezza in queste previsioni, oltre al fatto che (a parità di altre condizioni) l’incertezza significa che dovremmo essere scettici.
Detto questo:
Non ho intenzione di difendere ulteriormente questa posizione in questa sede, ma potrei farlo in futuro se dovessi ricevere molte critiche in merito.
Riconosciute tutte le debolezze di cui sopra, ecco alcune cose che credo sulle tempistiche di sviluppo dell’IA, in gran parte basate sull’analisi del modello delle bioancore:
Questo soprattutto perché, secondo il modello delle bio-ancore, a quel punto sarà possibile fare delle previsioni assurdamente grandi, probabilmente le più grandi che si possano immaginare, basate sull’uso di modelli di IA grandi 10 volte il cervello umano e compiti che richiedono un numero enorme di potenze di calcolo per essere eseguiti anche una sola volta. In un certo senso, per importanza, “nuoteremo nella potenza di calcolo”. (Per saperne di più su questa intuizione si veda Fun with +12 OOMs of compute.)
Ma conta anche il fatto che il 2060 è tra 40 anni, vale a dire che abbiamo 40 anni per:
Considerando la quantità già crescente di investimenti, talenti e applicazioni potenziali per i sistemi di IA di oggi, 40 anni sembrano un periodo piuttosto lungo per fare grandi progressi su questi fronti. Per contestualizzare, 40 anni sono circa il tempo trascorso tra il rilascio dell’Apple IIe e oggi.
Traducendo il mio “senso di lieve sorpresa” in una probabilità (vedi qui per capire cosa cerco di fare quando parlo di probabilità; mi aspetto di scrivere di più su questo argomento in futuro):
Entro il 2100, il modello delle bio ancore prevede che sarà possibile non solo eseguire addestramenti di dimensioni quasi ridicole (sempre in base alle previsioni sulle dimensioni dei modelli e sul costo per prova dei compiti), ma anche eseguire un numero di computazioni pari a quello di tutti gli animali della storia messi insieme, al fine di ricreare i progressi compiuti dalla selezione naturale.
Inoltre, il 2100 è tra 80 anni, un periodo più lungo di quello trascorso da quando sono stati sviluppati i computer digitali programmabili. Si tratta di un sacco di tempo per trovare nuovi approcci agli algoritmi di IA, integrare l’IA nell’economia, raccogliere dati di addestramento, affrontare i casi in cui gli attuali sistemi di IA non sembrano in grado di apprendere particolari compiti, ecc.
A me sembra che il 2100 sia qualcosa di simile a “Più o meno il tempo necessario per raccontare una storia ragionevole, e anche di più”. Di conseguenza, sarei molto sorpreso se per allora non venisse sviluppata un’IA trasformativa, e attribuisco circa 2/3 di possibilità che lo sia. E:
Il modello delle bioancore delinea scenari concreti e plausibili in cui la potenza di calcolo a prezzi accessibili è sufficiente per addestrare un’IA trasformativa entro il 2036 (link). Conosco alcuni ricercatori di IA che ritengono che questi scenari siano più che plausibili: le loro intuizioni affermano che i giganteschi cicli di addestramento previsti dall’iniziativa delle bio-ancore non sono necessari e che le [ancore] più aggressive (https://docs.google.com/document/d/1IJ6Sr-gPeXdSJugFulwIpvavc0atjHGM82QjIfUSBGQ/edit#heading=h.cebevgwmadke) del rapporto sono sottovalutate.
Penso anche che il modello delle bio-ancore sottovaluti un po’ l’ipotesi di una “IA trasformativa entro il 2036”, perché è difficile dire quali conseguenze avrà l’attuale boom di investimenti e di interesse per l’IA. Se l’IA sta per diventare una parte sensibilmente più grande dell’economia (sicuramente un “se”, ma compatibile con le recenti tendenze del mercato), questo potrebbe portare a rapidi miglioramenti lungo molte possibili dimensioni. In particolare, potrebbe verificarsi un ciclo di retroazione in cui le nuove applicazioni redditizie dell’IA stimolano maggiori investimenti nell’IA, che a loro volta stimolano miglioramenti più rapidi del previsto nell’efficienza degli algoritmi e del calcolo dell’IA, che a loro volta portano ad applicazioni più redditizie… ecc.
Tenendo conto di tutto questo, penso che la probabilità di un’IA trasformativa entro il 2036 sia almeno del 10 %, e faccio fatica a capire chi dice che è inferiore.
Detto questo, tutto quanto detto sopra è un insieme di “potrebbe”: ogni caso che ho sentito di “IA trasformativa entro il 2036” sembra richiedere un certo numero di pezzi incerti da incastrare al posto giusto.
Per questo faccio fatica a capire chi pensa che ci sia una probabilità >50 % di avere un’IA trasformativa entro il 2036.
Quello delle bio-ancore è un approccio un po’ diverso da quello “abituale” alle stime. Non “individua” le date probabili per l’IA trasformativa, né delinea tutti i fattori fondamentali.
Ma credo che sia molto utile, insieme a un ragionamento informale sui fattori che non modella, per “delimitare” le tempistiche di sviluppo dell’IA trasformativa: fare una serie di affermazioni sulla falsariga di “Sarebbe sorprendente se l’IA trasformativa non venisse sviluppata entro il ____” o “Si potrebbe difendere una probabilità del ___% entro tale data, ma credo che una probabilità del ___% sarebbe difficile da comprendere”.
E questo tipo di “limite” sembra abbastanza utile per lo scopo che mi interessa di più: decidere quanto seriamente prendere la possibilità del secolo più importante. Io ritengo che questa possibilità sia molto seria, anche se lontana dalla certezza, e quella delle bio-ancore è per me una parte importante di questo quadro.