Previsioni sull’IA trasformativa: il metodo delle “ancore biologiche” in breve

Ciononostante, ritengo che sia la migliore metodologia di “stima” disponibile per le tempistiche di sviluppo dell’IA trasformativa ad oggi. E come discusso nella sezione finale, si può fare un passo indietro rispetto a molti dettagli per notare che in questo secolo probabilmente raggiungeremo alcune delle pietre miliari più “estreme” riportate nella metodologia, che suggeriscono fortemente la fattibilità di un’IA trasformativa.

(Nota: ho scritto anche un post di approfondimento su questo approccio per i lettori scettici. Vedi Le “ancore biologiche” servono a delimitare, non a individuare, le tempistiche dell’IA).

L’idea di base è che:

• I moderni modelli di intelligenza artificiale possono “imparare” a svolgere compiti attraverso un processo (costoso) noto come “addestramento”. Si può pensare all’addestramento come a un’enorme quantità di tentativi ed errori. Ad esempio, i modelli di intelligenza artificiale per il riconoscimento vocale ricevono un file audio di una persona che parla, tirano a indovinare cosa sta dicendo la persona e poi ricevono la risposta giusta. Facendo questo per milioni di volte, “imparano” a tradurre in modo affidabile il parlato in testo. Altro: Addestramento
• Quanto più grande è il modello di IA e quanto più complesso è il compito, tanto più costoso è il processo di addestramento. Alcuni modelli di IA sono più grandi di altri; ad oggi, nessuno è nemmeno lontanamente “grande come il cervello umano” (il significato di questo termine sarà spiegato più avanti). Altro: Dimensione del modello e tipo di compito
• Il metodo degli ancoraggi biologici si chiede: “In base agli schemi abituali dei costi di addestramento, quanto costerebbe addestrare un modello di IA grande come un cervello umano per eseguire i compiti più difficili per gli esseri umani? E quando sarà abbastanza economico da potersi aspettare che qualcuno lo faccia? ” Altro: Stimare la spesa

Il metodo degli Ancoraggi Biologici prevede un’ampia varietà di approcci a questa domanda, generando stime che vanno da quelle “aggressive” (che prevedono un’IA trasformativa in tempi brevi) a quelle “conservative” (più avanti nel tempo). Ma praticamente da ognuno di questi punti di vista, il modello prevede un’alta probabilità di raggiungere un’Intelligenza Artificiale trasformativa nel corso di questo secolo.

Ora mi soffermerò un po’ di più su ciascuno di questi aspetti. Questa è la parte più densa di questa serie, e alcuni potrebbero preferire attenersi al riassunto precedente e saltare al prossimo post.

Si noti che gli Ancoraggi Biologici utilizzano una serie di approcci diversi (che vengono chiamati “ancoraggi”) per stimare le tempistiche di sviluppo dell’IA trasformativa, e li combinano in un’unica visione aggregativa. In questo riassunto, mi concentro soprattutto su un particolare insieme di approcci, chiamati “ancoraggi della rete neurale”, che guidano la maggior parte delle tempistiche aggregative del rapporto. Alcune delle mie affermazioni valgono per tutti gli ancoraggi, ma altre solo per gli ancoraggi della rete neurale.

Addestramento

Come discusso in precedenza, ci sono essenzialmente due modi per “insegnare” a un computer a svolgere un compito:

1. Programmare” istruzioni estremamente specifiche, passo dopo passo, per completare il compito. Quando si riesce a farlo, il computer è generalmente in grado di eseguire le istruzioni in modo molto rapido, affidabile ed economico. Ad esempio, si può programmare un computer per esaminare ogni dato di un database e selezionare quelli che corrispondono ai termini di ricerca dell’utente: in questo modo si “istruisce” il computer su come eseguire esattamente questa operazione e il computer è in grado di eseguirla molto bene.
2. “Addestrare” un’intelligenza artificiale a svolgere il compito puramente tramite tentativi ed errori. Oggi, il modo più comune per farlo è utilizzare una “rete neurale”, che si potrebbe considerare una sorta di “cervello digitale” che inizia in uno stato casuale: non è ancora stato impostato per fare cose specifiche. Per esempio, diciamo che vogliamo che un’intelligenza artificiale sia in grado di dire se una foto è di un cane o di un gatto. È difficile fornire istruzioni passo-passo completamente specifiche per farlo; invece, possiamo prendere una rete neurale e inviarle un milione di immagini di esempio (ognuna etichettata come “cane” o “gatto”). Ogni volta che vedrà un esempio, modificherà il suo assetto interno per avere maggiori probabilità di ottenere la risposta giusta in casi simili in futuro. Dopo un numero sufficiente di esempi, sarà in grado di riconoscere correttamente cani e gatti.

(Potremmo forse anche salire di un altro livello e cercare di “addestrare” i modelli in modo che siano in grado di imparare dall‘“addestramento” stesso nel modo più efficiente possibile. Si tratta del cosiddetto “meta-apprendimento”, ma a quanto mi risulta non ha ancora avuto un grande successo).

L‘“addestramento” è una sorta di metodo forza bruta, un’alternativa costosa alla “programmazione”. Il vantaggio è che non dobbiamo essere in grado di fornire istruzioni specifiche: possiamo semplicemente fornire a un’intelligenza artificiale molti esempi di come si esegue correttamente un compito ed essa imparerà a farlo. Lo svantaggio è che abbiamo bisogno di molti esempi, il che richiede una grande potenza di calcolo e, di conseguenza, denaro.

Quanto? Dipende dalle dimensioni del modello (rete neurale) e dalla natura del compito stesso. Per alcuni compiti che le IA hanno imparato a partire dal 2021, l’addestramento di un singolo modello potrebbe costare milioni di dollari. Per compiti più complessi (come “fare ricerca scientifica innovativa”) e modelli più grandi (che raggiungono le dimensioni del cervello umano), l’addestramento di un modello potrebbe costare molto di più.

Gli Ancoraggi Biologici sono interessati alla domanda: “Quando sarà economicamente accessibile addestrare un modello, utilizzando un approccio relativamente rozzo basato su tentativi ed errori, per svolgere i compiti più difficili che gli esseri umani possono fare? ”.

Questi compiti potrebbero includere quelli necessari per creare un PASTA, come ad esempio:

• Imparare la scienza dagli insegnanti, dai libri di testo e dai compiti a casa con la stessa efficacia di un essere umano.
• Spingersi alle frontiere della scienza ponendo domande, facendo analisi e scrivendo documenti, con la stessa efficacia di un essere umano.

Nella prossima sezione discuterò di come gli Ancoraggi Biologici specifichino l’idea dei “compiti più difficili che l’uomo può svolgere” (che si presume richiedano un modello “delle dimensioni del cervello umano”).

Dimensione del modello e tipo di compito

Gli Ancoraggi Biologici ipotizzano che si possa stimare “quanto sia costoso addestrare un modello” in base a due parametri fondamentali: la dimensione del modello e il tipo di compito.

Dimensioni del modello. Come già detto, si può pensare a una rete neurale come a un “cervello digitale” che inizia in uno stato casuale. In generale, un “cervello digitale” più grande (con un maggior numero di versioni digitali dei neuroni e di versioni digitali delle sinapsi⁠c) può imparare compiti più complessi. Un “cervello digitale” più grande richiede anche una maggiore potenza di calcolo (ed è quindi più costoso) ogni volta che viene utilizzato (ad esempio, per ogni esempio da cui sta imparando).

Basandosi sull’analisi contenuta nel libro di Joe Carlsmith How much computational power does it take to match the human brain? (abbreviato in questo pezzo come “Brain Computation”), gli Ancoraggi Biologici stimano il confronto tra le dimensioni dei “cervelli digitali” (modelli di IA) e dei “cervelli animali” (cervelli di api, cervelli di topi, cervelli umani). Queste stime implicano che gli odierni sistemi di IA sono talvolta grandi come i cervelli degli insetti, ma mai come i cervelli dei topi — al momento in cui scrivo, il più grande modello linguistico conosciuto è stato il primo ad avvicinarsi ragionevolmente⁠d — e non sono ancora nemmeno l’1 % delle dimensioni dei cervelli umani⁠e.

Più grande è il modello, più potenza di calcolo richiede l’addestramento. Gli Ancoraggi Biologici ipotizzano che un modello di IA trasformativa dovrebbe essere circa 10 volte più grande di un cervello umano, quindi molto più grande di qualsiasi modello di IA attuale. (La stima delle 10 volte è per lasciare un po’ di spazio all’idea che i “cervelli digitali” possano essere meno efficienti di quelli umani; vedi questa sezione del rapporto). Questo è uno dei motivi per cui l’addestramento sarebbe molto costoso.

Potrebbe risultare che un modello di IA più piccolo sia comunque abbastanza grande da imparare il tipo di compiti sopra descritti. Oppure si potrebbe scoprire che le dimensioni del modello necessario sono maggiori di quelle stimate dagli Ancoraggi Biologici, forse perché in questo caso si è sottovalutato la “dimensione” effettiva del cervello umano, o perché il cervello umano è meglio progettato dei “cervelli digitali” di quanto gli Ancoraggi Biologici abbiano ipotizzato.

Tipo di attività. Per imparare un compito, un modello di intelligenza artificiale deve effettivamente “provare” (o “osservare”) il compito un gran numero di volte, imparando per tentativi ed errori. Quanto più costoso (in termini di potenza di calcolo e quindi di denaro) è il compito da provare/osservare, tanto più costoso sarà per il modello di intelligenza artificiale apprenderlo.

È difficile quantificare quanto sia costoso un compito da provare/osservare. Il tentativo degli Ancoraggi Biologici di farlo è la parte più controversa dell’analisi, secondo i revisori tecnici che l’hanno esaminata finora.

Si può pensare che il framework di Ancoraggi Biologici dica grosso modo:

• Ci sono compiti che un essere umano può svolgere con un solo secondo di pensiero, come classificare un’immagine come un gatto o un cane.
• Ci sono altri compiti che potrebbero richiedere alcuni minuti di riflessione, come la risoluzione di un puzzle logico.
• Altri compiti possono richiedere ore, giorni, mesi o addirittura anni e richiedono non solo il pensiero, ma anche l’interazione con l’ambiente. Ad esempio, scrivere un articolo scientifico.
• I compiti che si trovano all’estremità più lunga di questo spettro saranno più costosi da provare/osservare, quindi sarà più costoso addestrare un modello di intelligenza artificiale a svolgerli. Ad esempio, è più costoso (richiede più tempo e più denaro) fare un milione di “tentativi” per un compito che richiede un’ora piuttosto che un milione di “tentativi” per un compito che richiede un secondo.
• Tuttavia, il quadro non è così semplice come sembra. Molti compiti che sembrano “lunghi” (come scrivere un saggio) potrebbero essere suddivisi in una serie di compiti “più brevi” (come scrivere singole frasi).
  • Se un modello di intelligenza artificiale può essere addestrato a svolgere un “sottocompito” più breve, potrebbe essere in grado di svolgere il compito più lungo semplicemente ripetendo più volte il sottocompito più breve, senza dover essere esplicitamente “addestrato” a svolgere il compito più lungo.
  • Ad esempio, un modello di intelligenza artificiale potrebbe fare un milione di “tentativi” con il compito: “Leggi un saggio parzialmente finito e scrivi una buona frase successiva”. Se impara a svolgere bene questo compito, potrebbe potenzialmente scrivere un lungo saggio semplicemente ripetendo questo compito più volte. Non avrebbe bisogno di un processo di addestramento separato in cui fare un milione di “tentativi” per scrivere un intero saggio, che richiede molto tempo.
  • Diventa quindi fondamentale che i compiti più difficili e importanti (come quelli elencati sopra) siano quelli che possono essere “scomposti” in compiti brevi/facili.

Stima delle spese

Ancoraggi Biologici esamina quanto sia stato costoso addestrare i modelli di intelligenza artificiale esistenti, in base alle dimensioni del modello e al tipo di compito (come definito sopra). Quindi estrapola questo dato per vedere quanto sarebbe costoso addestrare un modello di intelligenza artificiale se:

• avesse una dimensione 10 volte superiore a quella di un cervello umano⁠f.
• Si fosse addestrato su un compito per il quale ogni “tentativo” richiedeva giorni, settimane o mesi di “pensiero” intensivo.

Ad oggi, questo tipo di addestramento costerebbe circa un miliardo di miliardi di dollari, una cifra enormemente superiore al totalismo della ricchezza mondiale. Non sorprende quindi che nessuno abbia provato ad addestrare un modello del genere.

Tuttavia, Ancoraggi Biologici prevede anche le seguenti tendenze per il futuro:

• Progressi nell’hardware e nel software che potrebbero rendere la potenza di calcolo più economica.
• Un’economia in crescita e un ruolo sempre più importante dell’IA nell’economia, che potrebbe far aumentare l’importo che i laboratori di IA sono in grado di spendere per addestrare modelli di grandi dimensioni fino a 1000 miliardi di dollari e oltre.

Secondo queste proiezioni, a un certo punto “l’importo che i laboratori di IA sono in grado di spendere” diventerà pari alla “spesa per l’addestramento di un modello a dimensione di cervello umano per i compiti più difficili”. Ancoraggi Biologici basa le sue proiezioni su “quando si svilupperà l’IA trasformativa” su quando questo accadrà.

Ancoraggi Biologici modella anche l’incertezza legata al modello e considera approcci alternativi ai parametri “dimensione del modello e tipo di compito”.⁠g Così facendo, stima la probabilità che l’IA trasformativa sarà sviluppata entro il 2030, 2035, ecc.

Ambiziosa o conservativa?

Ancoraggi Biologici comporta una serie di semplificazioni che potrebbero rendere l’idea troppo ambiziosa (aspettativa che l’IA trasformativa arrivi prima di quanto sia realistico) o troppo conservativa (aspettativa che arrivi più tardi di quanto sia realistico).

L’argomentazione che più comunemente sento dire sul fatto che sia “troppo ambiziosa” è del tipo: “Non c’è motivo di pensare che un’IA basata sui metodi moderni possa imparare tutto ciò che fa un essere umano, usando tentativi ed errori, a prescindere da quanto sia grande il modello e da quanto addestramento faccia”. I cervelli umani sono in grado di ragionare in modi unici, ineguagliabili da qualsiasi IA, a meno che non si arrivi ad approcci fondamentalmente nuovi all’IA”. Questo tipo di argomentazione è spesso accompagnata dall’affermazione che i sistemi di IA non “capiscono veramente” ciò su cui stanno ragionando, e/o che stanno semplicemente imitando il ragionamento umano attraverso il riconoscimento di modelli.

Credo che questo possa rivelarsi corretto, ma non ci scommetterei. Una discussione completa del perché esula dallo scopo di questo post, ma in breve:

• Non sono convinto che esista una distinzione profonda o stabile tra “riconoscimento di schemi” e “vera comprensione” (questo pezzo di Slate Star Codex esprime questo concetto). La “vera comprensione” potrebbe essere semplicemente l’aspetto di un buon riconoscimento di schemi. Parte del mio pensiero è l’intuizione che anche quando le persone (me compreso) sembrano superficialmente “capire” qualcosa, il loro ragionamento spesso (direi addirittura di solito) si rompe quando si considera un contesto non familiare. In altre parole, credo che ciò che riteniamo “vera comprensione” sia più un ideale che una realtà.
• Non sono soddisfatto dei risultati ottenuti da coloro che hanno avanzato questo tipo di argomentazione: non credo che siano stati in grado di individuare l’aspetto del “vero ragionamento”, in modo da poter fare previsioni solide su ciò che si rivelerebbe difficile per i sistemi di intelligenza artificiale. (Per esempio, si veda questa discussione sull’ultima critica di Gary Marcus a GPT3, e discussione simile su Astral Codex Ten).
• “Sono necessarie alcune scoperte/avanzamenti fondamentali” potrebbe essere vero. Ma perché la teoria degli Ancoraggi Biologici sia eccessivamente ambiziosa, non è sufficiente che siano necessarie alcune scoperte; le scoperte necessarie devono essere più di quelle che gli scienziati dell’IA sono in grado di fare nei prossimi decenni, l’arco di tempo in cui Ancoraggi Biologici prevede l’IA trasformativa. Sembra difficile essere fiduciosi che le cose andranno in questo modo, soprattutto perché:
  • Anche progressi moderati nei sistemi di IA potrebbero portare più talenti e finanziamenti nel campo (come sta già accadendo⁠h).
  • Se il denaro, il talento e la potenza di elaborazione sono abbondanti e i progressi verso un PASTA sono ostacolati principalmente da qualche particolare debolezza nel modo in cui i sistemi di IA sono progettati e addestrati, un tentativo sostenuto da parte dei ricercatori di correggere questa debolezza potrebbe funzionare. Se parliamo di tempistiche pluridecennali, questo potrebbe essere il tempo sufficiente per i ricercatori per trovare ciò che manca alle tecniche odierne.

Più in generale, la teoria degli Ancoraggi Biologici potrebbe essere troppo ambiziosa a causa del suo presupposto che “la potenza di calcolo è un collo di bottiglia”:

• Presuppone che se si potesse pagare tutta la potenza di calcolo dell’IA per eseguire l‘“addestramento” a forza bruta descritto sopra per i compiti chiave (ad esempio, l’automazione del lavoro scientifico), ne seguirebbe (probabilmente) una IA trasformativa.
• L’addestramento di un modello di IA non richiede solo l’acquisto di potenza di calcolo. Richiede l’assunzione di ricercatori, l’esecuzione di esperimenti e, cosa forse più importante, la ricerca di un modo per impostare il processo di “tentativi ed errori” in modo che l’IA possa fare un numero enorme di “tentativi” per il compito chiave. Potrebbe risultare che farlo sia proibitivo.

D’altra parte, ci sono diversi modi in cui la teoria degli Ancoraggi Biologici potrebbe essere troppo conservativa (sottovalutando la probabilità che venga presto sviluppata un’IA trasformativa).

• Forse, con sufficiente ingegno, si potrebbe creare un’IA trasformativa “programmandola” per svolgere compiti essenziali, invece di doverla “addestrare” (si veda sopra per la distinzione). Ciò potrebbe richiedere molta meno potenza di calcolo e quindi una spesa molto minore. Oppure si potrebbe usare una combinazione di “programmazione” e “addestramento” per ottenere un’efficienza migliore di quella che gli Ancoraggi Biologici teorizzano, pur non avendo bisogno di eseguire tutto tramite la “programmazione”.
• Oppure si potrebbero trovare approcci all’IA di gran lunga superiori che possono essere “addestrati” in modo molto più efficiente. Una possibilità è il “meta-apprendimento”: l’addestramento di un sistema di IA al “compito” di essere addestrato.
• O forse, più probabilmente, con il tempo l’IA potrebbe diventare una parte sempre più grande dell’economia e potrebbe esserci una proliferazione di diversi sistemi di IA, ognuno dei quali sarebbe personalizzato e su cui si investirebbe in modo da fargli svolgere diversi compiti del mondo reale. Più questo accade, più c’è la possibilità che l’abilità individuale e la fortuna si traducano in più innovazioni e in sistemi di IA più capaci in particolari contesti economici.
  • Forse, a un certo punto, sarà possibile integrare molti sistemi con capacità diverse per affrontare un compito particolarmente difficile come “l’automazione della scienza”, senza bisogno di un “addestramento” dedicato e astronomicamente costoso.
  • O forse l’IA che non è all’altezza di un PASTA sarà comunque abbastanza utile da generare molto denaro e/o aiutare i ricercatori a rendere la potenza di calcolo dell’IA più economica e più efficiente. Questo a sua volta potrebbe portare a modelli di IA ancora più grandi che aumentano ulteriormente la disponibilità di denaro e la potenza di calcolo dell’IA. Questo, a sua volta, potrebbe far sì che un addestramento di livello PASTA sia accessibile prima dei progetti degli Ancoraggi Biologici.
• Inoltre, alcuni revisori tecnici di Ancoraggi Biologici ritengono che il metodo utilizzato per trattare i tipi di compito sia troppo conservativo. Ritengono che i compiti più importanti (e forse tutti i compiti) su cui l’intelligenza artificiale deve essere addestrata si collochino all’estremità più “facile/economica” dello spettro, rispetto a quanto ipotizzato dagli Ancoraggi Biologici. (Si veda la sezione sopra per capire cosa significa che un compito è “più facile/economico” o “più difficile/più costoso”). Per un’argomentazione correlata, si veda Fun with +12 OOMs of compute, che fa notare in modo intuitivo che Ancoraggi Biologici sta immaginando una quantità veramente enorme di potenza di calcolo necessaria per creare un PASTA, mentre potrebbe facilmente essere sufficiente una quantità inferiore.

Non credo sia ovvio se, nel complesso, la teoria degli Ancoraggi Biologici sia troppo ambiziosa (aspettativa che l’IA trasformativa arrivi prima di quanto sia realistico) o troppo conservativa (aspettativa che arrivi più tardi). Il report stesso afferma che è probabile che sia troppo aggressiva nei primi anni e troppo conservativa oltre i 50 anni, e probabilmente più utile nel mezzo⁠i.

Intellettualmente, mi sembra che sia più probabile che sia troppo conservativa. Trovo abbastanza convincenti le sue risposte ai punti “troppo ambiziosi” di cui sopra, e penso che sia più probabile che i punti “troppo conservativi” finiscano per essere corretti. In particolare, penso che sia difficile escludere la possibilità che l’ingegno porti a un’IA trasformativa in un modo molto più efficiente del metodo della “forza bruta” qui contemplato. E penso che il trattamento del “tipo di compito” vada decisamente in una direzione conservativa.

Tuttavia, ho anche una preferenza intuitiva (che si ricollega alle analisi sull‘“onere della prova” fornite in precedenza) per privilegiare il lato conservativo quando si fanno stime come questa. Nel complesso, le mie migliori ipotesi sulle tempistiche di sviluppo dell’IA sono simili a quelle degli Ancoraggi Biologici.

Conclusioni

Ancoraggi Biologici stima un >10 % di possibilità di IA trasformativa entro il 2036, un _{50 % di possibilità entro il 2055 e un} 80 % di possibilità entro il 2100.

Vale anche la pena di notare cosa dice il rapporto sui sistemi di IA di oggi. Si stima che:

• I modelli di IA più grandi di oggi, come GPT-3, sono poco più piccoli del cervello di un topo e stanno iniziando ad avvicinarsi (se dovessero crescere di altre 100-1000 volte) al cervello umano. Quindi potremmo presto avvicinarci a sistemi di IA che possono essere addestrati a fare tutto ciò che gli esseri umani possono fare con ~1 secondo di pensiero. Coerentemente, mi sembra che stiamo iniziando a raggiungere il punto in cui i modelli linguistici sembrano esseri umani che parlano senza pensare più di tanto.⁠j Semmai, “un umano che non pensa più di un secondo per parola” sembra in qualche modo vicino a ciò che sta facendo GPT-3, anche se è molto più piccolo di un cervello umano.
• Solo recentemente i modelli di IA sono diventati così grandi. Un modello di IA “grande” prima del 2020 sarebbe più vicino al cervello di un’ape. Quindi, per quanto riguarda i modelli del passato molto recente, dovremmo chiederci se i sistemi di IA sembrano essere “intelligenti come gli insetti”. Ecco un tentativo di confrontare le capacità dell’IA con quelle delle api (di Guille Costa, stagista di Open Philanthropy), che conclude che le capacità più impressionanti delle api che l’autore è riuscito a individuare sembrano essere fattibili per i sistemi di IA.⁠k

Includo queste note perché:

• L’analisi degli Ancoraggi Biologici sembra pienamente coerente con ciò che stiamo osservando oggi nei sistemi di IA (e che abbiamo osservato negli ultimi dieci o due anni), e al tempo stesso implica che probabilmente vedremo capacità più trasformative nei prossimi decenni.
• Ritengo particolarmente degno di nota il fatto che ci stiamo avvicinando al momento in cui un modello di IA sarà “grande come un cervello umano” (secondo il metodo di stima degli Ancoraggi Biologici / Potenza di calcolo dell’IA). È possibile che un tale modello di IA sia in grado di “imparare” molto sul mondo e di produrre molto valore economico, anche se non è ancora in grado di fare le cose più difficili che fanno gli esseri umani. E questo, a sua volta, potrebbe dare il via a un’impennata degli investimenti nell’IA (sia in termini di denaro che di talenti), portando a molta più innovazione e a ulteriori scoperte. Questo è un semplice motivo per ritenere plausibile un’IA trasformativa entro il 2036.

Infine, noto che Ancoraggi Biologici include un’analisi di “evoluzione” tra i diversi approcci considerati. Quest’analisi ipotizza che, per produrre un’IA trasformativa, sarebbe necessario eseguire una potenza di calcolo pari a quella di tutti gli animali della storia messi insieme, al fine di ricreare i progressi compiuti dalla selezione naturale.

Ritengo che l’analisi dell‘“evoluzione” sia molto conservativa, perché il machine learning è in grado di compiere progressi molto più rapidi rispetto al tipo di tentativi ed errori associati alla selezione naturale. Anche se si crede, ad esempio, che i cervelli umani ragionano in modi unici, ineguagliati e ineguagliabili da un’IA moderna, sembra che qualsiasi cosa sia unica nei cervelli umani dovrebbe essere riscoperta se si è in grado di rieseguire essenzialmente l’intera storia della selezione naturale. E anche questa analisi molto conservativa stima una probabilità di circa il 50 % di avere un’IA trasformativa entro il 2100.

Pro e contro del metodo degli ancoraggi biologici per la previsione sulle tempistiche di sviluppo dell’IA trasformativa

Contro. Comincerò con quello che considero il più grande svantaggio: si tratta di un quadro di previsione molto complesso, che si basa essenzialmente su molteplici stime e ipotesi estremamente incerte, in particolare:

• Se sia ragionevole credere che un sistema di IA possa imparare i compiti fondamentali sopra elencati (quelli richiesti da un PASTA) con un sufficiente addestramento per tentativi ed errori.
• Come confrontare le dimensioni dei modelli di IA con le dimensioni dei cervelli animali/umani.
• Come caratterizzare il “tipo di compito”, stimando quanto sia “difficile” e costoso un compito da “provare” o “osservare” una volta.
• Come utilizzare le dimensioni del modello e il tipo di compito per stimare quanto sarebbe costoso addestrare un modello di IA a svolgere i compiti fondamentali.
• Come stimare i futuri progressi nell’hardware e nel software che potrebbero rendere la potenza di calcolo più economica.
• Come stimare gli aumenti futuri di quanto i laboratori di IA potrebbero spendere per addestrare i modelli.

Questo tipo di complessità e incertezza significa (secondo me) che non dovremmo considerare le previsioni altamente affidabili, soprattutto oggi che l’intero quadro è abbastanza nuovo. Se arrivassimo a un punto in cui le previsioni sull’IA fossero sottoposte a un controllo e a uno sforzo pari a quello delle previsioni sul clima, la questione potrebbe essere diversa.

Pro Detto questo, il metodo degli ancoraggi biologici è essenzialmente l’unico che conosco a stimare le tempistiche di sviluppo dell’IA trasformativa a partire da fatti oggettivi (dove possibile) e da ipotesi esplicite (negli altri casi).⁠l Non si basa su concetti vaghi e intuitivi come “la velocità con cui i sistemi di IA diventano più impressionanti” (discusso in precedenza). Ogni ipotesi e stima del modello può essere spiegata, discussa e, nel tempo, testata.

Anche nella sua fase iniziale, ritengo che questa sia una proprietà preziosa del modello degli ancoraggi biologici. Significa che il modello può darci stime tempistiche di sviluppo dell’IA che non sono semplicemente rielaborazioni di intuizioni sull’approssimarsi di un’IA trasformativa⁠m.

Penso anche che sia incoraggiante che, anche con tutte le congetture, le “previsioni” verificabili che il modello fa ad oggi sembrino ragionevoli (vedi sezione precedente). Il modello fornisce un modo per pensare a come potrebbe essere contemporaneamente vero che (a) i sistemi di IA di un decennio fa non sembrassero affatto impressionanti; (b) i sistemi di IA di oggi possono fare molte cose impressionanti, ma sembrano ancora molto lontani da ciò che gli esseri umani sono in grado di fare; (c) i prossimi decenni — o anche i prossimi 15 anni — potrebbero facilmente vedere lo sviluppo di un’IA trasformativa.

Inoltre, penso che valga la pena di notare un paio di considerazioni da parte di Ancoraggi Biologici che non dipendono da tante stime puntuali e ipotesi:

• Nel prossimo decennio o giù di lì, probabilmente vedremo per la prima volta modelli di IA con “dimensioni” paragonabili a quelle del cervello umano.
• Se i modelli di IA continueranno a diventare più grandi e più efficienti ai ritmi stimati da Ancoraggi Biologici, probabilmente nel corso del secolo diventerà accessibile raggiungere alcuni traguardi piuttosto estremi, la “fascia alta” di ciò che Ancoraggi Biologici ritiene possa essere necessario. Questi ultimi sono difficili da riassumere, ma si vedano i quadri “rete neurale a lungo orizzonte” e “ancoraggio evolutivo” nel rapporto.
• Un modo per pensarci è che nel prossimo secolo passeremo probabilmente da “non abbastanza potenza di calcolo per far funzionare un modello di dimensioni umane” a “potenza di calcolo estremamente abbondante, anche secondo stime abbastanza conservative di ciò che potrebbe essere necessario”. La potenza di calcolo dell’IA non è l’unico fattore di progresso, ma nella misura in cui altri fattori (algoritmi, processi di addestramento) diventeranno i nuovi colli di bottiglia, ci saranno probabilmente potenti incentivi (e molti decenni) per risolverli.

Un ultimo vantaggio degli Ancoraggi Biologici è che possiamo continuare a osservare i progressi dell’IA nel tempo e confrontare ciò che vediamo con lo schema del rapporto. Ad esempio, possiamo verificare:

• Se ci sono compiti che non possono essere appresi, anche con molti tentativi ed errori, o se alcuni compiti richiedono quantità di addestramento molto diverse da quelle stimate dal rapporto.
• Come le capacità dei modelli di intelligenza artificiale si confrontano con quelle degli animali che attualmente consideriamo “di dimensioni simili”. Se i modelli di IA sembrano più capaci di tali animali, è possibile che stiamo sovrastimando le dimensioni del modello che dovremmo avere per automatizzare, ad esempio, la scienza. Se sembrano meno capaci, forse lo stiamo sottovalutando.
• Come progrediscono l’hardware e il software e se i modelli di IA stanno diventando più grandi al ritmo previsto dal rapporto.

Il prossimo pezzo riassumerà tutte le diverse analisi condotte finora sulle tempistiche di sviluppo dell’IA. Discuterà poi una questione ancora aperta: l’assenza di un solido consenso da parte degli esperti su questo argomento.

Il prossimo articolo della serie: Le tempistiche dell’IA: A che punto sono le argomentazioni e gli “esperti”

Pubblicazione originale: Holden Karnofsky (2021) Forecasting transformative AI: the “biological anchors” method in a nutshell, Cold Takes, 31 di agosto.