Previsioni sull’IA trasformativa: dove risiede l’onere della prova?

Questo è uno dei 4 post che riassumono centinaia di pagine di relazioni tecniche incentrate quasi interamente sulla previsione sull’IA trasformativa.⁠a

Per “IA trasformativa” intendo “un’intelligenza artificiale abbastanza potente da portarci in un futuro nuovo e qualitativamente diverso”. Mi concentro in particolare su ciò che chiamo PASTA: sistemi di intelligenza artificiale che possono essenzialmente automatizzare tutte le attività umane necessarie per accelerare il progresso scientifico e tecnologico.

Quanto prima un PASTA verrà sviluppato, tanto prima il mondo potrebbe cambiare radicalmente, e tanto più importante sembra essere pensare oggi a come far sì che questo cambiamento vada bene o male.

Nei prossimi articoli illustrerò due metodi per fare una “migliore ipotesi” su quando possiamo aspettarci lo sviluppo di un’IA trasformativa. Ma prima, in questo pezzo, affronterò la domanda: Quanto devono essere validi questi metodi di previsione perché possiamo prenderli sul serio? In altre parole, qual è l’”onere della prova” per le previsioni sulle tempistiche di sviluppo dell’IA trasformativa?

Quando qualcuno fa previsioni sull’IA trasformativa nel XXI secolo, soprattutto quando sono chiare le conseguenze complete che porterebbe, una risposta intuitiva comune è qualcosa del tipo: “È davvero esagerato e azzardato affermare che l’IA trasformativa arriverà in questo secolo. Quindi è meglio che le vostre argomentazioni siano davvero valide”.

Credo che questa sia una prima reazione molto ragionevole alle previsioni sull’IA trasformativa (e corrisponde alla mia reazione iniziale). Ma ho cercato di esaminare da cosa nasce la reazione e come potrebbe essere giustificata, e dopo averlo fatto, in definitiva non sono d’accordo.

• Penso che ci siano diverse ragioni per pensare che l’IA trasformativa o qualcosa di altrettanto epocale sia quasi probabile in questo secolo, anche prima di esaminare i dettagli della ricerca sull’IA, i progressi dell’IA, ecc.
• Penso anche che, con le tempistiche pluridecennali di cui parlo, dovremmo essere generalmente aperti a cambiamenti stravaganti, dirompenti e persino rivoluzionari. Con queste premesse, penso che stime specifiche e ben studiate su quando arriverà l’IA trasformativa possano essere credibili, anche se comportano molte congetture e non sono solide come una roccia.

Questo post cerca di spiegare il mio punto di vista.

Di seguito, (a) entrerò un po’ più nello specifico delle previsioni sull’IA trasformativa che sto difendendo; poi (b) discuterò come formalizzare la reazione “È troppo folle” a tali previsioni; quindi (c) passerò in rassegna ciascuno dei punti che seguono, ognuna delle quali rappresenta un modo diverso di formalizzarla.

L’“onere della prova”	Principali approfondimenti (titoli abbreviati)	Il mio punto di forza
È improbabile che un determinato secolo sia quello “più importante”. (approfondire)	Hinge; Risposta a Hinge	Abbiamo molte ragioni per pensare che questo secolo sia “speciale” prima di guardare ai dettagli dell’IA. Molte sono state trattate nei pezzi precedenti; un’altra è trattata nella riga successiva.
Che previsioni faresti sulle tempistiche di sviluppo dell’IA, basandoti solo su informazioni di base su (a) quanti anni le persone hanno cercato di costruire un’IA trasformativa; (b) quanto hanno “investito” in essa (in termini di numero di ricercatori di IA e di potenza di calcolo da loro utilizzata); (c) se ci sono già riusciti (finora, non ci sono riusciti)? (approfondire)	Semi-informative priors	Stime centrali: 8 % entro il 2036; 13 % entro il 2060; 20 % entro il 2100.⁠b A mio parere, questo rapporto evidenzia che la storia dell’IA è breve, gli investimenti nell’IA stanno aumentando rapidamente e quindi non dovremmo essere troppo sorpresi se l’IA trasformativa verrà sviluppata presto.
Sulla base dell’analisi dei modelli economici e della storia economica, quanto è probabile una “crescita esplosiva” — definita come una crescita annua dell’economia mondiale superiore al 30 % — entro il 2100? È abbastanza al di fuori di ciò che è “normale” da dover dubitare della conclusione? (approfondire)	Explosive growth, Human trajectory*	Human trajectory proietta il passato in avanti, implicando una crescita esplosiva entro il 2043-2065. Explosive growth conclude: “Trovo che le considerazioni economiche non forniscano una buona ragione per scartare la possibilità che la TAI venga sviluppata in questo secolo. In effetti, esiste una prospettiva economica plausibile da cui ci si aspetta che sistemi di IA sufficientemente avanzati causino una crescita esplosiva.”
Come sono state fatte le previsioni sull’IA… in passato, e dovremmo modificare le nostre opinioni oggi per correggere gli schemi che possiamo osservare nelle previsioni precedenti? … Abbiamo riscontrato l’opinione che l’IA sia stata soggetta a ripetuti annunci eccessivi in passato, e che quindi dovremmo aspettarci che le proiezioni odierne siano probabilmente troppo ottimistiche.” (approfondire)	Past AI forecasts	“Il picco del rischio catastrofico globale sembra essere stato raggiunto nel periodo 1956-1973. Tuttavia, l’entusiasmo implicito in alcune delle più note previsioni sull’IA di questo periodo è comunemente esagerato”.

Per trasparenza, si noti che le relazioni delle ultime tre righe sono tutte analisi di Open Philanthropy, e io sono co-CEO di Open Philanthropy.

Alcune probabilità approssimative

Ecco alcune cose sull’IA trasformativa a cui credo e che cercherò di difendere:

• Credo che ci sia più del 10 % di possibilità di vedere qualcosa di simile a un PASTA, tanto da poter essere definito “IA trasformativa”, entro 15 anni (entro il 2036); circa il 50 % di possibilità di vederla entro 40 anni (entro il 2060); e circa i 2/3 di possibilità di vederla in questo secolo (entro il 2100).
• A condizione di quanto detto sopra, penso che ci sia almeno il 50 % di possibilità che poco dopo vedremo un mondo gestito da persone digitali o IA disallineate o qualcos’altro che renderebbe corretto dire che siamo “passati a uno stato in cui gli esseri umani come li conosciamo non sono più la forza principale negli eventi mondiali.” (Questo corrisponde al punto #1 della mia definizione di “secolo più importante” nella roadmap).
• E a condizione di quanto sopra, penso che ci sia almeno il 50 % di possibilità che, qualunque cosa sia la forza principale negli eventi mondiali, sia in grado di creare una civiltà stabile in tutta la galassia per miliardi di anni a venire. (Questo corrisponde al punto 2 della mia definizione di “secolo più importante” nella tabella di marcia.)

Ho anche spiegato un po’ più nel dettaglio cosa intendo per “secolo più importante” qui.

Formalizzare la reazione “è troppo folle”

Spesso qualcuno afferma un punto di vista che non trova immediatamente un difetto concreto, ma che istintivamente ritengo “troppo folle per essere verosimile. Per esempio, “La mia startup sarà il prossimo Google” o “L’università sarà obsoleta tra 10 anni” o “Come presidente, metterei d’accordo tutte le parti invece che solo la mia”.

Ipotizzo che la reazione “è troppo folle” a dichiarazioni come queste possa di solito essere formalizzata in questo modo: “Qualunque siano le vostre argomentazioni a favore della probabilità di X, c’è qualche modo saliente di vedere le cose (spesso eccessivamente semplificato, ma rilevante) che fa apparire X molto improbabile.”

Per gli esempi che ho appena fatto:

• Esiste un gran numero di startup (milioni?) e la grande maggioranza di esse non finisce per assomigliare a Google. (Anche quando i loro fondatori pensano che lo diventeranno).
• “L’università sarà obsoleta tra 10 anni ”. L’università è stata molto poco obsoleta per centinaia di anni.
• “Come Presidente, metterei d’accordo tutti invece che solo la mia parte” È una cosa che spesso dicono gli aspiranti Presidenti degli Stati Uniti, ma la divisione in partiti sembra essere peggiorata da almeno un paio di decenni.

Ognuno di questi casi stabilisce una sorta di punto di partenza (o probabilità “a priori”) e di “onere della prova ” e possiamo poi considerare ulteriori prove che potrebbero superare l’onere. Ovvero, possiamo chiederci: cosa rende questa startup diversa dalle molte altre startup che pensano di poter essere la prossima Google? Cosa rende il prossimo decennio diverso da tutti i decenni precedenti in cui l’università ha mantenuto la sua importanza? Cosa c’è di diverso in questo candidato alla presidenza rispetto agli ultimi?

Ci sono diversi modi di pensare all’onere della prova per le mie affermazioni di cui sopra: un certo numero di modi di ottenere una probabilità a priori (“punto di partenza”), che può poi essere aggiornata da ulteriori prove.

Molti di questi modi colgono diversi aspetti dell’intuizione “È troppo folle”, generando probabilità a priori che (almeno inizialmente) fanno sembrare troppo alte le probabilità che ho dato.

Di seguito, analizzerò alcune di queste “probabilità a priori” ed esaminerò cosa significano per l’“onere della prova” sui metodi di previsione di cui parlerò nei prossimi post.

Diverse prospettive dell’onere della prova

Scetticismo del “secolo più importante”

Un punto di vista dell’onere della prova è il seguente:

• Holden sostiene una probabilità del 15-30 % che questo sia il “secolo più importante” in un modo o nell’altro.⁠c
• Ma ci sono molti secoli, e per definizione la maggior parte di essi non può essere il più importante. Nello specifico:
  • Gli esseri umani esistono da 50 000 a ~5 milioni di anni, a seconda di come si definiscono gli “esseri umani ”⁠d Ovvero da 500 a 50 000 secoli.
  • Se ipotizziamo che il nostro futuro sia lungo quanto il nostro passato, allora ci sono da 1 000 a 100 000 secoli in totale.
  • Quindi la probabilità a priori che questo sia il “secolo più importante” va da 1/100 000 a 1/1 000.
• In realtà è peggio di così: Holden ha parlato di civiltà che dura da miliardi di anni. Si tratta di decine di milioni di secoli, quindi la probabilità a priori di “secolo più importante” è inferiore a 1/10 000 000..

(Stiamo vivendo un punto di svolta della storia argomenta in modo simile, anche se con alcune differenze.⁠e)

Questa argomentazione riesce quasi a cogliere il dubbio più grande che avevo in passato sull’ipotesi del “secolo più importante”. Tuttavia, credo che ci siano molti indizi che indicano che questo non è un secolo normale, anche prima di prendere in considerazione argomenti specifici sull’IA.

Un punto chiave è sottolineato nel mio post precedente, Tutte le possibili visioni sul futuro dell’umanità sono fuori di testa. Se pensate che gli esseri umani (o i nostri discendenti) abbiano miliardi di anni davanti a sé, dovreste pensare che siamo tra i primissimi esseri umani, il che rende molto più plausibile che la nostra epoca sia tra le più importanti. (Questo punto è sottolineato anche in Thoughts on whether we’re living at the most influential time in history e nei commenti a una versione precedente di Are we living at the most influential time in history?.

Inoltre, sebbene l’umanità esista da alcuni milioni di anni, per la maggior parte di questo tempo abbiamo avuto popolazioni estremamente basse e pochissimo progresso tecnologico. La civiltà umana è iniziata circa 10 000 anni fa, e da allora siamo già arrivati al punto di costruire computer digitali programmabili e di esplorare il nostro sistema solare.

Tenendo conto di questi punti, sembra ragionevole pensare che alla fine lanceremo una civiltà stabile in tutta la galassia nei prossimi 100 000 anni (1000 secoli). Oppure è abbastanza ragionevole pensare che ci sia il 10 % di possibilità di farlo nei prossimi 10 000 anni (100 secoli). In ogni caso, ciò implica che un dato secolo ha una probabilità di ~1/1 000 di essere il secolo più importante per la nascita di quella civiltà, molto più alta delle cifre fornite in precedenza in questa sezione. È ancora ~100x lontano dai numeri che ho dato sopra, quindi c’è ancora l’onere della prova.

Ci sono ulteriori ragioni per pensare che questo particolare secolo sia insolito. Ad esempio, si veda Tempi eccezionali:

• Le dimensioni totali dell’economia mondiale sono cresciute di più negli ultimi 2 secoli che in tutto il resto della storia messa insieme.
• L’attuale tasso di crescita economica non può essere sostenuto per più di altri 80 secoli o giù di lì. (E come si dirà più avanti, se il trend di accelerazione del passato riprendesse, implicherebbe una crescita esplosiva e il raggiungimento dei limiti di ciò che è possibile in questo secolo).
• È plausibile che la scienza sia progredita più negli ultimi 5 secoli che nel resto della storia messa insieme.

Un ultimo punto che rende speciale la nostra epoca: stiamo parlando di quando aspettarci un’IA trasformativa e stiamo vivendo molto vicini agli inizi degli sforzi sull’IA. In poco meno di 1 secolo, siamo passati dal primo computer elettronico programmabile a potenza d’uso generale a modelli di IA che possono competere con gli esseri umani nel riconoscimento vocale,⁠f nella classificazione delle immagini e in molto altro.

Maggiori informazioni sulle implicazioni di tutto ciò nella prossima sezione.

Distribuzioni a priori semi-informative

Report on semi-informative priors (abbreviato in questo pezzo come “probabilità a priori semi-informative”) è un ampio tentativo di prevedere le tempistiche di sviluppo dell’IA trasformativa utilizzando il minor numero possibile di informazioni sulle specificità dell’IA. Si tratta quindi di un modo per fornire un’angolazione sull’“onere della prova”, ossia stabilire una serie di probabilità a priori (punto di partenza) su quando l’IA trasformativa sarà sviluppata, prima di esaminare le prove dettagliate.

L’informazione centrale che utilizza è quanto sforzo è stato fatto finora per sviluppare l’IA:

• Se avessimo provato e fallito nello sviluppo trasformativo dell’IA per migliaia di anni, le probabilità di successo nei prossimi decenni sarebbero basse.
• Ma se finora abbiamo cercato di sviluppare sistemi di IA solo per pochi decenni, significa che i prossimi decenni potrebbero contenere una grande frazione di tutti gli sforzi che sono stati fatti. Le probabilità di svilupparla in questo lasso di tempo non sono poi così basse.
• Un modo di pensare è che prima di esaminare i dettagli del progresso dell’IA, dovremmo essere neutrali sul fatto che lo sviluppo trasformativo dell’IA sia relativamente “facile” (può essere fatto in pochi decenni) o “difficile” (richiede migliaia di anni). Poiché è ancora presto, la possibilità che sia “facile” è ancora aperta.

Qualche dettaglio in più sull’approccio e sulle conclusioni del rapporto:

Angolo di analisi. Il rapporto pone la seguente domanda (parafrasata): “Supponiamo che siate andati in isolamento il giorno in cui le persone hanno iniziato a investire nella costruzione di sistemi di IA. E ora supponiamo di aver ricevuto aggiornamenti annuali su (a) quanti anni le persone hanno cercato di costruire un’IA trasformativa; (b) quanto hanno “investito” in essa (in termini di tempo e denaro); (c) se ci sono ancora riusciti (finora, non ci sono riusciti). Cosa si può prevedere sulle tempistiche di sviluppo dell’IA, avendo solo queste informazioni, a partire dal 2021?”.

I suoi metodi si ispirano al Sunrise Problem: “Supponiamo di non sapere nulla dell’universo se non che ogni giorno il sole è sorto o meno. Supponiamo che finora ci siano stati N giorni e che il sole sia sorto in tutti. Qual è la probabilità che il sole sorga domani?”. Non è necessario sapere nulla di astronomia per ottenere una risposta decente a questa domanda: esistono semplici metodi matematici per stimare la probabilità che X si verifichi domani, basandosi sul fatto che X si è verificato ogni giorno in passato. Le “distribuzioni a priori semi-informative” estendono questi metodi matematici per adattarli alle tempistiche di sviluppo dell’IA. (In questo caso, “X” è “Non riuscire a sviluppare un’IA trasformativa, come abbiamo fatto in passato”).

Conclusioni Non entrerò nei dettagli di come funziona l’analisi (per maggiori dettagli si veda il post che riassume il rapporto), ma le conclusioni del rapporto includono quanto segue:

• La probabilità di un’intelligenza artificiale generale (IAG, che includerebbe PASTA) entro il 2036 è compresa tra l’1 % e il 18 %, con un’ipotesi migliore dell’8 %.
• La probabilità di IAG entro il 2060 si aggira tra il 3 % e il 25 % (ipotesi migliore ~13 %) e la probabilità di IAG entro il 2100 tra il 5 % e il 35 %, ipotesi migliore 20 %.

Sono più basse delle probabilità che ho dato sopra, ma non molto più basse. Questo implica che non c’è un enorme onere della prova quando si portano ulteriori prove sulle specificità degli investimenti e dei progressi dell’IA.

Note sulla data di inizio del regime. Una cosa interessante è che il rapporto è meno sensibile di quanto si possa pensare sul modo in cui definiamo la “data di inizio” del tentativo di sviluppare l’IAG. (Vedi questa sezione del rapporto completo). Cioè:

• Di base, le “distribuzioni a priori semi-informative” modellano la situazione come se l’umanità avesse iniziato a “tentare” di costruire l’IAG nel 1956.⁠g Ciò implica che gli sforzi hanno solo ~65 anni, quindi i prossimi decenni rappresenteranno una grande percentuale degli sforzi.
• Ma il rapporto esamina anche altre misure dello “sforzo per costruire l’IAG”, in particolare il tempo che i ricercatori hanno dedicato e la “potenza di calcolo” (potenza di elaborazione). Anche se fossimo dell’idea che stiamo implicitamente cercando di costruire l’IAG fin dall’inizio della civiltà umana, circa 10 000 anni fa, i prossimi decenni conterranno una grossa fetta dello sforzo di ricerca e della potenza di calcolo investiti nel tentativo di farlo.

Conclusione di questa sezione.

• Di tanto in tanto sento qualcuno dire qualcosa del tipo: “Sono decenni che cerchiamo di costruire un’IA trasformativa e non ci siamo ancora riusciti: perché pensate che il futuro sarà diverso?”. Come minimo, questo rapporto rafforza quella che a mio avviso è la posizione di buon senso secondo cui alcuni decenni di “nessuna IA trasformativa, nonostante gli sforzi per costruirla” non sono sufficienti a contrastare la possibilità che l’IA trasformativa arrivi nei prossimi dieci o pochi anni.
• In effetti, tutto considerato, siamo straordinariamente vicini agli inizi dei tentativi di sviluppo dell’IA — un altro modo in cui il nostro secolo è “speciale”, tanto che non dovremmo essere troppo sorpresi se si rivelasse quello fondamentale per lo sviluppo dell’IA.

Crescita economica

Un altro punto di vista sull’onere della prova è quello il seguente:

Se un PASTA dovesse essere sviluppato a breve e se dovesse avere le conseguenze descritte in questa serie di post, si tratterebbe di un cambiamento massiccio nel mondo — e il mondo semplicemente non cambia così velocemente.

Per quantificare questo aspetto: l’economia mondiale è cresciuta di qualche punto percentuale all’anno negli ultimi 200 e più anni, e un PASTA implicherebbe un tasso di crescita molto più rapido, forse del 100 % all’anno o più.

Se ci stessimo davvero muovendo verso un mondo di crescita economica esplosiva, la crescita economica dovrebbe accelerare oggi. Non è così: è stagnante, almeno nelle economie più sviluppate. Se l’IA dovesse davvero rivoluzionare tutto, il minimo che potrebbe fare ora è creare abbastanza valore (nuovi prodotti, transazioni e aziende) da far accelerare la crescita economica complessiva degli Stati Uniti.

L’IA può portare a nuove tecnologie interessanti, ma non c’è traccia di qualcosa di così epocale come un PASTA. Passare da dove siamo a dove ci porterebbe un PASTA è il tipo di cambiamento improvviso che non è mai avvenuto in passato ed è improbabile che avvenga in futuro.

(Se non avete familiarità con la crescita economica, vi conviene leggere la mia breve spiegazione prima di continuare).

Credo che questa sia una prospettiva ragionevole e mi rende particolarmente scettico sulle previsioni molto imminenti sull’IA trasformativa (2036 o forse prima).

La mia risposta principale è che il quadro di una crescita costante (“l’economia mondiale cresce di qualche punto percentuale all’anno”) diventa molto più complicato quando si guarda da lontano a tutta la storia economica, anziché solo agli ultimi due secoli. Da questo punto di vista, la crescita economica è stata per lo più in accelerazione⁠h e proiettare l’accelerazione in avanti potrebbe portare a una crescita economica molto rapida nei prossimi decenni.

Ne ho scritto in precedenza in Il Duplicatore: La clonazione istantanea farebbe esplodere l’economia mondiale e Tempi eccezionali; qui ricapitolerò molto brevemente i resoconti essenziali che ho citato.

Could advanced AI drive explosive economic growth? pone esplicitamente la domanda: “Quanto è probabile una ‘crescita esplosiva’, definita come una crescita annua >30 % dell’economia mondiale, entro il 2100?”. Il documento prende in considerazione argomenti da entrambe le parti, tra cui (a) la lunga visione della storia che mostra una crescita in accelerazione; (b) il fatto che la crescita è stata notevolmente stabile negli ultimi ~200 anni, il che implica che qualcosa potrebbe essere cambiato.

La relazione conclude che: “le possibilità di crescita a lungo termine non sono poche. Sono possibili sia una crescita economica che una stagnazione”.

Modeling the human trajectory si domanda quale futuro possiamo aspettarci se estrapoliamo le tendenze esistenti nel corso della storia economica. La risposta è una crescita esplosiva entro il 2043-2065, non troppo lontana da quanto suggerito dalle mie probabilità sopra. Questo implica secondo me che la mancanza di accelerazione economica negli ultimi ~200 anni potrebbe essere un “battito di ciglia”, presto risolto dallo sviluppo tecnologico che ripristina il ciclo di retroazione (discusso in Il Duplicatore: La clonazione istantanea farebbe esplodere l’economia mondiale) che può far continuare l’accelerazione.

Per intenderci, ci sono anche buone ragioni per non dare troppo peso a questa proiezione⁠i e la presento più come una prospettiva sull’“onere della prova” che come una previsione principale su quando verrà sviluppato un PASTA.

Storia dell‘“entusiasmo dell’IA”

Un’altra prospettiva sull’onere della prova: A volte sento commenti del tipo “L’IA è stata sopravvalutata molte volte in passato, e l’IA trasformativa⁠j è sempre ‘dietro l’angolo’ secondo i tecnologi entusiasti. Le vostre stime sono solo le ultime di questa tradizione. Poiché le stime precedenti erano sbagliate, probabilmente lo saranno anche le vostre”.

Tuttavia, non credo che la storia dell‘“entusiasmo per l’IA” sia in grado di confermare questo tipo di affermazione. L’autore di questo articolo, What should we learn from past AI forecasts? ha esaminato la storia dell’IA per cercare di capire quale sia stato l’effettivo modello storico di “entusiasmo per l’IA”.

Il suo riassunto dà le seguenti impressioni (si noti che “IAAL”, o “intelligenza artificiale a livello umano”, è un’idea abbastanza simile al PASTA):

• Il picco del successo dell’intelligenza artificiale sembra essere stato raggiunto tra il 1956 e il 1973. Tuttavia, l’entusiasmo implicito in alcune delle più note previsioni sull’IA di questo periodo è di solito esagerato.
• Dopo il 1973, pochi esperti sembravano discutere di IAAL (o di qualcosa di simile) come possibilità a medio termine, in parte perché molti esperti avevano imparato dal fallimento dell’eccessivo ottimismo precedente.
• Il secondo grande periodo di entusiasmo per l’IA, all’inizio degli anni ‘80, sembra aver riguardato più che altro la possibilità di sistemi esperti di uso limitato e commercialmente utili, e non l’IAAL (o qualcosa di simile)…
• Non mi è chiaro se sarei stato persuaso dalle critiche contemporanee al primo ottimismo sull’IA, o se avrei pensato di porre il giusto tipo di domande scettiche all’epoca. La critica più sostanziale dei primi anni fu quella di Hubert Dreyfus e la mia ipotesi è che l’avrei trovata convincente all’epoca, ma non posso esserne sicuro.

La mia sintesi è che non è particolarmente corretto dire che ci sono state molte ondate di previsioni separate e troppo aggressive sull’IA trasformativa. Le aspettative erano probabilmente troppo alte nel periodo 1956-1973, ma non credo che ci siano molte ragioni per imporre un enorme “onere della prova” su stime ben studiate oggi.

Altri punti di vista sull’onere della prova

Ecco alcuni altri possibili modi di riassumere la reazione [“è troppo folle”](#formalizzare-la reazione-e-troppo-folle):

Persone che dichiarano che la loro causa è importantissima. Molte persone in tutto il mondo di oggi e nel corso della storia sostengono o hanno sostenuto che la questione su cui stanno lavorando è estremamente importante, spesso con una portata globale o addirittura galattica. La maggior parte di loro si sbaglia.

Credo che la domanda fondamentale da porsi sia se questa affermazione è sostenuta da argomentazioni migliori, e/o da persone più affidabili, rispetto ad altre affermazioni del tipo “la mia causa è molto importante”. Se vi siete addentrati così tanto nella lettura dell’ipotesi del “secolo più importante”, credo che vi stiate mettendo in una buona posizione per rispondere da soli a questa domanda.

Le opinioni degli esperti saranno trattate in modo approfondito nei prossimi post. Per ora, la mia posizione principale è che le affermazioni che sto facendo non contraddicono un particolare consenso di esperti, né sono sostenute da uno di essi. Si tratta piuttosto di affermazioni su argomenti che semplicemente non hanno un “campo” di esperti dedicato a studiarli. Alcuni potrebbero scegliere di ignorare qualsiasi affermazione che non sia attivamente sostenuta da un solido consenso di esperti; ma, data la posta in gioco, non credo che in questo caso dovremmo farlo.

(Detto questo, il miglior sondaggio disponibile tra i ricercatori di IA ha conclusioni che sembrano ampiamente coerenti con le mie, come discuterò nel prossimo post).

Altre reazioni del tipo “è troppo folle”. Sono sicuro che questo articolo non ha colto tutte le possibili angolazioni che potrebbero essere alla base di una reazione del genere. (Ma non si può dire che non ci ho provato!) Alcune persone avranno semplicemente convinzioni incrollabili sul fatto che le affermazioni di questa serie sono troppo folli per essere prese sul serio.

Un’opinione più generale. Ci si può anche rifiutare (in assenza di prove schiaccianti) di credere a qualsiasi affermazione che rientri nel modello “la mia causa è molto importante”, o che non sia già sostenuta da un solido consenso di esperti, o che semplicemente sembri folle, ma mi sembra un modello di ragionamento pericoloso. Presumibilmente alcune persone, a volte, vivranno nel secolo più importante; dovremmo diffidare di qualsiasi modello di ragionamento che dica a queste persone che in realtà il loro secolo non è così importante.⁠k

Il prossimo articolo della serie: Stiamo “tendendo verso” l’IA trasformativa? (Come possiamo saperlo?)

---

Pubblicazione originale: Holden Karnofsky (2021) Forecasting transformative AI: what’s the burden of proof?, Cold Takes, 17 di agosto.