Qualche dettaglio in più su cosa intendo per “secolo più importante”

di Holden Karnofsky
Blocco dei valoriCerniera della storiaFuturo a lungo termineIntelligenza artificiale trasformativaLungoterminismo

Ecco un po’ più in dettaglio cosa intendo quando parlo del “secolo più importante per l’umanità”.

Ci sono due modi diversi in cui ritengo che questo possa essere il “secolo più importante”, uno è più importante e meno probabile dell’altro:

Aspetto #1: questo potrebbe essere il secolo più importante di tutti i tempi per l’umanità, a causa della transizione verso uno scenario in cui gli esseri umani, così come li conosciamo, non sono più la forza principale degli eventi mondiali.

Qui l’idea è che:

  • Durante questo secolo, la civiltà potrebbe finire del tutto, oppure cambiare così drasticamente che “gli esseri umani come li conosciamo oggi” non esisterebbero più, o sarebbero almeno una parte molto piccola della popolazione.
    • Penso che il futuro che descrivo in Le persone digitali potrebbero essere ancora più importanti probabilmente raggiungerebbe questo livello di scarsa familiarità abbastanza rapidamente.
    • Anche la possibilità che i sistemi di IA si espandano in tutta la galassia in base ai propri obiettivi, con gli esseri umani che diventano abbastanza irrilevanti al confronto, ricadrebbe in quest’ambito.
  • Questo secolo è la nostra occasione per dare forma a come ciò avverrà.
    • Se sviluppiamo persone digitali, il gruppo iniziale di persone digitali potrebbe rapidamente iniziare a creare molte copie di se stesso, moltiplicandosi e lavorando a un ritmo molto più veloce di quanto i normali umani sarebbero in grado di monitorare o tenere il passo. Tenendo conto di questi punti, il gruppo iniziale di persone digitali e le condizioni virtuali in cui sono collocati potrebbe essere cruciale in modo permanente.
    • Se invece sviluppiamo sistemi di intelligenza artificiale che si espandono in tutta la galassia in base ai propri obiettivi, potremmo perdere definitivamente l’opportunità di avere una forza principale negli eventi mondiali che assomigli agli esseri umani.

Sulla base di questi punti, questo sarebbe il “secolo più importante” per gli esseri umani come siamo ora, nel senso che è la migliore opportunità che gli esseri umani avranno di influenzare un grande futuro post-umano⁠a.

Questo potrebbe essere coerente con il fatto che altri secoli sono stati “più importanti” per altre “specie”.

  • Un qualche secolo passato potrebbe essere stato il secolo più importante per gli scimpanzé. (Potrebbe essere stato un secolo durante il quale gli esseri umani hanno iniziato a emergere).
  • Un secolo futuro potrebbe essere il più importante per qualsiasi cosa “venga dopo l’essere umano”. (Anche se questo secolo potrebbe essere il più importante anche per noi).

Voglio dire approssimativamente che se una cosa tipo un PASTA viene sviluppato in questo secolo, ha almeno il 50 % di possibilità di essere il “secolo più importante” nel senso sopra indicato.

Aspetto #2: il secolo più importante di tutti i tempi per tutta la vita intelligente nella nostra galassia.

È possibile, per ragioni illustrate qui, che qualunque sia la forza principale degli eventi mondiali (forse persone digitali, IA disallineate o qualcos’altro) crei civiltà altamente stabili con valori “bloccati”, che popoleranno la nostra intera galassia per miliardi di anni a venire.

Se in questo secolo si verificherà un numero sufficiente di “blocchi dei valori”, potrebbe essere il secolo più importante di tutti i tempi per tutta la vita intelligente nella nostra galassia.

Voglio dire approssimativamente che se una tecnologia tipo un PASTA venisse sviluppata in questo secolo, quest’ultimo avrebbe almeno il 25 % di possibilità di essere il “secolo più importante” nel senso sopra indicato. Si tratta di una probabilità dimezzata rispetto alla versione precedente di “secolo più importante”. Non intendo essere preciso; sto dando un’indicazione approssimativa di quanto ritengo probabile un tale sviluppo.

Per mettere questa possibilità in prospettiva, vale la pena notare che il mondo sembra aver ” accellerato” (nel senso di cambiare più rapidamente) nel corso della storia, e potrebbe continuare a farlo se si sviluppasse una tecnologia tipo un PASTA. Tenendo presente questo aspetto:

  • Se i primi batteri avessero parlato tra loro, uno di loro avrebbe potuto affermare di trovarsi nel “periodo più importante dei primi 5 miliardi di anni”, quello in cui i batteri si sarebbero evoluti in animali complessi.
  • I primi animali complessi avrebbero potuto affermare di trovarsi nel “più importante eone”, quello in cui sarebbe emerso l’essere umano.
  • Chi ha vissuto la Rivoluzione Scientifica avrebbe potuto affermare di trovarsi nel “millennio più importante”, quello in cui il progresso scientifico e tecnologico sarebbe decollato.
  • Se l’IA trasformativa portasse a una civiltà gestita da persone digitali intorno, diciamo, al 2080, una persona digitale del 2080 potrebbe affermare di trovarsi nel “decennio più importante”. Un decennio potrebbe apparirle come un secolo (o più) appare a noi.
  • Queste persone digitali potrebbero creare persone digitali più avanzate che affermano di essere nel “giorno più importante”, pensando che si evolveranno in qualcosa di ancora più strano durante quel periodo di tempo di grande importanza.
  • E potrebbero avere tutti ragione!

Intento olistico della frase “il secolo più importante”. Ho scelto l’espressione “secolo più importante” in gran parte come campanello d’allarme per far capire quanto sia alta la posta in gioco.

Anche se ho cercato di darle un significato leggermente più preciso qui sopra, il mio intento principale è quello di richiamare l’attenzione sulla “sensazione da “Santo cielo” della possibilità di sviluppare una tecnologia tipo un PASTA in questo secolo, che a sua volta potrebbe portare a un futuro radicalmente sconosciuto, possibilmente coinvolgendo una civiltà stabile a livello galattico.

Se ho ragione su questo quadro ma mi sbaglio sul “secolo più importante” per qualche motivo (per esempio, forse accade qualcosa di ancora più notevole tra 5 miliardi di anni, o forse si scopre che l’ipotesi di simulazione è corretta), continuerei a pensare che l’idea generale di questa serie sia sostanzialmente giusta.


Pubblicazione originale: Holden Karnofsky (2021) Some additional detail on what I mean by “most important century”, Cold Takes, 8 di agosto.