Incertezza legata al modello
L’incertezza del modello è l’incertezza legata al modello stesso, comprese le stime dell’incertezza interna del modello.
Un modello utile è abbastanza semplice da poter essere analizzato facilmente, ma allo stesso tempo è abbastanza simile alla realtà da poter essere utilizzato come base per previsioni sul mondo reale. Sfortunatamente, può essere difficile giudicare se un dato modello è effettivamente abbastanza simile. Inoltre, anche se alcune previsioni basate su un modello si avverano, ciò non significa necessariamente che anche la prossima previsione basata sul modello si avvererà.
Un classico esempio dell’importanza di utilizzare modelli appropriati e della difficoltà di accorgersi quando un modello è inappropriato è la crisi finanziaria del 2007. Negli anni precedenti alla crisi, molti nel mondo della finanza hanno preso decisioni di investimento basandosi su modelli che presupponevano la stabilità economica. Tuttavia, quando questa ipotesi semplificativa ha cessato di essere valida, è diventato chiaro che i loro modelli non corrispondevano sufficientemente alla realtà e che l’esito delle loro decisioni sarebbe stato disastroso.
Una strategia per affrontare l’incertezza legata all’adeguatezza dei modelli consiste nel costruire e soppesare le previsioni di più modelli diversi, piuttosto che affidarsi a uno solo. Tuttavia, in casi di incertezza radicale, nemmeno questo metodo può essere sufficiente. Potremmo pensare che esiste la possibilità che nessuno dei modelli che siamo stati in grado di generare sia appropriato e che sia necessario tenere conto di ciò che potrebbe accadere in tal caso. Ovviamente è molto difficile dire qualcosa su un caso così incerto, ma è possibile dire alcune cose. Per esempio, nel loro articolo “Probing the Improbable”, Toby Ord, Rafaela Hillerbrand e Anders Sandberg sostengono che nei casi in cui i nostri modelli su alcuni eventi a bassa probabilità e ad alto rischio (come i rischi esistenziali) sono sbagliati, la possibilità di un disastro può essere sostanzialmente più alta che se i modelli sono giusti.
Quando si usa un modello per fare delle stime, spesso non si è sicuri dei valori che i parametri numerici del modello dovrebbero avere.
Ad esempio, se decidiamo di utilizzare lo schema ITT a tre fattori per la selezione delle cause di 80,000 Hours, potremmo non essere sicuri del valore da assegnare alla trattabilità di una data causa, o se stiamo cercando di stimare il valore di una donazione a un’organizzazione di beneficenza di zanzariere, potremmo non sapere quanti casi di malaria vengono evitati per ogni zanzariera distribuita.
È importante rendere chiara questa incertezza, sia perché le nostre opinioni possano essere più facilmente contestate e migliorate da altri, sia perché possiamo trarre conclusioni più sfumate dai modelli che utilizziamo.
Inserendo le distribuzioni di probabilità o le finestre di confidenza, piuttosto che le singole stime, per i valori dei parametri in un dato modello, possiamo calcolare un output per il modello che rifletta anche l’incertezza. Tuttavia, è importante fare attenzione quando si eseguono questi calcoli, poiché piccoli errori matematici o concettuali possono facilmente portare a risultati errati o fuorvianti. Buoni strumenti per evitare questo tipo di errori sono Guesstimate e Squiggle.1
È stato anche sostenuto, ad esempio da Holden Karnofsky, che in casi di elevata incertezza, le stime che assegnano a un intervento un valore atteso molto alto riflettono probabilmente qualche pregiudizio invisibile nel calcolo e dovrebbero quindi essere trattate con scetticismo.
Roman Frigg & Stephan Hartmann (2006) Models in science, Stanford Encyclopedia of Philosophy, 27 di febbraio (ultimo aggiornamento: 4 di febbraio di 2020).
Holden Karnofsky (2011) Why we can’t take expected value estimates literally (even when they’re unbiased), The GiveWell Blog, 18 di agosto.
Approccio alla valutazione di interventi incerti.
Holden Karnofsky (2014) Sequence thinking vs. cluster thinking, The GiveWell Blog, 10 di giugno (ultimo aggiornamento: 25 di luglio di 2016).
Toby Ord, Rafaela Hillerbrand & Anders Sandberg (2010) Probing the improbable: methodological challenges for risks with low probabilities and high stakes, Journal of Risk Research, vol. 13, pp. 191–205.
Guesstimate. Uno strumento per eseguire calcoli in condizioni di incertezza.
Squiggle. Un linguaggio di stima.