Ipotesi di scalemento

L’ ipotesi di scalamento sostiene che, con l’attuale paradigma dell’apprendimento profondo, è possibile ottenere modelli sempre più capaci semplicemente addestrando reti neurali sempre più grandi. Nelle parole di Gwern Branwen, che ha reso popolare l’ipotesi di scalamento, “le reti neurali più potenti sono ‘solo’ reti neurali deboli scalate, proprio come i cervelli umani assomigliano a cervelli di primati scalati”⁠1.