È praticamente impossibile gestire una grande azienda di IA in modo etico
Anthropic doveva essere «quella buona». Ma non può esserlo — a meno che il governo non cambi gli incentivi nel settore.
Anthropic avrebbe dovuto essere l’azienda di IA buona. Quella etica. Quella sicura.
Doveva essere diversa da OpenAI, creatrice di ChatGPT. Infatti, tutti i fondatori di Anthropic un tempo lavoravano in OpenAI, ma si sono dimessi in parte a causa di divergenze sulla cultura interna della sicurezza, per andare a fondare una propria azienda che sviluppasse l’IA in modo più responsabile.
Tuttavia, ultimamente Anthropic è balzata sotto i riflettori per ragioni meno nobili: si sta opponendo a uno storico disegno di legge californiano volto a regolamentare l’IA. Sta ricevendo finanziamenti da Google e Amazon in un modo che sta attirando l’attenzione delle autorità antitrust. Inoltre, è accusata di estrarre dati in modo aggressivo dai siti web senza autorizzazione, compromettendone le prestazioni.
Cosa sta succedendo?
L’indizio migliore potrebbe provenire da un articolo del 2022 scritto dal team di Anthropic quando la loro startup aveva appena un anno di vita. Avvertivano che gli incentivi nel settore dell’IA — si pensi al profitto e al prestigio — spingeranno le aziende a «implementare grandi modelli generativi nonostante l’elevata incertezza riguardo all’effettiva portata delle capacità di tali modelli». Sostenevano che, se vogliamo un’IA sicura, la struttura degli incentivi alla base del settore deve cambiare.
Ebbene, a tre anni dalla fondazione, Anthropic ha ormai l’età di un bambino piccolo e sta attraversando molte delle stesse difficoltà di crescita che hanno afflitto la sorella maggiore OpenAI. Per certi versi, si tratta delle stesse tensioni che hanno tormentato tutte le startup tecnologiche della Silicon Valley che partono con la filosofia del “don’t be evil”. Ora, però, queste tensioni sono amplificate all’ennesima potenza.
Un’azienda di IA può anche voler realizzare sistemi sicuri, ma in un settore dominato da un simile entusiasmo deve affrontare un’enorme pressione per essere la prima a lanciarsi sul mercato. L’azienda deve attirare investitori per ottenere le somme colossali di denaro necessarie a sviluppare modelli di IA di altissimo livello e, per farlo, deve soddisfarli mostrando loro la strada verso profitti enormi. Ah, e la posta in gioco — qualora qualcosa dovesse andare storto con la tecnologia — è molto più alta rispetto a quasi qualsiasi tecnologia precedente.
Quindi un’azienda come Anthropic deve fare i conti con profonde contraddizioni interne e, in ultima analisi, si trova di fronte a una domanda esistenziale: è davvero possibile gestire un’azienda di IA che faccia progredire lo stato dell’arte e al contempo dia veramente la priorità all’etica e alla sicurezza?
«Non credo sia possibile», mi ha detto qualche mese fa la futurista Amy Webb, amministratrice delegata del Future Today Institute.
Se persino un’azienda dai nobili principi come Anthropic sta diventando un esempio lampante di tale impossibilità, è ora di prendere in considerazione un’altra opzione: il governo deve intervenire e modificare la struttura degli incentivi dell’intero settore.
L’incentivo a continuare a sviluppare e distribuire modelli di IA
Anthropic si è sempre presentata come un’azienda che mette la sicurezza al primo posto. I suoi dirigenti affermano di prendere molto sul serio i rischi catastrofici o esistenziali derivanti dall’IA. L’amministratore delegato Dario Amodei ha testimoniato davanti ai senatori statunitensi, sostenendo che modelli di IA abbastanza potenti da «causare distruzione su larga scala» e sconvolgere l’equilibrio di potere internazionale potrebbero vedere la luce già nel 2025. (Dichiarazione di trasparenza: uno dei primi investitori di Anthropic è James McClave, la cui Fondazione BEMC contribuisce al finanziamento di Future Perfect.)
Ci si potrebbe quindi aspettare che Anthropic accolga con favore un disegno di legge presentato dal senatore dello Stato della California Scott Wiener (D-San Francisco), il Safe and Secure Innovation for Frontier Artificial Intelligence Model Act, noto anche come SB 1047. Tale normativa richiederebbe alle aziende che addestrano i modelli di IA più avanzati e costosi di condurre test di sicurezza e di mantenere la possibilità di disattivare i modelli qualora si verifichi un incidente di sicurezza.
Tuttavia, Anthropic sta esercitando pressioni per annacquare il disegno di legge. Vuole accantonare l’idea che il governo debba far rispettare gli standard di sicurezza prima che si verifichi una catastrofe. «Anziché decidere quali misure le aziende debbano adottare per prevenire catastrofi (che sono ancora ipotetiche e per le quali l’ecosistema sta ancora procedendo per iterazioni al fine di determinare le migliori pratiche)» esorta l’azienda, «il disegno di legge dovrebbe concentrarsi sul ritenere le aziende responsabili delle catastrofi effettivamente causate».
In altre parole, non intraprendere alcuna azione prima che qualcosa non sia già andato terribilmente storto.
Per certi versi, Anthropic sembra comportarsi come farebbe qualsiasi azienda a scopo di lucro per proteggere i propri interessi. Anthropic non ha solo incentivi economici — massimizzare i profitti, offrire a partner come Amazon un ritorno sull’investimento e continuare a raccogliere miliardi per costruire modelli più avanzati — ma anche un incentivo legato al prestigio per continuare a rilasciare modelli sempre più avanzati, in modo da mantenere la reputazione di azienda all’avanguardia nel campo dell’IA.
Ciò rappresenta una grande delusione per i gruppi attenti alla sicurezza, che si aspettavano che Anthropic accogliesse con favore — anziché osteggiare — una maggiore supervisione e responsabilità.
«Anthropic sta cercando di svuotare di poteri l’autorità di regolamentazione statale proposta e di impedire l’applicazione delle norme finché non si sarà verificata una catastrofe: è come vietare alla FDA di richiedere sperimentazioni cliniche», mi ha detto Max Tegmark, presidente del Future of Life Institute.
Gli Stati Uniti dispongono di standard di sicurezza vincolanti in settori che vanno dall’industria farmaceutica a quella aeronautica. Eppure i lobbisti del settore tecnologico continuano a opporsi a tali regolamentazioni per i propri prodotti. Proprio come hanno fatto le aziende di social media anni fa, assumono impegni volontari in materia di sicurezza per placare chi è preoccupato per i rischi, per poi lottare con le unghie e con i denti pur di impedire che tali impegni si trasformino in legge.
In quella che ha definito «una cinica mossa procedurale», Tegmark ha osservato che Anthropic ha anche presentato emendamenti al disegno di legge che riguardano le competenze di ogni commissione dell’assemblea legislativa, dando così a ciascuna di esse un’ulteriore opportunità per affossarlo. «Questo è preso direttamente dal copione delle Big Tech», ha affermato.
Un portavoce di Anthropic mi ha detto che l’attuale versione del disegno di legge «potrebbe indebolire il vantaggio competitivo degli Stati Uniti nello sviluppo dell’IA» e che l’azienda vuole «rifocalizzare il disegno di legge sulla sicurezza dell’IA di frontiera, allontanandosi da approcci che non sono sufficientemente adattabili a una tecnologia in rapida evoluzione».
L’incentivo a divorare i dati di tutti
Un’altra tensione al centro dello sviluppo dell’IA: è che le aziende hanno bisogno di raccogliere enormi quantità di testo di alta qualità da libri e siti web per addestrare i propri sistemi. Ma quei testi sono stati creati da esseri umani, e agli umani in genere non piace che il proprio lavoro venga utilizzato senza consenso.
Tutte le principali aziende di IA estraggono dati disponibili pubblicamente per utilizzarli nell’addestramento, una pratica che, a loro dire, è legalmente protetta dal fair use. Ma lo scraping è controverso ed è oggetto di contestazioni in tribunale. Autori famosi come Jonathan Franzen e aziende mediatiche come il New York Times hanno citato in giudizio OpenAI per violazione del diritto d’autore, sostenendo che l’azienda di IA abbia sottratto i loro testi senza autorizzazione. Si tratta del tipo di battaglia legale che potrebbe finire per ridefinire la normativa sul diritto d’autore, con ripercussioni su tutte le aziende di IA. (Dichiarazione di trasparenza: Vox Media è uno dei numerosi editori che hanno firmato accordi di partnership con OpenAI. La nostra attività giornalistica rimane editorialmente indipendente.)
Inoltre, lo scraping di dati viola i termini di servizio di alcuni siti web. YouTube afferma che addestrare un modello di IA utilizzando i video o le trascrizioni della piattaforma è una violazione dei termini del sito. Eppure è esattamente ciò che ha fatto Anthropic, secondo una recente indagine condotta da Proof News.
Gli editori web e i creatori di contenuti sono furiosi. Matt Barrie, amministratore delegato di Freelancer.com, una piattaforma che mette in contatto i liberi professionisti con i clienti, ha affermato che Anthropic è «di gran lunga lo scraper più aggressivo», in quanto continua a invadere il sito anche dopo che le è stato intimato di smettere. «Abbiamo dovuto bloccarli perché non rispettano le regole di Internet. Si tratta di uno scraping inaccettabile [che] rallenta il sito per tutti coloro che vi operano e, in ultima analisi, incide sui nostri ricavi».
Dave Farina, conduttore del popolare programma scientifico su YouTube Professor Dave Explains, ha dichiarato a Proof News che è «il principio stesso della questione» a turbarlo. Circa 140 dei suoi video sono stati prelevati per andare a far parte del dataset che Anthropic ha impiegato per l’addestramento. «Se traete profitto dal lavoro che ho svolto [per realizzare un prodotto] che mi lascerà senza lavoro, o che lascerà senza lavoro persone come me, allora è necessario intavolare una discussione riguardo a un risarcimento o a un qualche tipo di regolamentazione», ha affermato.
Perché mai Anthropic dovrebbe correre il rischio di utilizzare dati prelevati, ad esempio, da YouTube, quando la piattaforma lo ha esplicitamente vietato e la violazione del copyright è un tema così scottante in questo momento?
Perché le aziende di IA hanno bisogno di dati di qualità sempre più elevata per continuare a migliorare le prestazioni dei loro modelli. L’uso di dati sintetici (creati da algoritmi) non sembra promettente. Una ricerca dimostra che lasciare che ChatGPT si morda la coda porta a risultati bizzarri e inutilizzabili. (Un autore ha coniato un termine per il fenomeno: «IA d’Asburgo», dalla dinastia reale europea famosa per il declino causato da generazioni di consanguineità.) Servono dati freschi creati da esseri umani in carne e ossa, ma sta diventando sempre più difficile raccoglierli.
Gli editori stanno bloccando i web crawler, introducendo paywall o aggiornando i loro termini di servizio per impedire alle aziende di IA di utilizzare i loro dati come materiale per l’addestramento. Un nuovo studio della Data Provenance Initiative, affiliata al MIT, ha esaminato tre dei principali dataset — ciascuno contenente milioni di libri, articoli, video e altri dati web estratti — utilizzati per l’addestramento dell’IA. È emerso che il 25 per cento dei dati di più alta qualità presenti in questi dataset è ora soggetto a restrizioni. Gli autori definiscono la situazione «una crisi emergente del consenso». Alcune aziende, come OpenAI, hanno iniziato a reagire in parte stringendo accordi di licenza con i media, tra cui Vox. Ma ciò potrebbe non bastare, considerata la quantità di dati che rimane ufficialmente inaccessibile.
In teoria, le aziende di intelligenza artificiale potrebbero accettare i limiti al progresso derivanti dal restringere i propri dati di addestramento a quelli reperibili in modo etico, ma in questo modo non resterebbero competitive. Di conseguenza, aziende come Anthropic sono incentivate a spingersi sempre più oltre per ottenere i dati di cui hanno bisogno, anche se ciò significa intraprendere azioni discutibili.
Anthropic ammette di aver addestrato il proprio chatbot, Claude, utilizzando The Pile, un dataset che include i sottotitoli di 173 536 video di YouTube. Quando ho chiesto come giustifichi questo utilizzo, un portavoce di Anthropic mi ha risposto: «Per quanto riguarda il dataset in questione all’interno di The Pile, non abbiamo effettuato alcun crawling su YouTube per crearlo, né lo abbiamo in alcun modo creato». (Ciò fa eco a quanto Anthropic aveva precedentemente dichiarato a Proof News: «Dovremmo rimandarvi agli autori di The Pile».)
L’implicazione è che, poiché Anthropic non ha creato il dataset, ritenga sia lecito utilizzarlo. Ma sembra ingiusto scaricare tutta la responsabilità sugli autori di The Pile — un gruppo non profit che mirava a creare un dataset open source che i ricercatori potessero studiare — se Anthropic ha utilizzato i dati di YouTube in un modo che viola i termini della piattaforma.
«Probabilmente le aziende dovrebbero condurre la propria due diligence. Stanno utilizzando questi dati per scopi commerciali», ha affermato Shayne Longpre, autore principale dello studio della Data Provenance Initiative. Ha contrapposto questo caso a quello dei creatori di The Pile e dei numerosi accademici che hanno utilizzato il dataset per condurre ricerche. «Gli scopi accademici sono chiaramente distinti da quelli commerciali, ed è probabile che siano soggetti a norme diverse.»
L’incentivo a incassare quanto più denaro possibile
Oggi, per costruire un modello di IA all’avanguardia serve un’enorme potenza di calcolo — il che è incredibilmente costoso. Per raccogliere le centinaia di milioni di dollari necessari, le aziende di IA devono collaborare con i giganti della tecnologia.
Ecco perché OpenAI, inizialmente fondata come organizzazione non profit, ha dovuto creare una divisione a scopo di lucro e collaborare con Microsoft. Ed è per questo che Anthropic ha finito per accettare investimenti multimiliardari da Amazon e Google.
Accordi come questi comportano sempre dei rischi. I giganti della tecnologia vogliono ottenere un rapido ritorno sui propri investimenti e massimizzare i profitti. Per accontentarli, le aziende di IA potrebbero sentirsi spinte a distribuire un modello di IA avanzato anche se non sono certe della sua sicurezza.
Queste partnership sollevano inoltre lo spettro dei monopoli, ovvero la concentrazione del potere economico. Gli investimenti di Google e Amazon in Anthropic hanno portato a un’indagine da parte della Federal Trade Commission e stanno ora suscitando l’attenzione delle autorità antitrust nel Regno Unito, dove un’agenzia di tutela dei consumatori sta indagando per stabilire se si sia venuta a creare una «situazione di fusione rilevante» che potrebbe comportare una «sostanziale riduzione della concorrenza».
Un portavoce di Anthropic ha dichiarato che l’azienda intende collaborare con l’agenzia e fornirle un quadro completo degli investimenti. «Siamo un’azienda indipendente e nessuna delle nostre partnership strategiche o dei nostri rapporti con gli investitori compromette l’indipendenza della nostra governance aziendale o la nostra libertà di collaborare con altri», ha affermato il portavoce.
L’esperienza recente, tuttavia, suggerisce che le singolari strutture di governance delle aziende di IA potrebbero non essere sufficienti a scongiurare il peggio.
A differenza di OpenAI, Anthropic non ha mai concesso né a Google né ad Amazon un posto nel proprio consiglio di amministrazione o alcun diritto di osservatore. Tuttavia, proprio come OpenAI, Anthropic si affida a un’insolita struttura di governance aziendale di propria concezione. OpenAI aveva inizialmente creato un consiglio di amministrazione la cui missione idealistica era quella di salvaguardare gli interessi dell’umanità, non di compiacere gli azionisti. Anthropic ha creato una struttura di governance sperimentale, il Long-Term Benefit Trust, un gruppo di persone prive di interessi finanziari nell’azienda che, in ultima analisi, ne avranno il controllo maggioritario, poiché saranno autorizzate a eleggere e revocare tre dei suoi cinque amministratori. (Tale potere entrerà in vigore gradualmente man mano che l’azienda raggiungerà determinati traguardi.)
Ma l’idealismo del Trust ha dei limiti: deve «garantire che Anthropic bilanci in modo responsabile gli interessi finanziari degli azionisti con gli interessi di coloro che subiscono le conseguenze della condotta di Anthropic e con la nostra finalità di utilità pubblica». Inoltre, Anthropic afferma, «abbiamo anche ideato una serie di clausole “di salvaguardia” che consentono di apportare modifiche al Trust e ai suoi poteri senza il consenso degli amministratori fiduciari, qualora sia d’accordo una maggioranza qualificata di azionisti sufficientemente ampia.»
E se c’è una cosa che abbiamo imparato dal colpo di mano nel consiglio di amministrazione di OpenAI dello scorso anno, è che le strutture di governance possono cambiare e di fatto cambiano. Quando il consiglio di amministrazione di OpenAI ha cercato di salvaguardare l’umanità destituendo l’amministratore delegato Sam Altman, si è scontrato con una dura opposizione. Nel giro di pochi giorni, Altman è riuscito a riconquistare il suo vecchio ruolo, i membri del consiglio che lo avevano licenziato sono stati estromessi e la composizione del consiglio è cambiata a suo favore. Inoltre, OpenAI ha concesso a Microsoft un seggio da osservatore, permettendole di accedere a informazioni riservate e, forse, di esercitare pressioni durante le riunioni del consiglio. Solo quando ciò ha attirato (l’avrete indovinato) le attenzioni dell’antitrust, Microsoft ha rinunciato al seggio.
«Credo abbia dimostrato che il consiglio di amministrazione non ha il mordente che si sperava», mi ha detto Carroll Wainwright, che quest’anno ha lasciato OpenAI. «Mi ha portato a dubitare della reale capacità del consiglio di richiamare l’organizzazione alle proprie responsabilità».
Ecco perché lui e diversi altri hanno pubblicato una proposta per chiedere che le aziende di IA concedano loro «il diritto di mettere in guardia sull’intelligenza artificiale avanzata». Secondo la proposta: «Le aziende di IA hanno forti incentivi finanziari a sottrarsi a una supervisione efficace, e non crediamo che delle strutture di governance aziendale su misura siano sufficienti a cambiare le cose».
Tutto ciò ricorda molto quanto un’altra figura nel campo dell’IA ha dichiarato a Vox lo scorso anno: «Sono piuttosto scettico sulle questioni relative alla governance aziendale perché ritengo che gli incentivi delle aziende, compresa la nostra, siano terribilmente distorti». Queste sono le parole di Jack Clark, responsabile delle politiche di Anthropic.
Se le aziende di IA non risolveranno il problema, chi lo farà?
Il team di Anthropic aveva ragione fin dall’inizio, quando pubblicò quello studio nel 2022: le pressioni del mercato sono semplicemente troppo brutali. Le aziende private di IA non hanno alcuna motivazione per cambiare le cose, perciò è il governo a dover modificare la struttura di incentivi in cui operano tutte queste aziende.
Quando ho chiesto a Webb, la futurista, come potrebbe essere un ecosistema aziendale migliore per l’IA, mi ha risposto che dovrebbe includere un mix di bastone e carota: incentivi positivi, come agevolazioni fiscali per le aziende che dimostrano di rispettare i più elevati standard di sicurezza; e incentivi negativi, come normative che sanzionino le aziende che implementano algoritmi distorti.
Con la regolamentazione dell’IA in fase di stallo a livello federale — e le elezioni alle porte — spetta ora agli Stati approvare nuove leggi. Il disegno di legge californiano, se approvato, costituirebbe un tassello di quel puzzle.
Anche la società civile ha un ruolo da svolgere. Se gli editori e i creatori di contenuti non gradiscono che il loro lavoro venga utilizzato come materiale di addestramento, possono reagire. Se i lavoratori del settore tecnologico sono preoccupati per ciò che vedono nelle aziende di IA, possono denunciare la situazione. L’IA può generare moltissimo per nostro conto, ma la resistenza al suo impiego problematico è qualcosa che dobbiamo generare noi stessi.