Dario Amodei leader della Intelligenza Artificiale Democratica

In alcuni passaggi del suo ultimo saggio "L'adolescenza della tecnologia, Affrontare e superare i rischi dell'intelligenza artificiale potente" il fondatore di Anthropic (Claude) Dario Amodei delinea una sorta di "manifesto per una Intelligenza Artificiale Democratica", in difesa della democrazia e governabile (forse) dal genere umano.

Le tesi di Amodei chiudono la fase della Intelligenza Artificiale "apolitica", fenomeno solo tecnologico, etico, filosofico, scientifico, e iniziano a individuare le discriminanti del prossimo futuro della IA, da cui dipendono la governabilità, la democrazia, la sopravvivenza del genere umano.

Una discesa in campo quanto mai necessaria, date le deliranti derive autoritarie di Elon Musk e i mediocri opportunismi di Sam Altman.

... 3. L'odioso apparato - Abuso per la presa del potere

Nella sezione precedente abbiamo discusso il rischio che singoli individui e piccole organizzazioni si approprino di una piccola parte del "paese dei geni in un data center" per causare una distruzione su larga scala. Ma dovremmo anche preoccuparci, probabilmente in misura notevolmente maggiore, dell'uso improprio dell'IA allo scopo di esercitare o prendere il potere , probabilmente da parte di attori più grandi e affermati. 29

In "Macchine di Grazia Amorevole " ho discusso la possibilità che i governi autoritari possano utilizzare potenti IA per sorvegliare o reprimere i propri cittadini in modi che sarebbero estremamente difficili da riformare o rovesciare. Le autocrazie attuali sono limitate nel loro livello di repressione dalla necessità che gli esseri umani eseguano i loro ordini, e gli esseri umani spesso hanno limiti nel grado di disumanizzazione che sono disposti a essere. Ma le autocrazie basate sull'IA non avrebbero tali limiti.

Peggio ancora, i paesi potrebbero anche usare il loro vantaggio nell'IA per acquisire potere sugli altri paesi . Se il "paese dei geni" nel suo complesso fosse semplicemente posseduto e controllato dall'apparato militare di un singolo paese (umano), e gli altri paesi non avessero capacità equivalenti, è difficile immaginare come potrebbero difendersi: verrebbero superati in astuzia a ogni passo, come in una guerra tra umani e topi. Mettere insieme queste due preoccupazioni porta all'allarmante possibilità di una dittatura totalitaria globale. Ovviamente, prevenire questo risultato dovrebbe essere una delle nostre massime priorità.

Ci sono molti modi in cui l'IA potrebbe abilitare, consolidare o espandere l'autocrazia, ma ne elencherò alcuni che mi preoccupano maggiormente. Si noti che alcune di queste applicazioni hanno legittimi usi difensivi, e non sto necessariamente argomentando contro di esse in termini assoluti; sono tuttavia preoccupato che tendano strutturalmente a favorire le autocrazie:

Armi completamente autonome.

Uno sciame di milioni o miliardi di droni armati completamente automatizzati, controllati localmente da una potente IA e coordinati strategicamente in tutto il mondo da un'IA ancora più potente, potrebbe costituire un esercito imbattibile, in grado sia di sconfiggere qualsiasi esercito al mondo sia di reprimere il dissenso all'interno di un Paese, seguendo ogni cittadino.

Gli sviluppi nella guerra Russia-Ucraina dovrebbero farci capire che la guerra con i droni è già in atto (anche se non ancora completamente autonoma, e una piccola frazione di ciò che potrebbe essere possibile con una potente IA).

La ricerca e lo sviluppo di una potente IA potrebbero rendere i droni di un Paese di gran lunga superiori a quelli di altri, accelerarne la produzione, renderli più resistenti agli attacchi elettronici, migliorarne la manovrabilità e così via. Naturalmente, queste armi hanno anche usi legittimi nella difesa della democrazia: sono state fondamentali per la difesa dell'Ucraina e probabilmente lo sarebbero anche per la difesa di Taiwan.

Ma sono un'arma pericolosa da maneggiare: dovremmo preoccuparci che finiscano nelle mani delle autocrazie, ma dovremmo anche preoccuparci che, poiché sono così potenti e con così poca responsabilità, ci sia un rischio molto maggiore che i governi democratici le rivolgano contro il proprio popolo per prendere il potere.

Sorveglianza tramite intelligenza artificiale.

Un'intelligenza artificiale sufficientemente potente potrebbe probabilmente essere utilizzata per compromettere qualsiasi sistema informatico nel mondo, 30e potrebbe anche utilizzare l'accesso ottenuto in questo modo per leggere e dare un senso a tutte le comunicazioni elettroniche del mondo (o persino a tutte le comunicazioni di persona del mondo, se si potessero costruire o requisire dispositivi di registrazione). Potrebbe essere spaventosamente plausibile generare semplicemente un elenco completo di chiunque non sia d'accordo con il governo su qualsiasi questione, anche se tale disaccordo non è esplicito in nulla di ciò che dicono o fanno. Una potente intelligenza artificiale che analizza miliardi di conversazioni di milioni di persone potrebbe valutare il sentimento pubblico, individuare sacche di slealtà in via di formazione ed eliminarle prima che crescano. Ciò potrebbe portare all'imposizione di un vero e proprio panopticon su una scala che non vediamo oggi, nemmeno con il PCC.

Propaganda dell'IA.

I fenomeni odierni della " psicosi dell'IA " e delle "fidanzate dell'IA" suggeriscono che, anche al loro attuale livello di intelligenza, i modelli di IA possono avere una potente influenza psicologica sulle persone. Versioni molto più potenti di questi modelli, molto più radicate e consapevoli della vita quotidiana delle persone e in grado di modellarle e influenzarle per mesi o anni, sarebbero probabilmente in grado di fare il lavaggio del cervello a molte (la maggior parte?) persone inducendole a qualsiasi ideologia o atteggiamento desiderato, e potrebbero essere impiegate da un leader senza scrupoli per garantire lealtà e reprimere il dissenso, anche di fronte a un livello di repressione contro cui la maggior parte delle popolazioni si ribellerebbe.

Oggi le persone si preoccupano molto, ad esempio, della potenziale influenza di TikTok come propaganda del PCC rivolta ai bambini. Anch'io mi preoccupo di questo, ma un agente di IA personalizzato che ti conosce nel corso degli anni e usa la sua conoscenza di te per plasmare tutte le tue opinioni sarebbe notevolmente più potente di questo.
Decisioni strategiche. Un paese di geni in un data center potrebbe essere utilizzato per consigliare un paese, un gruppo o un individuo sulla strategia geopolitica, quella che potremmo chiamare una "Bismarck virtuale". Potrebbe ottimizzare le tre strategie di cui sopra per prendere il potere, oltre a svilupparne probabilmente molte altre a cui non ho pensato (ma a cui un paese di geni potrebbe).

Diplomazia, strategia militare, ricerca e sviluppo, strategia economica e molti altri ambiti probabilmente aumenteranno notevolmente in efficacia grazie a una potente intelligenza artificiale. Molte di queste competenze sarebbero legittimamente utili per le democrazie – vogliamo che le democrazie abbiano accesso alle migliori strategie per difendersi dalle autocrazie – ma il potenziale di un uso improprio nelle mani di chiunque rimane.
Dopo aver descritto cosa mi preoccupa, passiamo a chi .

Sono preoccupato per le entità che hanno maggiore accesso all'IA, che partono da una posizione di massimo potere politico o che hanno una storia di repressione.

In ordine di gravità, sono preoccupato per:

Il Partito Comunista Cinese. 

La Cina è seconda solo agli Stati Uniti per capacità di intelligenza artificiale, ed è il paese con la maggiore probabilità di superarli in tali capacità. Il suo governo è attualmente autocratico e gestisce uno stato di sorveglianza ad alta tecnologia. Ha già implementato la sorveglianza basata sull'intelligenza artificiale (anche nella repressione degli uiguri ) e si ritiene che utilizzi la propaganda algoritmica tramite TikTok (oltre ai suoi numerosi altri sforzi di propaganda internazionale). Ha senza dubbio la strada più chiara verso l'incubo totalitario basato sull'intelligenza artificiale che ho descritto sopra. Potrebbe persino essere il risultato predefinito all'interno della Cina, così come all'interno di altri stati autocratici a cui il PCC esporta la tecnologia di sorveglianza. Ho scritto spesso della minaccia che il PCC assuma la guida dell'intelligenza artificiale e dell'imperativo esistenziale di impedirglielo. Ecco perché. Per essere chiari, non sto prendendo di mira la Cina per ostilità nei suoi confronti in particolare: è semplicemente il paese che combina maggiormente abilità nell'intelligenza artificiale, un governo autocratico e uno stato di sorveglianza ad alta tecnologia. Semmai, è il popolo cinese stesso a subire con maggiore probabilità la repressione del PCC, alimentata dall'intelligenza artificiale, e non ha voce in capitolo nelle azioni del suo governo. Ammiro e rispetto profondamente il popolo cinese e sostengo i tanti coraggiosi dissidenti in Cina e la loro lotta per la libertà.

Democrazie competitive nell'IA.

Come ho scritto sopra, le democrazie hanno un legittimo interesse in alcuni strumenti militari e geopolitici basati sull'IA, perché i governi democratici offrono le migliori possibilità di contrastare l'uso di questi strumenti da parte delle autocrazie. In generale, sono favorevole a dotare le democrazie degli strumenti necessari per sconfiggere le autocrazie nell'era dell'IA: semplicemente non credo che ci sia altra via. Ma non possiamo ignorare il potenziale di abuso di queste tecnologie da parte degli stessi governi democratici. Le democrazie normalmente dispongono di misure di salvaguardia che impediscono che i loro apparati militari e di intelligence si rivolgano contro la propria popolazione,

Tuttavia, poiché gli strumenti di intelligenza artificiale richiedono così poche persone per funzionare, esiste il rischio che possano aggirare queste garanzie e le norme che le supportano. Vale anche la pena notare che alcune di queste garanzie si stanno già gradualmente erodendo in alcune democrazie. Pertanto, dovremmo dotare le democrazie di intelligenza artificiale, ma dovremmo farlo con cautela e entro certi limiti: sono il sistema immunitario di cui abbiamo bisogno per combattere le autocrazie, ma come il sistema immunitario, c'è il rischio che si rivoltino contro di noi e diventino essi stessi una minaccia.

Paesi non democratici con grandi data center.

 A parte la Cina, la maggior parte dei paesi con una governance meno democratica non è un attore leader nell'IA, nel senso che non ha aziende che producono modelli di IA di frontiera. Pertanto, rappresentano un rischio fondamentalmente diverso e minore rispetto al PCC, che rimane la preoccupazione principale (la maggior parte è anche meno repressiva, e quelli più repressivi, come la Corea del Nord, non hanno alcuna industria di IA significativa).

Tuttavia, alcuni di questi paesi dispongono di grandi data center (spesso parte di progetti di espansione da parte di aziende che operano in democrazie), che possono essere utilizzati per gestire l'IA di frontiera su larga scala (anche se questo non conferisce la capacità di spingere oltre la frontiera). C'è un certo rischio associato a questo: questi governi potrebbero, in linea di principio, espropriare i data center e utilizzare le IA al loro interno per i propri fini. Sono meno preoccupato di questo aspetto rispetto a paesi come la Cina che sviluppano direttamente l'IA, ma è un rischio da tenere presente. 

Aziende di intelligenza artificiale.

È un po' imbarazzante dirlo come CEO di un'azienda di intelligenza artificiale, ma credo che il livello di rischio successivo riguardi proprio le aziende di intelligenza artificiale. Le aziende di intelligenza artificiale controllano grandi data center, addestrano modelli all'avanguardia, hanno la massima competenza su come utilizzare tali modelli e, in alcuni casi, hanno contatti quotidiani con decine o centinaia di milioni di utenti e la possibilità di influenzarli.

La cosa principale che manca loro è la legittimità e l'infrastruttura di uno Stato, quindi gran parte di ciò che sarebbe necessario per costruire gli strumenti di un'autocrazia di intelligenza artificiale sarebbe illegale per un'azienda di intelligenza artificiale, o quantomeno estremamente sospetto. Ma alcune azioni non sono impossibili: potrebbero, ad esempio, usare i loro prodotti di intelligenza artificiale per fare il lavaggio del cervello alla loro enorme base di utenti, e il pubblico dovrebbe essere consapevole del rischio che ciò rappresenta. Credo che la governance delle aziende di intelligenza artificiale meriti molta attenzione.
Esistono diverse possibili argomentazioni contro la gravità di queste minacce, e vorrei crederci, perché l'autoritarismo basato sull'intelligenza artificiale mi terrorizza. Vale la pena di analizzare alcune di queste argomentazioni e di rispondere.

In primo luogo, alcuni potrebbero riporre fiducia nel deterrente nucleare, in particolare per contrastare l'uso di armi autonome basate sull'intelligenza artificiale a fini di conquista militare. Se qualcuno minaccia di usare queste armi contro di te, puoi sempre minacciare una risposta nucleare. La mia preoccupazione è che non sono del tutto sicuro che possiamo avere fiducia nel deterrente nucleare contro un paese di geni in un data center: è possibile che un'intelligenza artificiale potente possa escogitare modi per rilevare e colpire sottomarini nucleari , condurre operazioni di influenza contro gli operatori di infrastrutture per armi nucleari o utilizzare le capacità informatiche dell'intelligenza artificiale per lanciare un attacco informatico contro i satelliti utilizzati per rilevare i lanci nucleari. 33In alternativa, è possibile che la conquista di un Paese sia fattibile solo con la sorveglianza e la propaganda dell'IA, e non presenti mai un momento chiaro in cui sia evidente cosa sta succedendo e in cui una risposta nucleare sarebbe appropriata. Forse queste soluzioni non sono fattibili e il deterrente nucleare sarà comunque efficace, ma la posta in gioco sembra troppo alta per correre un rischio. 34

Una seconda possibile obiezione è che potrebbero esserci contromisure che possiamo adottare contro questi strumenti di autocrazia. Possiamo contrastare i droni con i nostri droni, la difesa informatica migliorerà insieme agli attacchi informatici, potrebbero esserci modi per immunizzare le persone dalla propaganda, ecc. La mia risposta è che queste difese saranno possibili solo con un'IA comparabilmente potente. Se non esiste una controforza con un paese di geni altrettanto intelligenti e numerosi in un data center, non sarà possibile eguagliare la qualità o la quantità di droni, né che la difesa informatica possa superare in astuzia gli attacchi informatici, ecc. Quindi la questione delle contromisure si riduce alla questione di un equilibrio di potere in un'IA potente. Qui, mi preoccupa la proprietà ricorsiva o auto-rinforzante dell'IA potente (di cui ho parlato all'inizio di questo saggio): ogni generazione di IA può essere utilizzata per progettare e addestrare la prossima generazione di IA. Ciò comporta il rischio di un vantaggio incontrollato, in cui l'attuale leader nell'IA potente potrebbe essere in grado di aumentare il proprio vantaggio e potrebbe essere difficile da raggiungere. Dobbiamo assicurarci che non sia un paese autoritario a finire per primo in questo circolo vizioso.

Inoltre, anche se si riuscisse a raggiungere un equilibrio di potere, sussisterebbe comunque il rischio che il mondo venga diviso in sfere autocratiche, come in 1984. Anche se diverse potenze concorrenti avessero ciascuna i propri potenti modelli di intelligenza artificiale, e nessuna potesse sopraffare le altre, ciascuna potenza potrebbe comunque reprimere internamente la propria popolazione e sarebbe molto difficile da rovesciare (dato che le popolazioni non dispongono di un'intelligenza artificiale potente per difendersi). È quindi importante prevenire l'autocrazia basata sull'intelligenza artificiale, anche se non dovesse portare alla conquista del mondo da parte di un singolo paese.

Difese

Come possiamo difenderci da questa vasta gamma di strumenti autocratici e potenziali attori minacciosi?

Come nelle sezioni precedenti, ci sono diverse cose che penso possiamo fare. Innanzitutto, non dovremmo assolutamente vendere chip, strumenti per la produzione di chip o data center al PCC.

Chip e strumenti per la produzione di chip rappresentano il principale collo di bottiglia per un'IA potente, e bloccarli è una misura semplice ma estremamente efficace, forse l'azione più importante che possiamo intraprendere. Non ha senso vendere al PCC gli strumenti con cui costruire uno stato totalitario basato sull'IA e possibilmente conquistarci militarmente. Vengono avanzate diverse argomentazioni complesse per giustificare tali vendite, come l'idea che "diffondere il nostro stack tecnologico in tutto il mondo" permetta "all'America di vincere" in una battaglia economica generale e non specificata. A mio avviso, è come vendere armi nucleari alla Corea del Nord e poi vantarsi che gli involucri dei missili sono prodotti dalla Boeing e quindi gli Stati Uniti stanno "vincendo". La Cina è indietro di diversi anni rispetto agli Stati Uniti nella capacità di produrre chip di frontiera in grandi quantità, e il periodo critico per la costruzione di un paese di geni in un data center molto probabilmente si verificherà nei prossimi anni .Non c'è motivo di dare una spinta enorme al settore dell'intelligenza artificiale in questo periodo critico.

In secondo luogo, ha senso utilizzare l'IA per consentire alle democrazie di resistere alle autocrazie. Questo è il motivo per cui Anthropic ritiene importante fornire l'IA alle comunità di intelligence e difesa degli Stati Uniti e dei suoi alleati democratici. Difendere le democrazie sotto attacco, come l'Ucraina e (tramite attacchi informatici) Taiwan, sembra una priorità particolarmente elevata, così come consentire alle democrazie di utilizzare i propri servizi di intelligence per smantellare e degradare le autocrazie dall'interno. A un certo livello, l'unico modo per rispondere alle minacce autocratiche è contrastarle e surclassarle militarmente. Una coalizione degli Stati Uniti e dei suoi alleati democratici, se raggiungesse il predominio in un'IA potente, sarebbe in grado non solo di difendersi dalle autocrazie, ma anche di contenerle e limitarne gli abusi totalitari.

In terzo luogo, dobbiamo tracciare una linea dura contro gli abusi dell'IA all'interno delle democrazie. Devono esserci limiti a ciò che permettiamo ai nostri governi di fare con l'IA, in modo che non prendano il potere o reprimano il loro stesso popolo. La formulazione che ho elaborato è che dovremmo usare l'IA per la difesa nazionale in tutti i modi, tranne quelli che ci renderebbero più simili ai nostri avversari autocratici .

Dove dovrebbe essere tracciata la linea di demarcazione? Nell'elenco all'inizio di questa sezione, due voci – l'uso dell'IA per la sorveglianza di massa interna e la propaganda di massa – mi sembrano linee rosse e del tutto illegittime. Alcuni potrebbero sostenere che non c'è bisogno di fare nulla (almeno negli Stati Uniti), poiché la sorveglianza di massa interna è già illegale ai sensi del Quarto Emendamento. Ma il rapido progresso dell'IA potrebbe creare situazioni che i nostri attuali quadri giuridici non sono ben progettati per gestire. Ad esempio, probabilmente non sarebbe incostituzionale per il governo degli Stati Uniti effettuare registrazioni su larga scala di tutte le conversazioni pubbliche (ad esempio, cose che le persone si dicono a un angolo di strada), e in precedenza sarebbe stato difficile ordinare questo volume di informazioni, ma con l'IA tutto potrebbe essere trascritto, interpretato e triangolato per creare un quadro dell'atteggiamento e della lealtà di molti o della maggior parte dei cittadini. Sosterrei una legislazione incentrata sulle libertà civili (o forse anche un emendamento costituzionale) che imponga più forti barriere contro gli abusi alimentati dall'IA.

Gli altri due elementi – armi completamente autonome e IA per il processo decisionale strategico – sono più difficili da tracciare, poiché hanno usi legittimi nella difesa della democrazia, ma sono anche soggetti ad abusi. In questo caso, ritengo che ciò che sia giustificato sia un'estrema attenzione e un controllo approfondito, uniti a misure di sicurezza per prevenire gli abusi. Il mio timore principale è avere un numero troppo esiguo di "dita sul pulsante", al punto che una o poche persone potrebbero essenzialmente gestire un esercito di droni senza bisogno di altri esseri umani che cooperino per eseguire i loro ordini. Con l'aumentare della potenza dei sistemi di IA, potremmo aver bisogno di meccanismi di supervisione più diretti e immediati per garantire che non vengano utilizzati in modo improprio, magari coinvolgendo rami del governo diversi dall'esecutivo. Credo che dovremmo affrontare le armi completamente autonome, in particolare, con grande cautela, 36e non affrettarsi a utilizzarli senza le opportune misure di sicurezza.

In quarto luogo, dopo aver tracciato una linea dura contro gli abusi dell'IA nelle democrazie, dovremmo usare questo precedente per creare un tabù internazionale contro i peggiori abusi dell'IA potente. Riconosco che gli attuali venti politici si sono rivoltati contro la cooperazione internazionale e le norme internazionali, ma questo è un caso in cui ne abbiamo assolutamente bisogno. Il mondo deve comprendere il potenziale oscuro dell'IA potente nelle mani degli autocrati e riconoscere che certi usi dell'IA equivalgono a un tentativo di rubare permanentemente la loro libertà e imporre uno stato totalitario da cui non possono fuggire. Direi addirittura che in alcuni casi, la sorveglianza su larga scala con un'IA potente, la propaganda di massa con un'IA potente e certi tipi di usi offensivi di armi completamente autonome dovrebbero essere considerati crimini contro l'umanità. Più in generale, è assolutamente necessaria una norma solida contro il totalitarismo basato sull'IA e tutti i suoi strumenti.

È possibile avere una versione ancora più forte di questa posizione, ovvero che, poiché le possibilità di un totalitarismo basato sull'intelligenza artificiale sono così oscure, l'autocrazia semplicemente non è una forma di governo che le persone possano accettare nell'era post-IA potente. Proprio come il feudalesimo è diventato impraticabile con la rivoluzione industriale, l'era dell'IA potrebbe portare inevitabilmente e logicamente alla conclusione che la democrazia (e, si spera, la democrazia migliorata e rinvigorita dall'IA, come sostengo in " Machines of Loving Grace" ) è l'unica forma di governo praticabile se l'umanità vuole avere un futuro migliore.

Quinto e ultimo, le aziende di intelligenza artificiale dovrebbero essere attentamente monitorate, così come il loro legame con il governo, che è necessario, ma deve avere limiti e confini. L'enorme quantità di capacità racchiusa in un'intelligenza artificiale potente è tale che la normale governance aziendale – progettata per proteggere gli azionisti e prevenire abusi ordinari come le frodi – difficilmente sarà all'altezza del compito di governare le aziende di intelligenza artificiale. Potrebbe anche essere utile che le aziende si impegnino pubblicamente (magari anche come parte della governance aziendale) a non intraprendere determinate azioni, come la costruzione o l'accumulo privato di hardware militare, l'utilizzo di grandi quantità di risorse informatiche da parte di singoli individui in modo non responsabile o l'utilizzo dei loro prodotti di intelligenza artificiale come propaganda per manipolare l'opinione pubblica a proprio favore.

Il pericolo qui proviene da molte direzioni, e alcune sono in conflitto con altre.

L'unica costante è che dobbiamo cercare responsabilità, norme e limiti per tutti, anche se diamo potere ai "buoni" attori per tenere sotto controllo i "cattivi".