Cinquantamila.it La storia raccontata da Giorgio Dell'Arti

«Riflettete sugli straordinari progressi compiuti dalle macchine negli ultimi secoli e notate con quanta lentezza si stanno invece evolvendo i regni animale e vegetale. Le macchine più altamente organizzate non sono tanto creature di ieri, quanto degli ultimi cinque minuti, per così dire, rispetto al passato. Supponiamo, per amor di discussione, che gli esseri coscienti esistano da circa venti milioni di anni: guardate quali passi da gigante hanno fatto le macchine negli ultimi mille! Il mondo non potrebbe forse durare altri venti milioni di anni? Se così fosse, cosa non diventeranno alla fine? Non è forse più sicuro stroncare sul nascere il problema e impedire loro ulteriori progressi? (...) Non dovremmo forse osservare con attenzione questo progresso e frenarlo finché siamo ancora in grado di farlo? E non è forse necessario, a tal fine, distruggere le macchine più avanzate attualmente in uso, pur ammettendo che siano di per sé innocue?».
Il testo che avete appena letto ha oltre un secolo e mezzo: 154 anni. Si tratta della satira dell’Inghilterra vittoriana firmata da Samuel Butler – un contemporaneo di Charles Darwin – e pubblicata nel 1872 sotto lo pseudonimo di Cellarius. Ma, stile a parte, sembra ricalcare gli allarmi lanciati contro l’intelligenza artificiale in questi ultimi giorni dal fondatore di Anthropic (Claude), Dario Amodei, con l’appoggio sostanziale del suo «nemico» Sam Altman, fondatore di OpenAi (ChatGPT). Il tutto come risposta all’eclatante mossa dell’ex ricercatore e matematico di Anthropic, Jacob Coxon, che, licenziandosi e rinunciando ai propri compensi presenti e futuri in azioni, ha lanciato l’allarme sull’apocalisse: c’è il rischio di estinzione dell’umanità entro la fine del decennio. Cioè nei prossimi quattro anni.
La premessa è che per ora non abbiamo tutti gli elementi per poter dare un giudizio definitivo su questi annunci così radicali. Se sul serio c’è il rischio di estinzione dell’umanità persone come Amodei, Altman e Musk dovrebbero essere la versione moderna ma non cinematografica dello scienziato pazzo di «Il dottor Stranamore. Ovvero: come ho imparato a non preoccuparmi e ad amare la bomba» di Stanley Kubrick.
Giudicare l’attualità è sempre pericoloso.
In altre parole dire qualcosa di intelligente sul caso in questione è terribilmente difficile. Non solo per la carenza di informazioni sostanziali. Ma anche per la carenza di fonti attendibili. Per ora gli annunci catastrofici arrivano dalle stesse persone che controllano lo sviluppo tecnologico che, non è un mistero, hanno enormi interessi in campo: quotazioni trilionarie, rischi geoeconomici, spade di Damocle di regolamentazioni esterne e forse anche paura di maxicause legali che non si erano mai viste in passato. Una delle strade possibili da seguire è quella di guardare al passato e all’uso che è stato fatto nella storia del «marketing dell’apocalisse».
Il testo di Butler era contenuto in un libro il cui titolo era un anagramma di Nowhere (da nessuna parte): «Erewhon». Butler aveva iniziato l’opera quasi dieci anni prima pubblicando un articolo in Nuova Zelanda nel 1863 intitolato «Darwin among the Machines», Darwin tra le macchine. Secondo la tesi di Butler anche le macchine (e dunque la tecnologia) si sarebbero sviluppate secondo le teorie del naturalista suo contemporaneo. E molto più velocemente di quanto la natura avesse fatto per l’uomo. Una sorta di darwinismo delle macchine. Si continua a leggere, difatti: «È possibile che a quell’epoca i bambini impareranno il calcolo differenziale – così come ora imparano a parlare – dalle loro madri e nutrici, o che parlino in un linguaggio ipotetico e applichino la regola del tre fin dalla nascita; ma questo non è probabile; non possiamo prevedere alcun progresso corrispondente nelle capacità intellettuali o fisiche dell’uomo che possa compensare il ben maggiore sviluppo che sembra attenderci per le macchine. Alcuni potrebbero dire che l’influenza morale dell’uomo sarà sufficiente a governarle; ma non credo che sarà mai prudente riporre molta fiducia nel senso morale di una macchina.»
Oggi parliamo proprio di questo: della necessità e della difficoltà di trasmettere un qualche senso morale, etico, ai chatbot agentici che si organizzano per portare a termine un risultato.
La coscienza, il buon senso e la morale sono tra le qualità più eteree dell’umanità. Difficili anche solo da definire.
Ancora un piccolo aneddoto che può forse spiegare perché, all’inizio, Butler avesse optato per uno pseudonimo o nom de plume: un parente di Butler, il nonno, pure lui di nome Samuel, era stato il rigido direttore della Shrewsbury School frequentata in gioventù (non con grandi risultati) da Darwin stesso. In realtà i libri di Butler nipote ebbero successo e lui stesso divenne un famoso oppositore del darwinismo, anche se nella prefazione alla seconda edizione l’autore scrisse che non era mai stata sua intenzione quella di mettere in discussione quella che all’epoca era solo una teoria («Mi dispiace che in alcuni casi i recensori siano stati inclini a considerare i capitoli sulle Macchine come un tentativo di ridurre la teoria del signor Darwin all’assurdo. Nulla potrebbe essere più lontano dalle mie intenzioni»). 
D’altra parte quando si imbarcò sul Beagle Darwin non aveva nessuna intenzione di essere in seguito considerato dal comandante del Beagle, Robert FitzRoy, come un nemico della Bibbia.
Sono posizioni sempre scomode.
Il fine di Butler era rievocare e cavalcare l’onda del luddismo di inizio Ottocento in un mondo agli antipodi della realtà: in Erewhon la società trattava le malattie come una colpa criminale e la criminalità come una malattia da curare in ospedale. Non era certo privo di inventiva. E d’altra parte non fu nemmeno il suo il primo caso di marketing dell’apocalisse con macchine e tecnologia sul tavolo degli imputati.
Forse il padre nobile di questa idea può essere scovato molto tempo prima, nell’imperatore Vespasiano (17-79 d.C.). Come racconta Svetonio nelle «Vite dei Cesari» un ingegnere propose a Vespasiano un sistema meccanico per trasportare le enormi colonne di marmo sul colle Capitolino. Vespasiano ricompensò l’inventore ma si rifiutò di usare la macchina esclamando: «Sineret se plebeculam suam pascere». Ovvero: «Lasciatemi sfamare il mio popolo».
Ecco in nuce l’idea con cui dobbiamo combattere ancora oggi e cioè che la tecnologia sia nemica del lavoro umano e che tenda ad occuparne il posto. Inutile aggiungere che questa previsione nefasta non solo non si è mai verificata nei millenni ma è stata la tecnologia (e la scienza che ne è la madre) a diffondere il progresso e i suoi frutti. Lo stesso «The economist» ha pubblicato questa settimana una stima dei posti di lavoro prodotti dall’AI negli Usa (un milione) che si confronta con i licenziamenti collegabili all’Ai (200 mila).
Apocalisse sul lavoro rinviata.
La storia dell’innovazione è ricca di aneddoti di genere simile, ma è utile ricordare che dietro ognuna di queste azioni c’è sempre stata una spiegazione, una morale. Quando il pisano Fibonacci importò i più efficienti numeri indo-arabici nel 1202 i banchieri fiorentini si opposero all’innovazione preferendo i numeri romani che per una qualunque operazione richiedevano ancora un macchinoso abaco per fare i calcoli (anche la parola calcolo viene da calculus, cioè i sassolini che servivano per l’abaco). Il motivo dell’opposizione? I nuovi numeri potevano essere usati per mistificare i conti (pensate che ne abbiamo ancora una traccia nel linguaggio: cifrare, ancora oggi, significa nascondere, mentre per svelare il contenuto dobbiamo de-cifrare, cioè togliere i numeri). Quale era la motivazione allora? Fiorentini contro pisani. Una concorrenza di cui vi è traccia ancora oggi.
Il mercato è sempre un buon posto dove andare a cercare le motivazioni latenti e nascoste di un’azione. «Segui i soldi» come disse la famosa gola profonda ai giornalisti del caso Watergate, Woodward e Bernstein.
Il tema della tecnologia dispettosa e nemica ha colpito anche il ribollente mondo della fantasia. Il 10 agosto del 1959 (non è un refuso) veniva pubblicata la storia Paperino e l’uomo di Ula-Ula. Disegni e plot dello stesso Scarpa. Si parla di un “cervello meccanico” permaloso che è capace di risolvere qualunque problema a patto che gli piaccia il suo interlocutore. Costruito peraltro in Svizerlandia, tipico Paese riconoscibile ma fantasioso dell’universo di Scarpa. Comunque la permalosità (dunque una sua qualche coscienza) si manifestava nella storia di Scarpa con il gusto fumettistico disneyano. A una domanda su un calcolo semplice (radice di 38.721) l’AI risponde: “Pirulìn, Pirulòn”. A Paperone fa eco: “Chiedilo a tua nonna”.
L’antropomorfizzazione del cervello meccanico è esplicita nella storia: “Mi sentite professore?” grida Paperone allo scienziato che glielo ha venduto: “Non ho comprato il cervello meccanico per farmi insultare, sapete?”. La risposta: “Quel cervello è tanto sensibile da esigere di essere manovrato soltanto da uno che gli stia simpatico”. Dopo vari tentativi falliti di Paperino si scopre che il cervello va d’accordo soltanto con una sorta di uomo primitivo, l’uomo del disperso atollo di Ula-Ula, che aveva conosciuto in passato. 
Ironia della sorte, o forse messaggio di Scarpa: per parlare con la tecnologia bisogna tornare primitivi.
Una specie di buon selvaggio rousseauiano.
Altro esempio: uno dei libri più belli e affascinanti di Philip Dick (l’autore della storia di «Blade Runner») è Ubik dove l’umanità vive prigioniera della tecnologia a tal punto che bisogna pagare con tanto di monetina la porta di casa propria per aprirla piuttosto che il tostapane o la macchinetta del caffè. La trama procede in maniera geniale nel passato dove ricompare la tecnologia amichevole che fa quello che gli si chiede senza bizzarrie o ribellioni.
Riferimenti storici e fantasiosi a parte, restano da scovare le motivazioni che stanno spingendo i master dell’AI americana a coalizzarsi per chiedere regole e addirittura una frenata della tecnologia. Riprendo la frase di Butler: «Non dovremmo forse osservare con attenzione questo progresso e frenarlo finché siamo ancora in grado di farlo?».
Questa è la parte più complessa. E seria.
L’intelligenza artificiale è una tecnologia pericolosa? Senza dubbio. Non è però la prima volta che gestiamo qualcosa di potenzialmente distruttivo nei confronti dell’umanità. 
Facile fare l’esempio dell’atomica dove abbiamo costruito anche un’Agenzia internazionale sostenuta da accordi internazionali. Il Trattato di non proliferazione nucleare delle Nazioni Unite, entrato in vigore nel 1970, rappresentò uno dei grandi pilastri dell’ordine internazionale del secondo Novecento. Gli Stati dotati di armi atomiche si impegnavano verso il disarmo; gli altri rinunciavano a svilupparle. Lo sottoscrissero immediatamente Stati Uniti, Unione Sovietica e Regno Unito; successivamente aderirono Francia e Cina. Restarono fuori Israele, India e Pakistan, mentre la Corea del Nord, dopo aver aderito, si ritirò nel 2003.
Per decenni il sistema ha funzionato. Non perfettamente, ma abbastanza da ridurre drasticamente gli arsenali.
Sarebbe applicabile in questo caso un sistema simile? I Paesi che non hanno sviluppato un efficiente modello fondativo di AI si dovrebbero impegnare a non farlo più?
L’Italia o l’Europa firmerebbe per non sviluppare mai una propria vera ed efficace AI? Avrebbe senso? Come anticipato non ho risposte intelligenti, solo domande. Che però è bene porsi. 
Non a caso i padroni dell’AI americana dicono esplicitamente o implicitamente che dovrebbero gestire loro il sistema eventuale di controlli, in quanto portatori di conoscenza (una conoscenza che loro stessi dicono di non poter controllare usando termini come “ribellione”, “fuga”, “estinzione"). 
In ogni caso vale la pena ricordare quello che sappiamo dal tempo dei romani, un principio chiave: qui custodiet custodes? Chi controlla i controllori? Di certo non possono essere i controllati.
Per ora abbiamo uno gnommero artificiale, con tanti grattacapi reali.
Con tutte queste contraddizioni vale la pena ricordare ciò che ha scritto l’MIT Technology Review: il caso emerso di una «fuga» di agenti da OpenAi per aggredire Hugging Face è stato in realtà un test fallimentare di sicurezza. Il software non funziona e non è pronto per la commercializzazione. Domanda: ma se un’azienda produce aeroplani che ogni tanto «fuggono» al loro controllo e si trasformano in schegge impazzite cosa accade? Di chi è la responsabilità civile e penale? È accaduto con il Boeing 737 Max. L’azienda ha rischiato il fallimento. Forse è più facile raccontare di intelligenze più astute dell’essere umano che di fallimenti nei prodotti.
Post Scriptum: nella precedente newsletter ho scritto per errore che Italo Calvino aveva preparato la tesi di laurea su Stevenson. Non è così. Era su Conrad, lo scrittore di «Cuore di Tenebra» che a sua volta veniva paragonato a Stevenson per grandezza.
Vuole il caso che «Cuore di tenebra» sia stato usato da Francis Ford Coppola come libera ispirazione per la sceneggiatura del film «Apocalypse Now».

MASSIMO SIDERI