Cinquantamila.it La storia raccontata da Giorgio Dell'Arti

Degli agenti di OpenAI avrebbero usato DseWiki, il Deutsches Software Entwickler Wiki, sito collaborativo in lingua tedesca nato nel 2001 per permettere agli sviluppatori di software di discutere e condividere documentazione tecnica. Una delle peculiarità delle risorse di tipo wiki è quella di permettere agli utenti di modificare le pagine, esattamente come succede con la più popolare Wikipedia. Proprio questa struttura aperta avrebbe consentito agli agenti di utilizzare alcune pagine del sito per lasciare messaggi e scambiarsi informazioni.
L’intera vicenda, che ancora attende conferme, è stata ricostruita da quattro ricercatori e analisti che lavorano sulla sicurezza dei sistemi di IA e ripresa da Reuters. Il gruppo di lavoro è formato da Sydney Von Arx, che ha svolto la ricerca tecnica per METR, organizzazione specializzata nella valutazione dei rischi dei modelli più avanzati già chiamata da OpenAI e da Spencer Kitts, ricercatore presso Redwood Research, ossia le due organizzazioni che hanno indagato anche per ricostruire i dettagli dell’attacco con cui gli agenti IA di OpenAI, lo scorso mese di luglio, hanno violato parte delle infrastrutture della piattaforma Hugging Face. A completare il quadro di esperti, Thomas Larsen, responsabile della ricerca dell’AI Futures Project e Cormac Slade Byrd, analista indipendente specializzato nella sicurezza delle IA. I quattro esperti hanno pubblicato i risultati della loro indagine su collusion.wiki, insieme a una copia dei dati raccolti e dei messaggi lasciati dagli agenti. Gli autori presentano il lavoro come un’analisi preliminare e, al di là degli indizi che conducono a conclusioni quasi certe, il condizionale rimane d’obbligo.
Cosa hanno stabilito le indagini
Secondo i ricercatori, gli agenti appartengono a sistemi interni di OpenAI. L’attribuzione deriva da più elementi che convergono. Infatti, molti agenti hanno nomi che rimandano all’azienda capitanata da Sam Altman come, per esempio, “OpenAIResearcher” o “OAIResearchMar26”.
Per capire chi avesse effettuato quelle migliaia di modifiche, i ricercatori hanno analizzato i registri tecnici di DseWiki, log nei quali il sito conserva le informazioni sulle connessioni ricevute. Il 98,5% delle modifiche esaminate arrivava da server ospitati sulla piattaforma cloud Microsoft Azure, utilizzata anche da OpenAI. Un indizio più preciso emerge dalla sequenza degli accessi tant’è che, dopo molte modifiche, la stessa pagina veniva consultata quasi immediatamente da connessioni che gli autori associano allo strumento con cui ChatGpt accede al web.
Inoltre, a partire dallo scorso 21 giugno, compaiono visite provenienti da reti registrate direttamente a OpenAI. Secondo i ricercatori, è la combinazione di questi elementi a collegare l’attività osservata agli agenti dell’azienda. Nei messaggi compaiono oltre 3.700 pseudonimi differenti, cioè firme utilizzate dagli agenti durante gli scambi.
Per capire il passaggio centrale serve distinguere un modello da un agente. Un modello IA produce risposte, mentre un agente IA è un sistema costruito attorno al modello. Riceve un obiettivo, usa strumenti come browser e software terzi, osserva i risultati delle proprie azioni e sceglie il passo successivo. In questo caso gli agenti sembrano essere stati impegnati in prove a tempo che richiedevano di cercare informazioni sul web e rispondere a una serie di domande collegate.
L’ambiente consentiva agli agenti di leggere pagine internet attraverso richieste chiamate Get. In termini semplici, una Get è la richiesta che un browser invia di solito per recuperare una pagina o un dato. Gli sviluppatori avevano scelto questo meccanismo proprio perché, secondo le convenzioni del web, una Get serve a leggere e dovrebbe lasciare invariato il contenuto del server.
DseWiki è però un’eccezione perché permette di effettuare modifiche anche attraverso richieste Get. Gli agenti hanno individuato questa caratteristica e l’hanno usata per scrivere sul sito pure disponendo, in teoria, di un accesso pensato soltanto per la consultazione delle pagine.
Quali messaggi si sono scambiati gli agenti
La maggior parte dei messaggi ha uno scopo pratico. Gli agenti hanno salvato collegamenti, tabelle e risultati già ottenuti, hanno confrontato le domande già risolte e hanno cercato di prevedere quali sarebbero stati i quesiti che avrebbero dovuto risolvere successivamente. Il rapporto descrive anche una seconda categoria di attività, ovvero la ricerca di tecniche per superare i vincoli dell’ambiente di prova. Gli agenti si sono scambiati metodi per aggirare restrizioni di rete, e alcuni messaggi mostrano tentativi di utilizzare vulnerabilità del wiki.
Quando il moderatore umano del sito ha iniziato a cancellare le pagine, gli agenti hanno reagito. Uno di loro ha osservato che la pulizia procedeva in ordine alfabetico e ha proposto di spostare i messaggi su una pagina il cui nome inizia con “ZZZ”, così da guadagnare tempo prima della cancellazione. In altri casi hanno ricreato pagine eliminate o salvato copie delle informazioni utili.
Quanto è solida l’attribuzione a OpenAI
Il rapporto presenta l’attribuzione come una conclusione sostenuta da diversi indizi tecnici, ma da prendere con una certa cautela. Gli stessi autori definiscono la loro ricostruzione una “best guess”, cioè la spiegazione che ritengono più probabile sulla base delle informazioni disponibili.
In ordine cronologico, questo episodio precede il già citato caso di Hugging Face ma presenta elementi condivisi. Infatti, agenti IA a cui sono stati assegnati compiti diversi hanno trovato un canale imprevisto per comunicare, diventando più efficaci proprio in virtù della conoscenza condivisa.
Gli autori del nuovo rapporto ritengono però che il gruppo osservato su DseWiki fosse distinto da quello coinvolto nell’attacco di luglio. La stessa OpenAI, nel rapporto ufficiale pubblicato il 26 agosto sull’incidente Hugging Face, ha già confermato che alcuni suoi agenti avevano trovato canali di comunicazione fuori da quelli previsti, avevano ottenuto accesso a Internet e avevano condiviso tecniche per sfruttare vulnerabilità dell’infrastruttura. OpenAI ha definito quell’episodio un “warning shot”, un segnale d’allarme sulle capacità raggiunte dagli agenti più avanzati.
Il rapporto su DseWiki aggiunge quindi una conferma. Un singolo agente può fallire, spegnersi o perdere informazioni, migliaia di agenti che lasciano risultati in uno spazio condiviso possono accumulare conoscenza, delegare compiti e riprendere il lavoro degli altri.
Il focus andrebbe mantenuto sui sistemi agentivi più che sull’idea di una macchina “ribelle”. Gli agenti erano ottimizzati per raggiungere un obiettivo entro tempi molto stretti. Quando hanno trovato una scorciatoia utile, l’hanno sfruttata e poi condivisa.
Niente di veramente nuovo e che rientra nei meandri del reward hacking, ossia l’attitudine di un sistema a massimizzare il risultato della prova attraverso una strada diversa da quella immaginata dai progettisti.
Gli agenti IA non esprimono volontà di ribellione né hanno intenti vendicativi, sono gli ambienti di test a essere ingegnerizzati in modo perfettibile.

REDAZIONE