Pietro Minto, La Lettura – Corriere della Sera 26/7/2015, 26 luglio 2015
LE DISCRIMINAZIONI DEGLI ALGORITMI
Da qualche tempo circola su internet una «mappa dell’Europa dei pregiudizi» basata sulle esplorazioni effettuate su Google. L’autore, il ricercatore universitario Randal Olson, ha digitato la domanda «perché l’Italia è così…?» e atteso che Google terminasse la frase con le parole chiave più utilizzate nelle ricerche altrui. Ogni Paese europeo è stato sottoposto alla stessa indagine e la mappa in questione sottolinea la percezione che il mondo sembra avere del vecchio continente. I Paesi scandinavi sono considerati «ricchi» e «felici», la Francia «gay», la Spagna «vuota» e l’Italia «razzista».
Il fatto che l’algoritmo di Google, tra tutti i possibili aggettivi associabili all’Italia, abbia scelto proprio «razzista» ha fatto sì che l’esperimento abbia goduto di una certa popolarità nel nostro Paese. Il gigante di Mountain View, California, si sta forse accanendo su di noi? Improbabile; piuttosto, i suoi potenti computer riportano semplicemente un dato: la quantità più alta di occorrenze legate a un determinato aggettivo. Sembra quindi che un numero significativo di utenti, forse preoccupati dagli episodi di intolleranza nostrana, abbia usato Google per saperne di più.
Nonostante la spiegazione razionale, resta la sensazione che gli algoritmi ci ascoltino, ci registrino e infine, impietosamente, ci giudichino. Così l’Italia è «razzista», la Repubblica Ceca è «atea» e la Polonia «povera». La mappa di Olson è uno dei tanti casi in cui questa forma di presunta autarchia del digitale influisce sulla società (reale). Lo scorso maggio, per esempio, Flickr , noto sito per la condivisione di foto, ha inaugurato un nuovo servizio di «auto-tag», in grado di riconoscere il contenuto delle foto e di descriverle con parole chiave. Il problema è sorto quando immagini di persone di colore sono state «taggate» con parole quali apes o animals (scimmie e animali). «Errori nella programmazione di un algoritmo molto sofisticato», secondo un portavoce dell’azienda, errori che possono essere risolti eliminando i tag non voluti e insegnando al programma quali usare. Peccato che nel frattempo il danno sia già stato fatto.
In molti casi sono le informazioni raccolte dall’utilizzo degli utenti a spingere un super computer a comportarsi in questo modo.
È il processo utilizzato dai motori di ricerca per tracciare la nostra identità attraverso le nostre preferenze. Tramite il nostro IP , ovvero il numero assegnato alla nostra connessione, le nostre ricerche identificano noi e, allo stesso tempo, ci rendono visibili agli altri grazie all’indicizzazione — l’indice di visibilità — delle parole chiave più frequenti: più utenti ricercano quel nome, aggettivo o concetto, più quel dato apparirà in cima all’elenco dei risultati suggeriti.
Basta quindi digitare CEO (amministratore delegato) su «Google immagini» per notare la predominanza di maschi bianchi (a scapito delle donne); o ricordare lo studio della Carnegie Mellon University secondo cui Google sceglie di mostrare meno annunci di lavori d’alto livello ai suoi utenti di sesso femminile. Per farlo, i ricercatori hanno costruito un programma chiamato Ad Fisher con cui hanno «ingannato» Ad Setting , cioè il filtro personale e facoltativo di Google — che richiede sesso, età e professione — per selezionare la pubblicità che si visualizza sul monitor. Ad Fisher ha portando allo scoperto i pregiudizi di Ad Setting in termini di etnia e di genere.
Nel maggio 2014, un anno prima dell’ affaire Flickr, la Casa Bianca ha pubblicato un report che metteva in guardia le istituzioni dai pericoli dei Big Data (anche quelli grezzi, come il database di Google), in grado di produrre «effetti discriminatori» e di «eludere meccanismi per la protezione dei diritti civili in uso da tempo». La percezione che Google può farsi di un suo utente rischia quindi di avere grosse conseguenze sociali ed economiche. È un pericolo che la Casa Bianca ha definito digital redlining , ovvero la versione digitale del redlining , il meccanismo con cui una banca o un istituto di credito può rifiutare un prestito a una persona sulla base della sua condizione socio-economica. La Casa Bianca ha poi assunto un valore simbolico quando, lo scorso maggio, appena un anno dopo il suo j’accuse , gli utenti di «Google maps» hanno notato che ricercando «nigger» (termine offensivo nei confronti delle persone di colore) il sito rimandava a un indirizzo preciso: la casa presidenziale, attuale residenza di Barack Obama.
Nel frattempo, gli algoritmi continuano a dilagare, trovando sempre più impieghi. Jobaline.com è un sito di ricerca e selezione di personale per conto di grandi gruppi aziendali. Dopo un colloquio telefonico il tutto viene fatto analizzare dal software che, secondo i suoi creatori, è in grado di individuare il candidato giusto sulla base delle sue risposte e dal tono della sua voce. «Ed è questo il bello della matematica: è cieca», ha spiegato l’amministratore della società. E quindi non fa preferenze di genere.
Ma ne siamo sicuri?
Il fatto è che il servizio potrebbe sfavorire candidati con eventuali accenti stranieri, balbuzienti e con altre particolarità considerate «errate» dal computer. La matematica potrà anche essere cieca: il punto è che alcuni programmatori potrebbero invece vederci benissimo.