La Stampa, 15 novembre 2017
Poliziotti predittivi e terminator di professori: il lato oscuro delle armi di distruzione matematica
I Big Data sono ormai sulla bocca di tutti: dalla ricerca scientifica al business, dalla salute alle politiche pubbliche, sempre più vi si fa riferimento come alla potenziale soluzione di ogni bisogno e domanda. Si moltiplicano i corsi che li mettono al centro della formazione e occupazione per le nuove generazioni.
Non c’è dubbio che il gigantesco ecosistema di dati contemporaneo e le potenzialità analitiche che questo offre rappresentino una formidabile opportunità per molti settori. Tuttavia, come per ogni grande innovazione, il rischio è di farsi travolgere dalla retorica e dall’assenza di consapevolezza. Come ogni innovazione i Big Data hanno infatti un lato oscuro, un lato che recenti contributi e discussioni stanno contribuendo a rivelare.
Nel suo «Armi di distruzione matematica. Come i Big Data aumentano la disuguaglianza e minacciano la democrazia» (Giunti), per esempio, la matematica Cathy O’Neil (a lungo analista per un hedge fund) riflette sull’opacità dei modelli analitici e sui pericoli del loro utilizzo acritico. La O’Neil cita l’esempio di uno strumento per la valutazione degli insegnanti del distretto scolastico di Washington DC creato da una società di consulenza. Dando per scontato alcune ipotesi su un problema complesso quale l’incidenza del ruolo degli insegnanti sulla performance degli studenti, il programma portò a licenziare oltre 200 insegnanti il cui punteggio era sotto una certa soglia, tra cui alcuni che erano riconosciuti da colleghi e studenti per la qualità della loro docenza.
Non meno delicato e critico è l’utilizzo ormai diffuso, soprattutto negli Usa, di sistemi di «polizia predittiva». L’idea, che fino a poco tempo fa pareva uno spunto per film di fantascienza come «Minority Report», è che sulla base di algoritmi predittivi si possa arrivare a forme di controllo del crimine «data-driven». Dipartimenti di polizia in California, Florida e Maryland utilizzano PredPol, un software che dovrebbe ottimizzare il lavoro degli agenti, indirizzandoli là dove i crimini sono più probabili. Ma, quando un gruppo di ricercatori ha analizzato le prestazioni del programma, ha scoperto che le indicazioni non riflettevano effettivamente la quantità di crimini in una certa zona. Era lo stesso software a creare un «bias» confermativo, inviando più agenti dove già erano avvenuti arresti, perlopiù in zone con elevata concentrazione di minoranze: la presenza di più agenti conduceva a maggiori controlli e arresti e così via.
L’adozione frettolosa e superficiale di questi strumenti è avvenuta anche sullo slancio di casi molto celebrati, ma apparentemente poco generalizzabili. Dopo un exploit iniziale, strumenti come Google Flu Trends, che miravano a prevedere la diffusione dell’influenza sulla base delle ricerche su Google, hanno ripetutamente fallito. Dopo il successo raccontato in «Moneyball», nessuna squadra (nemmeno il team di baseball protagonista del film) è più riuscita a fare dell’analisi delle performance dei giocatori un elemento vincente.
Altre critiche vengono dal mondo del marketing. In «Small data. I piccoli indizi che svelano i grandi trend: capire i desideri nascosti dei tuoi clienti» l’esperto di brand Martin Lindstrom descrive numerosi casi in cui limitarsi all’analisi di grandi masse di dati ha condotto a clamorose cantonate o comunque a perdere di vista aspetti essenziali per le aziende. Ad esempio, solo visitando e osservando gli ambienti domestici fu possibile capire che i robot per la pulizia dei pavimenti tipo Roomba, a differenza degli aspirapolvere, non erano tenuti nel ripostiglio ma ostentati davanti ad amici e parenti e che quindi bisognava prestare particolare attenzione al loro design.
Per poterne cogliere le opportunità senza esserne travolti, sfide come quelle dei Big Data richiedono una nuova consapevolezza. Studiosi come Luciano Floridi hanno proposto la creazione di un’autorità di vigilanza indipendente che renda trasparenti algoritmi da cui dipendono ampiamente le nostre vite. Altrimenti il rischio è che queste tecnologie incorporino assunti inespressi o pregiudizi, camuffandoli sotto le parvenze della neutralità della tecnica e dell’apparente rimozione del giudizio soggettivo.