Corriere della Sera, 20 aprile 2018
Diseguaglianze automatiche
A New Orleans la polizia ha usato a lungo un sistema informatico pre-crime che ricorda quello di Minority Report, il film di Steven Spielberg di 15 anni fa. Obiettivo: prevedere chi può essere vittima della violenza delle gang e chi ha più probabilità di commettere questi reati. Ma non ne ha mai spiegato il funzionamento. Quando, poi, una fuga di notizie ha fatto emergere che il sistema è basato su una profilazione di tutti i giovani neri e latinos, non solo quelli con precedenti penali, il programma è stato precipitosamente cancellato. Lo Stato dell’Indiana ha sostituito i dipendenti pubblici che esaminano le richieste di assistenza delle famiglie povere o disagiate con un sistema informatico basato su complessi formulari elettronici sottoposti al vaglio di algoritmi. In teoria un sistema equo ed efficiente per sottrarre il giudizio alla discrezionalità di impiegati che possono essere corrotti o avere pregiudizi. Affidata alla tecnologia di aziende di punta come l’Ibm e presentata come un esempio virtuoso di privatizzazione e automazione della gestione del welfare, questa riforma ha prodotto grossi risparmi, ma ha anche negato i sussidi al 53% degli aventi diritto.
Diritti costituzionali rimasti impigliati in due problemi: l’esclusione dai benefici di chi commette anche un solo errore nel riempire i formulari e il pregiudizio di chi ha disegnato questo sistema informatico scambiando la patologia di un sistema pubblico (la corruzione) con la sua fisiologia (l’impiegato che assiste la persona bisognosa, incapace di completare da solo una procedura così complessa). Sono solo due delle tante storie di diritti negati che costellano Automating Inequality (automatizzare le diseguaglianze), un saggio appena pubblicato negli Usa dall’antropologa Virginia Eubanks: non un rifiuto ma un invito, in questi mesi di riflessione sugli effetti di un uso indiscriminato delle tecnologie informatiche, a utilizzare correttamente i nuovi strumenti. Respingere la tecnologia è sbagliato, ma è lì che rischia di portarci chi, in nome di una fiducia cieca negli algoritmi, li impone a scatola chiusa, senza alcuna trasparenza. L’algoritmo in sé non è buono né cattivo ma, se viene costruito in modo da perpetuare un pregiudizio umano, ha effetti sociali devastanti per la sua opacità e la rapidità con la quale viene applicato a una vasta platea di cittadini.