Cinquantamila.it La storia raccontata da Giorgio Dell'Arti

Dobbiamo credere ancora alla scienza? Sembrerebbe di no, a giudicare da certi titoli di giornale usciti negli ultimi anni: “Non esporsi mai al Sole aumenta il rischio di tumori”; “Non è vero che fare esercizio fisico sia una prevenzione per l’Alzheimer”; “Dormire più di 8 ore per notte fa bene alla salute”; “Dormire più di 8 ore per notte accorcia la vita”... Da cosa dipendono le continue contraddizioni e i voltafaccia che ribaltano a suon di statistiche tutto quello che si sapeva prima? Non è solo la gente comune a chiederselo. Da una decina d’anni, anche negli ambienti scientifici si cerca di capire quanto siano affidabili le nuove scoperte. E la risposta è sorprendente: almeno nei casi sottoposti a verifica, oltre la metà delle ricerche sperimentali arriva a conclusioni sbagliate.

I NEONATI E L’INFLAZIONE. In parte è colpa del progresso, che ci ha dato computer superveloci capaci di trovare nelle banche dati ogni tipo di rapporto causa-effetto... compresi quelli che non esistono. Per chiarire il concetto, citeremo due casi, uno scherzoso e uno molto serio. Cominciamo dal primo: lo sapevate che la favola dai bambini portati dalle cicogne nacque in seguito a uno studio statistico? A fine Ottocento, nei Paesi Bassi, si scoprì che se in città arrivavano più cicogne nascevano anche più bambini, e fu così che si diffuse la ben nota leggenda... In realtà, le case dove c’era un nuovo nato venivano riscaldate di più e il calore attirava le cicogne. Il rapporto – in questo caso specifico – c’era, ma era indiretto. Nel 1958, William Phillips, docente di economia a Londra, pubblicò un articolo su inflazione e disoccupazione; i dati parlavano da soli: ad alti livelli di inflazione corrispondevano bassi livelli di disoccupazione, e viceversa. Questo collegamento diventò famoso come “curva di Phillips” e orientò le politiche economiche occidentali almeno fino agli Anni 70... quando esplose la stagflazione (cioè elevata inflazione con forte disoccupazione). Insomma, la relazione “scoperta” da Phillips non esisteva. I due fenomeni si influenzano a vicenda, questo è vero, ma di certo non basta che uno aumenti per far calare l’altro. In altre parole, era stata individuata quella che gli specialisti chiamano una “correlazione spuria”.

DURE A MORIRE. La lezione però non è bastata, e molti studiosi continuano a fare scoperte che a un secondo esame si rivelano coincidenze dello stesso tipo. Di recente, per esempio, potreste aver letto che i genitori di bell’aspetto hanno una probabilità più alta di avere figlie femmine. Non credeteci: è una correlazione spuria. Uno studente americano della Harvard Law School, di nome Tyler Vigen, ha dimostrato nel suo blog quanto sia facile, partendo da masse di dati abbastanza grandi, trovare correlazioni spurie di ogni tipo. I suoi grafici (alcuni dei quali illustrano questo articolo) sono tutti rigorosamente corretti e controllabili, anche se è ovvio che, per esempio, le importazioni di greggio dalla Norvegia negli Stati Uniti non hanno rapporti con le collisioni fra treni e automobili.
Secondo Andrew Gelman, uno statistico della Columbia University di New York, al pubblico piacciono i risultati corredati da rigorosi dati statistici, com’è accaduto per la “scoperta” che nel periodo dell’ovulazione le donne preferiscono vestirsi di rosso. Peccato che anche questa sia una correlazione spuria. «È come se la gente prendesse i dati statistici come una scusa per spegnere il cervello», ha detto Gelman al settimanale britannico New Scientist. «Gelman ha ragione», conferma Antonietta Mira, docente di statistica all’Università della Svizzera Italiana. «In passato si partiva da un’ipotesi e poi si raccoglievano dati per confermarla o confutarla. Oggi, invece, i dati esistono già. Da una parte è un grande vantaggio, ma soltanto se si fa lo sforzo di capire come sono stati generati e gli scopi per cui sono stati raccolti».

PER LA CARRIERA. In questa nuova era, che alcuni chiamano dei Big Data, non c’è solo il guaio delle correlazioni spurie. C’è anche il problema della crescita esponenziale dei ricercatori, tutti che sgomitano per vedere pubblicate le proprie nuovissime ricerche. «Questo significa che nessuno controlla mai i risultati delle ricerche altrui, nemmeno quando ci va di mezzo la salute», pensò qualche anno fa John Ioannidis, oggi docente a Stanford e ormai considerato un esperto mondiale sulla credibilità, o meno, delle ricerche in campo medico.

PANIERE SBILANCIATO. Nel 2005, Ioannidis scelse le 49 scoperte mediche più importanti dei 13 anni precedenti e ne replicò 34. Risultato? Ben 14 degli articoli esaminati (il 41%) erano arrivati a conclusioni errate o esagerate... e se era vero per le ricerche più acclamate, quale poteva essere il livello delle ricerche di secondo piano? Per il mondo della medicina fu uno shock, ma almeno diventò chiaro come mai ci fossero così tante contraddizioni fra una ricerca e l’altra e forse spiegò anche casi come quello del Vioxx (nome commerciale del rofecoxib), un farmaco contro l’artrosi che 5 anni dopo il lancio fu ritirato dalle farmacie perché aumentava il rischio di infarto.
A peggiorare la situazione, a volte gli stessi statistici intervengono troppo nell’interpretare i dati che raccolgono. «Come avvenne nel 2002 quando scoppiò una polemica tra l’Eurispes e l’Istat sulla situazione economica in Italia», racconta Gian Maria Fara, presidente dell’Eurispes. «L’Istat, ovvero la statistica ufficiale, dava un certo livello di inflazione, mentre la nostra analisi empirico-pratica andava in una direzione diversa. Non erano le voci del paniere a essere sbagliate, ma il loro peso. Per esempio, le spese per la casa pesavano solo per il 9% pur comprendendo l’affitto (o il mutuo), le spese condominiali, le utenze, le ristrutturazioni... Il risultato era che l’inflazione sembrava ferma, mentre invece aveva iniziato a galoppare». L’Istat alla fine riconobbe l’errore e modificò il sistema di pesatura. «Anche se non profondamente come noi ritenevamo necessario», precisa Fara, secondo il quale non c’è che una strada per risolvere problemi simili: «Lo statistico dovrebbe raccogliere i dati e garantire la correttezza della raccolta, nient’altro»; lasciando, cioè, ad altri esperti il compito di interpretarne il significato.

AL CONTRARIO. Tornando alle ricerche scientifiche, dopo la scoperta fatta da Ioannidis sugli errori degli studi medici, altre discipline sono state analizzate nello stesso modo. Nel 2012, per esempio, alcuni ricercatori di una società di biotecnologie, la Amgen, hanno cercato di riprodurre 53 importanti studi sul cancro arrivando a risultati diversi dagli originali ben 47 volte.
Nel 2015 è toccato alla psicologia: sono stati replicati 100 esperimenti, che si sono rivelati fallaci nel 60 % dei casi. L’ultima conferma riguarda l’economia e risale allo scorso marzo: un articolo di Science descrive il tentativo di replicare 18 esperimenti pubblicati su autorevoli riviste economiche tra il 2011 e il 2014. Anche in questo campo i conti sembrano non tornare: in 7 casi su 18, i risultati si sono rivelati opposti a quelli attesi, e negli altri 11 l’effetto misurato si è rivelato inferiore di un terzo rispetto a quanto dichiarato negli articoli di partenza.

IL PASSO FALSO DI GOOGLE. Nonostante questi scricchiolii nell’edificio della scienza, l’era dei Big Data porta con sé anche notizie positive. «Per esempio, Google ha creato un sistema per prevedere le epidemie di influenza in 29 Paesi del mondo, basato sulle parole cercate dalla gente», racconta Antonietta Mira. «Tutto sembrava funzionare benissimo finché, nel 2013, il programma non ha sovrastimato enormemente il picco dell’epidemia». L’errore non era nei dati, ma nel modo di analizzarli, spiega Mira. «Si è trattato di un errore di overfitting: lo sforzo di creare una curva che si adattasse troppo bene ai dati già pervenuti (cioè il passato) ha reso inaffidabile la loro proiezione nel futuro».
Insomma, la massa di dati che oggi abbiamo a disposizione non è una maledizione che distrugge la scienza, ma un’opportunità da sfruttare. Solo che dobbiamo imparare a farlo meglio. I primi a muoversi seriamente in questo senso sono stati gli inglesi, che hanno stanziato 42 milioni di sterline (53 milioni di euro) per fondare nel novembre scorso l’Alan Turing Institute, primo centro mondiale di studi sui Big Data, con l’obiettivo di estrarre previsioni affidabili da grandi quantità di informazioni digitali; ma tutto il mondo si muove in questa direzione. La stessa Antonietta Mira, da noi intervistata, dirige il primo istituto svizzero di data-science. La rivoluzione dei Big Data costringerà gli scienziati a rivedere tutti i loro protocolli per imparare a lavorare fianco a fianco con gli statistici e con gli specialisti di altre discipline. Ma sarà meglio che imparino in fretta, perché quella che sta arrivando è un’onda di tsunami, e sta prendendo velocità.

Mauro Gaffo

MAURO GAFFO