Adoro i paradossi. Adoro quando la mente sembra certa di qualcosa ma la logica è di tutt’altro avviso. A ben vedere, spesso non si tratta di veri e propri paradossi, quanto semplicemente di effetti controintuitivi.
Il più famoso è forse il paradosso del compleanno (ne abbiamo parlato in questo articolo) ma in statistica ce ne sono tanti altri. Oggi vorrei parlare dell’effetto Will Rogers. In verità, anche di questo ne abbiamo già accennato in un precedente articolo, parlando di sopravvivenza ai tumori e dei cosiddetti “bias” che possono distorcere la lettura dei dati.
Ma chi diavolo è Will Rogers?
Si potrebbe pensare ad uno statistico. E invece no! Will Rogers era un comico statunitense! Negli anni ’30 scherzando sulla migrazione dei contadini poveri dall’Oklahoma alla California in un suo spettacolo disse:
“Quando gli Okies lasciarono l’Oklahoma per trasferirsi in California, il livello medio d’intelligenza aumentò in entrambi gli stati.”
Ma come è possibile mai? Come può essere che, soltanto spostando delle persone (unità statistiche) da uno Stato all’altro (da un gruppo a un altro), le medie aumentino in entrambi?
Semmai una dovrebbe alzarsi e l’altra abbassarsi… E invece no: si alzano entrambe.
Può sembrare controintuitivo, ma è perfettamente possibile.
Come stanno effettivamente le cose
Di fatto, se le persone che emigrano si collocano al di sotto della media dell’Oklahoma ma al di sopra della media californiana, ecco che la media cresce in entrambi i gruppi!
Non siete ancora convinti? Vediamo meglio e immaginiamo due gruppi:
- il gruppo A, con valori medi più alti
- il gruppo B, con valori medi più bassi
Se prendo un individuo “intermedio” (sotto la media di A ma sopra quella di B) e lo sposto da A a B, le medie di entrambi i gruppi aumentano, anche se la media complessiva dell’intera popolazione rimane invariata.
Il boxplot qui sotto riassume visivamente il meccanismo del paradosso. [Sul tema della rappresentazione dei dati, trovi altri esempi interessanti nella sezione dedicata alla Data Visualization]
Stage migration
In medicina, questo effetto è conosciuto come stage migration, letteralmente “migrazione di stadio”. Si ha -ad esempio- quando un miglioramento nelle tecniche diagnostiche consente di individuare tumori in fase più precoce o di valutare con maggiore precisione la loro gravità.
Immaginiamo due categorie di pazienti: quelli con malattia lieve e quelli con malattia grave. Con le vecchie tecniche, alcuni pazienti “a metà strada” venivano classificati tra i lievi. Poi arriva una nuova TAC e quegli stessi pazienti vengono ricollocati nello stadio grave.
Che cosa succede alle statistiche?
- Nei casi lievi, restano solo i pazienti davvero meno gravi. La loro sopravvivenza media aumenta (ma solo perché i peggiori sono stati spostati altrove).
- Nei casi gravi, entrano pazienti che in realtà stanno un po’ meglio della media del gruppo. Anche qui la sopravvivenza media cresce.
Guardando i numeri, sembrerebbe che tutti i pazienti vivano di più. Ma non è affatto così. È solo cambiato il modo in cui li abbiamo classificati. Potremmo chiamarle “illusioni ottiche della statistica“!
Attenzione gente!
L’effetto Will Rogers non riguarda solo la statistica medica. Può verificarsi ogni volta che si ridefiniscono le categorie, dalle classifiche scolastiche ai ranking economici.
Ogni volta che ridefiniamo i gruppi, rischiamo di spostare “Okies” (per dirla come direbbe Will Rogers) da una parte all’altra, e di far sembrare tutto migliore senza che nulla sia davvero cambiato.
Insomma i numeri non mentono, ma possono essere usati per ingannare senza necessariamente mentire. Quando confrontiamo medie, indicatori o statistiche di gruppo, dobbiamo sempre chiederci se ci possa essere un qualche effetto Will Rogers in aguato.