Errori nella Relazione Mandelli

1. Presentazione. Faccio riferimento al testo della "Relazione preliminare" della Commissione guidata dal professor Franco Mandelli, istituita dal Ministero della Difesa per indagare sull'incidenza di neoplasie maligne tra i militari impiegati in Bosnia e Kossovo, e pubblicata sul sito del Ministero della Difesa Come forse e noto, si tratta di uno studio ancora in fase di evoluzione.

Tuttavia le conclusioni preliminari in merito ad una "non significatività statistica" del numero di casi per quel che concerne, in particolare, il "linfoma di Hodgkin"  - la forma tumorale che doveva aver destato maggior sospetto, per l'anomalo numero di casi osservati -, fra i militari, sono state acquisite agli atti e rese note all'opinione pubblica attraverso i media, giornali, radio e tv (insomma una sorta dì messaggio nella direzione del "cessato allarme").

La Relazione della Commissione Mantelli (CM) presenta il numero di '"casi attesi" e di "casi osservati", per ciascuna patologia tumorale, in due tabelle, la numero 8 e le numero 9. Esse si riferiscono rispettivamente a due possibili approcci al conteggio dei casi di patologia: il primo considera tutti i militari, mentre il secondo ne seleziona una parte, ipotizzando per la malattia un periodo di latenza di 12 mesi prima di manifestarsi. Ora, il fatto è che dai dati riportati nelle tabelle si evince che (la CM evidentemente non se ne avvede a causa di alcuni errori metodologici nell'elaborazione) per quanto concerne il LH sussiste un significativo eccesso di casi osservati, sia nel gruppo di tutti i militari, che nel sottogruppo che si ottiene ipotizzando il periodo di latenza della malattia (inutile aggiungere che la persistenza di tale esito di significatività è anch'essa "significativa").

2. Si adottano le stesse ipotesi di lavoro della Commissione. Entrerò un poco più nel dettaglio cercando di non risultare troppo tecnicistico al lettore profano.

Il  caso in esame è talmente problematico che conviene partire da alcuni punti fermi comuni con l'impostazione della Relazione. In particolare:

1) si accoglie il principio di semplificazione ragionevolmente adottato dalla CM stessa per schematizzare l'analisi (in ordine per esempio all'ipotesi di indipendenza, alla rappresentatività e casualità del campione, ecc.), che oltre tutto, ovviamente, sopporta i vincoli dovuti al fatto di avere caratteristiche di tipo retrospettivo e osservazionale e non già di studio sperimentale vero e proprio;

2) si danno per buoni i dati storici e le inferenze in base alle quali sono stati determinati i numeri dei "casi attesi"  che individuano per la patologia lo stato di incidenza "spontanea" nella popolazione (è questo del resto il passaggio, particolarmente delicato, che comporta maggiormente il peso della competenza medica da parte della Commissione esaminatrice)

3. Significatività statistica del numero di casi di LH. Sulla base dì quanto si evince dalla tabella 8 (per la situazione descritta in tabella 9 il discorso è analogo) l'incidenza spontanea del LH è descritte da 3,81 casi (da rapportare al numero complessivo di anni persona da considerare) nella popolazione con caratteristiche fisiologiche simili a quelle dei militari in studio. Il problema statistico sta nello stabilire se i 9 casi che sono stati osservati in quel "campione" di militari in missione, tratto da quella popolazione, siano o meno da ritenere "significativamente" in eccesso rispetto a quanto ci si potesse aspettare. In termini non specialistici, si ricorda, la locuzione statisticamente significativo" può essere intesa, in senso lato, alla stregua di "non puramente casuale". In questo tipo di paradigma inferenziale, la non-casualità è da assimilare - sempre parlando in termini volutamente ipersemplificati - alla improbabilità (rispetto a quanto saremmo stati disposti a prevedere a priori). Allora la domanda è: se mi aspetto 3,81 casi, 9 casi osservati costituiscono un risultato "improbabile"? Quanto improbabile? Per stabilire una linea di confine numerica al di sotto della quale il risultato viene interpretato come "improbabile", il  ricercatore fissa un  "livello",  cosiddetto livello di significatività. La CM sceglie (e la scelta è ragionevole) il livello del 5%.

Ora, fatti i calcoli, si trova che 9 corrisponde a quello che in gergo statistico si chiama "p-value" di circa 1,6%. E' questo il numero che quantifica il "grado di improbabilità" di quanto osservato.

Poiché 1,6 è minore di 5, si conclude che in effetti c'è un eccesso statisticamente significativo nel numero di casi di LH.

Una analisi del tutto simile, con esito anche qui di significatività statistica per il LH, può effettuare per la che la CM considera (cfr. dati di Tab 9), ipotizzando un periodo di latenza di 12 mesi per la malattia. Anche per questo gruppo di soldati il numero di casi di LH osservato, cioè 6, risulta "significativamente" superiore a quello atteso, che è 2.24. Questo è ciò che si trae con il computo esatto delle probabilità.

4. Gli errori della Relazione. Ci si può chiedere allora quale è il motivo - tecnicamente - per il quale la CM non arriva a questi risultati? Gli errori della CM sono due. In particolare, il secondo è quello fondamentale, mentre il primo è sostanzialmente ininfluente in vista delle conclusioni (vedi tabella).

1º) La CM ignora l'informazione empirica della fattispecie di eccesso di casi (di LH) rilevati. C'è una evidenza empirica dì eccesso di casi che precede il momento del calcolo (e che motiva la preoccupazione e, dì conseguenza, l'istituzione stessa della Commissione): si potrebbe asserire che l'analisi statistica deve solo stabilire se tale eccesso è da imputare alla variabilità accidentale o se è talmente rimarcato da dover essere ritenuto indice di significatività. Ma che di "eccesso" si tratti questo è palese, è dato. Insomma, le alternative da prendere in considerazione dovrebbero essere: a) il numero di casi è sotto una certa soglia; b) il numero di casi è sopra tale soglia. La CM imposta invece quello che tecnicamente si definisce un test bidirezionale, prevedendo incomprensibilmente anche l'eventualità della osservazione fra i militari di un numero di casi, in particolare di LH, "eccessivamente basso" rispetto a quello atteso.

2º) La CM "approssima" la distribuzione di probabilità effettiva (che qui può esser correttamente ritenuta una Poisson) con la distribuzione normale, riportando - senza avvedersene - dei margini di errore altissimi per valori così piccoli di media come quelli in oggetto (3.81, 2,24, e addirittura al di sotto di 1 per la Leucemia Linfatica Acuta), con conseguente determinazione di probabilità errate, assolutamente inservibili per la discriminazione che si voleva operare. [Per dare une idea rozza ma efficace, è come se si volesse dirimere una questione riguardante un record mondiale in una gara dai 100 metri piani utilizzando una clessidra, invece del consueto cronometro elettronico collegato a una cellula fotoelettrica]. (*)

5. Tabella riassuntiva. Per comodità dei lettore si riassume il calcolo corretto nella seguente tabella, dove per completezza si riporta il calcolo anche per le versione bilaterale del test (come si vede, le conclusioni non cambiano).

LNH-Linfoma Non-Hodgkin
LH Linfoma Hodgkin
LLA-Leucemia Linfatica Acuta

APPENDICE TECNICA

1. Nota {*)

Per maglio dire, più precisamente, c'è un doppio ordine di "approssimazìone": la CM determina una approssimazione (sostituendo una stima al posto dei parametri) di un intervallo di confidenza approssimato asintoticamente tramite il modello normale,

2. Probabilità esatte

A compendio dei calcoli che producono i valori di probabilità riportati nella tabella precedente si riportano le probabilità esatte del numero di casi per le patologie LH e LLA per i casi di Tabella 8 (tutti i militari) e Tabella 9 (solo i militari con periodo di latenza).

Valori delle probabilità esatte in riferimento al numero di casi dì LH-Tab.8

Valori delle probabilità esatte in riferimento al numero di casi di LH-Tab.9

Valori delle probabilità esatte in riferimento al numero di casi di LLA-Tab.8

Valori delle probabilità esatte in riferimento al numero dì casi di LLA-Tab.9