I risultati della ricerca biomedica sono “in maggioranza falsi” innanzitutto per colpa di statistiche inappropriate, scriveva John Ioannidis nel 2005. E’ stato citato 3974 volte, ma la lezione va ancora imparata, sembra.
Andrea Idini segnala l‘articolo sui PNAS di Eklund, Nichols e Knutsson. Hanno verificato l’affidabilità dei programmi che interpretano le immagini del cervello ottenute per risonanza magnetica funzionale, con una combinazione di 192 parametri:
we used resting-state fMRI data from 499 healthy controls to conduct 3 million task group analyses. Using this null data with different experimental designs, we estimate the incidence of significant results. In theory, we should find 5% false positives (for a significance threshold of 5%), but instead we found that the most common software packages for fMRI analysis (SPM, FSL, AFNI) can result in false-positive rates of up to 70%. These results question the validity of some 40,000 fMRI studies and may have a large impact on the interpretation of neuroimaging results.
Propongono alternative, ma
It is not feasible to redo 40,000 fMRI studies (quelli su PubMed, ndt), and lamentable archiving and data-sharing practices mean most could not be reanalyzed either. Considering that it is now possible to evaluate common statistical methods using real fMRI data, the fMRI community should, in our opinion, focus on validation of existing methods. The main drawback of a permutation test is the increase in computational complexity, as the group analysis needs to be repeated 1,000–10,000 times. However, this increased processing time is not a problem in practice, as for typical sample sizes a desktop computer can run a permutation test for neuroimaging data in less than a minute.
Prima degli archivi pubblici per il neuro-imaging, non penso che un lavoro così fosse possibile, ma almeno un confronto con altri metodi e “l’ipotesi nulla” di volontari sani a riposo?
Nel riquadro “Significance”, la redazione dei PNAS scrive che nessuno aveva verificato l’affidabilità in 25 anni di esistenza della fMRI, ma intende nel senso di verifica empirica, penso, perché i falsi positivi erano un problema noto (rif. questo paper).
In dicembre Eklund et al. avevano messo la bozza su arXiv e avvisato i colleghi. Commento del gruppo di Ioannidis e di Neuroskeptic:
This is really scary, because almost all fMRI research uses group based analysis. Some people previously downplayed the importance of Eklund et al.’s work, saying that the false positive problem would only affect single subject analyses, which are rare. They hoped that the errors would “cancel out” at the group level. While that seemed plausible, it’s turned out to be false.
Oh dear.
Sotto, Anders Eklund rispondeva a domande e commenti. (aggiorn. Thomas Nichols ha poi stimato che i paper dubbi siano circa 3.500, non 40.000, rif. anche l‘intervista a Eklund da Retraction Watch)
Mi ha ricordato l’articolo di Monya Baker sui giovani biologi che spesso non convalidano gli anticorpi:
Whereas 76% of researchers with more than 10 years’ experience reported validating commercial antibodies, only 43% of those with 5 or fewer years of experience did. The most common reason given was the time required to do so.
Si fidano della pubblicità, immagino.
*
A propos, su Oggi Scienza come qui i DiBelliani non rispondono mai a una domanda, sarà proibito? E i giornali non parlano del convegno Di Bella, sarà la sfi*a passerina?
*
Must see: lo show di John Oliver sugli studi scientifici validi e non, e loro effetti mediatici (h/t Peter Sinclair).
*
Ass. giust.
Da domani a lunedì sono al Festival della partecipazione, L’Aquila.