{"id":30223,"date":"2016-07-05T14:54:48","date_gmt":"2016-07-05T12:54:48","guid":{"rendered":"https:\/\/ocasapiens-dweb.blogautore.repubblica.it\/?p=30223"},"modified":"2021-12-07T23:37:10","modified_gmt":"2021-12-07T22:37:10","slug":"sotto-il-segno-di-ioannidis","status":"publish","type":"post","link":"https:\/\/archivio.ocasapiens.org\/index.php\/2016\/07\/05\/sotto-il-segno-di-ioannidis\/","title":{"rendered":"Sotto il segno di Ioannidis"},"content":{"rendered":"

I risultati della ricerca biomedica sono “in maggioranza falsi” innanzitutto per colpa di statistiche inappropriate, scriveva\u00a0John Ioannidis<\/a> nel 2005. E’ stato citato 3974 volte, ma la lezione va ancora imparata, sembra.<\/p>\n

Andrea Idini segnala l‘articolo<\/strong><\/a> sui PNAS<\/em> di Eklund, Nichols e Knutsson.\u00a0Hanno verificato l’affidabilit\u00e0 dei programmi che interpretano le immagini del cervello ottenute per risonanza magnetica funzionale, con una combinazione di 192 parametri:<\/p>\n

we used resting-state fMRI data from 499 healthy controls to conduct 3 million task group analyses. Using this null data with different experimental designs, we estimate the incidence of significant results. In theory, we should find 5% false positives (for a significance threshold of 5%), but instead we found that the most common software packages for fMRI analysis (SPM, FSL, AFNI) can result in false-positive rates of up to 70%. These results question the validity of some 40,000 fMRI studies and may have a large impact on the interpretation of neuroimaging results.<\/em>
\n<\/span>
\nPropongono alternative, ma<\/span><\/p>\n

It is not feasible to redo 40,000 fMRI studies <\/em>(quelli su PubMed, ndt), and lamentable archiving and data-sharing practices mean most could not be reanalyzed either. Considering that it is now possible to evaluate common statistical methods using real fMRI data, the fMRI community should, in our opinion, focus on validation of existing methods. The main drawback of a permutation test is the increase in computational complexity, as the group analysis needs to be repeated 1,000\u201310,000 times. However, this increased processing time is not a problem in practice,\u00a0as for typical sample sizes a desktop computer can run a permutation test for neuroimaging data in less than a minute.<\/strong><\/em><\/p>\n

Prima degli archivi pubblici per il neuro-imaging, non penso che un lavoro cos\u00ec fosse possibile, ma almeno un confronto con altri metodi e “l’ipotesi nulla” di volontari sani a riposo?<\/p>\n

Nel riquadro “Significance”, la redazione dei PNAS scrive che nessuno aveva verificato l’affidabilit\u00e0 in 25 anni di esistenza della fMRI, ma intende nel senso di verifica empirica, penso, perch\u00e9 i falsi positivi erano un problema noto (rif. questo paper<\/a><\/strong>).
\nIn dicembre Eklund et al. avevano messo la bozza\u00a0su arXiv e avvisato i colleghi. <\/span>Commento<\/strong><\/a> del gruppo di Ioannidis e di <\/span>Neuroskeptic<\/a><\/strong>:<\/span><\/p>\n

This is really scary, because almost all fMRI research uses group based analysis. Some people previously downplayed the importance of Eklund et al.\u2019s work, saying that the false positive problem would only affect single subject analyses, which are rare. They hoped that the errors would \u201ccancel out\u201d at the group level. While that seemed plausible, it\u2019s turned out to be false.<\/em>
\nOh dear.<\/em><\/p>\n

Sotto, Anders Eklund rispondeva a domande e commenti.\u00a0(aggiorn.<\/strong>\u00a0Thomas Nichols ha poi\u00a0stimato<\/a><\/strong>\u00a0che i paper dubbi siano circa 3.500, non 40.000, rif. anche l‘intervista<\/a> a Eklund da Retraction Watch)
\nMi ha ricordato l’articolo di Monya Baker<\/a> sui giovani biologi che spesso non convalidano gli anticorpi:<\/p>\n

Whereas 76% of researchers with more than 10 years\u2019 experience reported validating commercial antibodies, only 43% of those with 5 or fewer years of experience did. The most common reason given was the time required to do so.<\/em><\/p>\n

Si fidano della pubblicit\u00e0, immagino.<\/p>\n

*<\/p>\n

A propos, su Oggi Scienza<\/em> come qui i\u00a0DiBelliani non rispondono mai a una domanda, sar\u00e0 proibito? E i giornali non parlano del\u00a0convegno Di Bella, sar\u00e0 la sfi*a passerina?<\/p>\n

*<\/p>\n

Must see: lo\u00a0show<\/a> <\/strong>di John Oliver sugli studi scientifici validi e non, e loro effetti mediatici (h\/t Peter Sinclair<\/a>).<\/p>\n

*<\/p>\n

Ass. giust. \u00a0<\/strong>
\nDa domani a luned\u00ec sono al Festival della partecipazione, L’Aquila.<\/p>\n","protected":false},"excerpt":{"rendered":"

I risultati della ricerca biomedica sono “in maggioranza falsi” innanzitutto per colpa di statistiche inappropriate, scriveva\u00a0John Ioannidis nel 2005. E’ stato citato 3974 volte, ma la lezione va ancora imparata, sembra. Andrea Idini segnala l‘articolo sui PNAS di Eklund, Nichols e Knutsson.\u00a0Hanno verificato l’affidabilit\u00e0 dei programmi che interpretano le immagini del cervello ottenute per risonanza… Continua a leggere Sotto il segno di Ioannidis<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[19,22],"tags":[415,2548,2687],"class_list":["post-30223","post","type-post","status-publish","format-standard","hentry","category-matematica","category-neuroscienze","tag-anders-eklund","tag-falsi-positivi","tag-fmri","entry"],"_links":{"self":[{"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/posts\/30223","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/comments?post=30223"}],"version-history":[{"count":2,"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/posts\/30223\/revisions"}],"predecessor-version":[{"id":44274,"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/posts\/30223\/revisions\/44274"}],"wp:attachment":[{"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/media?parent=30223"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/categories?post=30223"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/archivio.ocasapiens.org\/index.php\/wp-json\/wp\/v2\/tags?post=30223"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}