Onestà scientifica, cont.

John Ioannidis è un campione dell’onestà scientifica – e dell’uso onesto della statistica – famoso da quando ha pubblicato “Why Most Published Research Findings Are False“ nel 2005. Il movimento dei ricercatori bio-med per una medicina evidence-based (EBM), contro il wishful thinking, il publish or perish e la caccia ai finanziamenti privati esisteva già grazie alla collaborazione Cochrane e a prof preoccupati come David Sackett, ma quell’articolo gli aveva dato un manifesto.

Sul Journal of Clinical Epidemiology, John I. fa un bilancio di anni di bagarre e di lavoro in “Evidence-based medicine has been hijacked: a report to David Sackett“:

“David, I was a failure when we started this conversation and I am an even bigger failure now, almost 12 years later. Despite my zealot efforts, my friends and colleagues have not lost their jobs. The GDP devoted to health care is increasing, spurious trials, and even more spurious meta-analyses are published at a geometrically increasing pace, conflicted guidelines are more influential than ever, spurious risk factors are alive and well, quacks have become even more obnoxious, and approximately 85% of biomedical research is wasted. I still enjoy science tremendously, focusing on ideas, rigorous methods, strong mathematics and statistics, working on my weird (and probably biased) writings alternating with even more desperate poetry, and learning from young, talented people. But I am also still fantasizing of some place where the practice of medicine can still be undeniably helpful to human beings and society at large. Does it have to be a very remote place in northern Canada close to the Arctic? Or in some isolated beautiful Greek island where corpses of unfortunate refugees are found on the beach or floating in the water almost every day, as I am writing this commentary, although no naval battle has been fought? Is there still a place for rational thinking and for evidence to help humans? Sadly, you cannot answer me any longer, but I hope that we should not have to escape to the most distant recesses of geography or imagination. Twenty-five years after its launch, EBM should still be possible to practice anywhere, somewhere—this remains a worthwhile goal.

Intervista da Retraction Watch.

***

Paymasters and elite journals
I  fisici usano arXiv da 25 anni, e ci caricano una media di 8.000 preprint al mese. Per le scienze della vita dal novembre 2013 esiste bioRXiv, ma contiene poco più di 3.000 preprint. A parte Nature, Science e alcune riviste open access, la maggior parte delle altre non pubblica testi già accessibili on line anche se in bozza. Se non ricordo male, Cell ha fatto eccezione solo per l’emergenza Zika – alcuni lab, come quello di Dave O’Connor, non hanno aspettato l’autorizzazione.

Quante rondini ci vorranno ancora prima che i comitati di valutazione smettano di usare l’impact factor di una rivista per giudicare un ricercatore? Avevo raccontato di DORA, la dichiarazione di San Francisco sulla valutazione della ricerca, ma è stata firmata da circa 12.000 persone. E alla prima conferenza ASAPBio un mese fa, erano in circa 400 (video). Tutti scontenti del sistema di valutazione, e all’85% contrari a limitare la pubblicazione immediata ai soli dati sul virus Zika.

sondaggio ASAPbio

Però anche l’open access era partito con quattro gatti, però l’anno scorso su bioRXiv sono stati messi 2.048 papers – su oltre 1 milione usciti nelle riviste, fanno ridere, ma sono più del doppio rispetto a un anno prima. E rispetto al 2013, non ne parlano solo le riviste scientifiche, ma anche il Chronicle of Higher Education, il Guardian, il New York Times, l’Economist – com’era successo con la “crisi della replicabilità”, sette anni dopo l’articolo di Ioannidis. Forse il cambiamento sta accelerando, e forse le Ong sanitarie e umanitarie potrebbero dare una spinta?

Conclude l’Economist:

The wide adoption of preprints, however, depends ultimately on paymasters and interview panels moving away from judging the worth of a scientist by the number of publications in elite journals that appear on his CV. While few funding agencies consider preprints to be formally published work, some have at least made tentative moves towards assessing a scientist’s research more broadly. Medical research groups in America, Britain and Australia, for example, have emphasised that scientific work will be judged by its quality, not by the reputation of the journal it is published in. That will certainly be more onerous for committees than counting up the “right” sort of papers. But if more researchers feel comfortable about uploading their work to preprint servers, it will break the stranglehold of elite journals on biomedical science and accelerate discovery. That would save millions of dollars. More importantly, it would save lives.

*

Paymasters vs researchers

Nel 2011 l’Agenzia mondiale anti-doping (WADA) ha finanziato una ricerca su quanti partecipanti erano positivi ai test nei campionati mondiali organizzati durante l’anno dall’Associazione internazionale di atletica (IAAF). Nel 2013, la ricerca non era ancora uscita e il New York Times spiegava perché:

after a final draft of the study was submitted to the anti-doping agency, the organization ultimately told the researchers they could not publish their findings at this time, according to three of the researchers, who requested anonymity because they signed nondisclosure agreements with the agency. The agency said track and field’s world governing body needed to review the findings first, the researchers said.

Nel settembre scorso, la commissione sul doping (CMS) del Parlamento britannico ne pubblica la bozza finale, meno i “supplementary materials”. In dicembre Sebastian Coe, il presidente dell’IAAF, protesta e dice al Comitato che la ricerca è penosa, tant’è che almeno otto riviste l’avevano rifiutata.

A gennaio, appoggiato dal suo rettore, il principale autore Rolf Ulrich dell’università di Tubinga, si incavola. All’insaputa dei ricercatori, scrive alla commissione, la WADA aveva concordato con l’IAAF che non avrebbe autorizzato l’invio del lavoro a una rivista prima di aver ottenuto l’autorizzazione dell’IAAF.

Se entrambe le associazioni

as they claim – are really concerned about doping, we don’t understand why the IAAF blocked the publication of our paper now for over three years.

In realtà, gli autori avevano chiesto a Science se sarebbe stato interessato, Science aveva detto di no, allora si erano rivolti a Nature che aveva detto di sì, perciò avevano scritto il paper nel formato previsto e l’avevano inviato alla WADA per approvazione. Risposta dell’IAAF una settimana fa:

The confusion stems from the definition of ‘published’ as at the time of the hearing the study had been published on CMS select committee’s website and it had been rejected for peer review in a scientific publication. 
The IAAF has no objection to the study being published but it is not in a position to officially endorse the research as it has never received the underlying data on which the study was based. This data has been requested.

Non si capisce perché l’IAAF dovrebbe sottoscrivere una ricerca chiesta e finanziata da un’agenzia che si dichiara indipendente. Al posto degli autori metterei tutto su BioRXiv e avviserei la Science Integrity Initiative, così potrebbe mandare un com. stampa ai cronisti sportivi…

Altra sorpresona, l’Agenzia anti-doping russa avrebbe “manipolato” i dati:

The Russian Anti-Doping Agency (RUSADA) appears to have manipulated figures concerning the number of doping tests it conducted in 2009, 2010 and 2011, according to analysis of the agency’s annual reports. The figures reported by RUSADA suggest that it increased the number of tests it conducted by an exact number each year, from exactly 14,500 in 2009 to 15,000 in 2010 and 20,000 in 2011. The World Anti-Doping Code required such figures to be sent to the World Anti-Doping Agency (WADA) on an annual basis. WADA did not begin investigating RUSADA until December 2014, and did not investigate the testing figures provided within RUSADA’s annual reports.

***

And a pony
William Happer, il fisico caro al ten. col. Guidi e al pio Pennetta poiché in materia di clima è noto unicamente per mentire sull’effetto serra dei gas serra in cambio di $250/ora anche in tribunale, dice in un’intervista in cui mente sull’effetto serra dei gas serra:

I would like history to remember me as an honest scientist.