Da giovane giornalista, Ben Goldacre era diventato famoso in Gran Bretagna per “Bad Science“, il blog e la rubrica del Guardian, in altri paesi per il best-seller tragicomico “La cattiva scienza“, ed. Bruno Mondadori. Documentava
gli abusi della scienza e della statistica da parte di giornalisti, politici, ciarlatani, case farmaceutiche e altro.
Da ricercatore al Centre for Evidence Based Medicine dell’università di Oxford, continua a documentarli. Ogni tanto parlo del suo lavoro su come, quando e se vengono pubblicati i risultati degli esperimenti clinici. Nella UE e negli USA, la pubblicazione dovrebbe essere obbligatoria anche se i risultati sono negativi, gli esiti misurati dovrebbero corrispondere a quelli previsti dal protocollo depositato nei registri on-line… Insomma ci sono delle regole che gli autori e le riviste dovrebbero rispettare.
Questa volta ha fatto un esperimento chiamato “Compare Trials” e raccolto tutti i materiali sul sito omonimo.
Ha esaminato 67 trial reports usciti tra ottobre 2015 e gennaio 2016 in cinque riviste che hanno adottato le regole CONSORT (Consolidated Standards of Reporting Trials), apparentemente le più rigorose: New England Journal of Medicine, The Lancet, Journal of the American Medical Association, British Medical Journal e gli Annals of Internal Medicine.
La crème, quoi.
Goldacre et al. hanno trovato parecchia variazione tra una rivista e l’altra, ma in generale il reporting era scadente. Poco più della metà degli esiti previsti (end points) venivano riferiti, spesso quelli secondari erano diventati quelli primari, altri erano stati inseriti surrettiziamente. Si possono cambiare, ovviamente, ma bisogna dichiararlo e spiegare il motivo.
Nove resoconti erano “perfetti”, 58 erano così pieni di “discrepanze” da richiedere una lettera di correzione che Goldacre et al. hanno mandato. Soltanto 23 sono state pubblicate con un ritardo medio di 99 giorni, nessuna dal New England Journal of Medicine e dal Journal of the American Medical Association.
- Qualitative analysis demonstrated extensive misunderstandings among journal editors about correct outcome reporting and CONSORT. Some journals did not engage positively when provided correspondence that identified misreporting; we identified possible breaches of ethics and publishing guidelines.
Una seconda analisi qualitativa è stata applicata alle 20 risposte – 16 nel Lancet, 2 negli Annals e 2 nel BMJ – alla lettera di Compare Trials. Tutte contenevano affermazioni scorrette e fraintendimenti delle regole CONSORT.
L’analisi dello stile va citata per intero:
| Researchers’ response styles | |
| Diversion | |
| 1. Stating that trials are hard work to conduct | |
| 2. Stating that other issues are more important | |
| 3. Response based on issues not raised by COMPare | |
| 4. Ad hominem | |
| Challenging legitimacy of discussion | |
| 1. Expressing a preference for conventional peer review over open post-publication critical appraisal | |
| 2. Disagreement with the general approach of COMPare/CONSORT | |
| 3. Asserting that there should be the opportunity to post comments on COMPare’s own raw data sheets online | |
| 4. Stating that they applaud the overall goal, followed by a caveat | |
| Trust | |
| 1. Statement that discrepancies were not motivated by desire to manipulate findings | |
| 2. Stating that outcome misreporting doesn’t matter if the main results of the study are unlikely to be affected | |
| Incorrect statements about outcome reporting in their own paper | |
|
1. Denying that specific misreported outcomes were indeed misreported |
|
| 2. General denial of COMPare’s findings | |
| Technical/Rhetorical | |
| 1. Appealing to the existence of a novel category of outcomes whose results need not be correctly reported | |
| 2. Stating that space constraints prevent all pre-specified outcomes from being reported | |
| 3. Stating that it is not necessary to pre-specify some outcomes as they are “necessarily implied” by other outcomes | |
| 4. Inaccurate statements about COMPare’s methods |
No comment.
Raccomando il sito Compare Trials ai colleghi che sanno l’inglese. Dopo aver letto un po’ di esempi, si capisce perché l’articolo di Barbara Ensoli et al. sul “vaccino italiano” è raffazzonato. (h/t Ben Goldacre)