Oltre la metà dei risultati delle ricerche biomediche pubblicati sulle riviste (serie) sono sbagliati. Ne consegue une spreco colossale di lavoro, animali di laboratorio, fondi pubblici e privati, ritardi enormi nello sviluppo di nuove terapie e last but not least vittime tra i pazienti reclutati negli esperimenti clinici.
Si sa dal 2005.
Circa sette milioni di persone sono coinvolte in un fallimento mondiale del metodo scientifico”, dalla progettazione dell’esperimento alla pubblicazione. Ci rimette la credibilità della scienza tout court, piangono in coro le riviste (serie) da allora.
Verrebbe da pensare che in 15 anni, menti brillanti e disinteressate avrebbero trovato una soluzione, ma hanno solo messo qualche pezza. La non riproducibilità è aumentata insieme al numero degli addetti precari, dei conflitti d’interesse e delle riviste poco affidabili; alla competizione per i finanziamenti (triplicati nel frattempo) e alle assunzioni a tempo indeterminato (decimate nel frattempo)…
Salto il resto, niente di originale e ne ho scritto anch’io troppe volte.
Dei volontari si sono associati per replicare gli studi più promettenti, se fossero corretti, e scoprirne gli errori. (Le BigPharma ci avevano pensato prima e s’erano tenute per sé i risultati.) Ma trovano sempre meno fondi per farlo e gli autori del lavoro originale sono restii a dare una mano.
Questa settimana nell’editoriale di Science, Jonathan Berg racconta una storia esemplare a suo avviso:
- Byrareddy et al. in Science in 2016 (hereafter Byrareddy) provide insights into some challenges associated with replication. Byrareddy reported striking efficacy of an approach for controlling simian immunodeficiency virus (SIV) in rhesus macaques in a sustained manner, a result of potential importance for treatment of human HIV disease. Three papers in this issue [e un esperimento con dei macachi in Science Translational Medicine] report attempts to replicate these results.
Nessun tentativo ci è riuscito, ma le circostanze – scrive Berg – forniscono “una cornice concreta entro la quale discutere delle nostre misure riguardanti i replication studies”.
La prima circostanza è che il National Institute of Allergy and Infectious Diseases – NIAID, uno degli NHI – s’è accollato la spesa e ha coordinato i gruppi di ricerca. La seconda è che i virus, le cellule e i macachi sono vivi e le variabili non tutte controllabili, quindi servono anche esperimenti non identici al primo:
- hidden variables might exist that cause differences. However, experiments that conceptually match the original study but differ in other ways can probe the robustness of the results, and such robustness can affect the likelihood that results might be translated into practice.
(Chissà perché le altre discipline lo danno per scontato…) La terza è l’opportunità di pubblicare su una rivista con un impact factor di tutto rispetto, ma a una condizione:
- The policy of the Science family of journals is to encourage the submission of replication studies that provide new insights into previously published results.
Ti pareva.
Anche questo si sa dal 2005. Dopo aver pubblicato gli errori, una rivista non può essere tenuta a pubblicarne le correzioni che non offrono “nuove conoscenze”. La quarta circostanza che aggiungerei alla discussione è che per il fare il tentativo, occorre cercare gli appoggi e i soldi necessari prima di sapere se salteranno fuori errori banali – un reagente con l’etichetta non corrispondente al contenuto, per dirne uno – o meno.
*
O’s digest
Avevo parlato del vaccino tetravalente contro la dengue (Dengvaxia, Sanofi-Pasteur) somministrato nel 2016 a un milione di scolari filippini mentre erano ancora in corso esperimenti clinici in altri nove paesi tropicali. L’OMS lo raccomandava tra gli 8 ai 45 anni – non prima perché se i bambini sotto i 6 anni sono infettati una prima volta da un ceppo e una seconda da un ceppo diverso, rischiano invece una forma grave di dengue, e a volte di morirne.
Anche se protegge al massimo il 60% del vaccinati, l’OMS l’aveva raccomandato in particolare nelle Filippine dove ogni anno si ammalano 100-150 mila persone. Se non ricordo male è il paese con la maggior incidenza al mondo. Sanofi-Pasteur ha scoperto l’anno dopo che in alcuni ragazzini mai infetti prima, il vaccino provocava la stessa reazione. Nelle Filippine la vaccinazione di massa è stata fermata e l’OMS ha cambiato le linee-guida.
In teoria, gli scolari a rischio potrebbero essere addirittura 500. Avrebbero anticorpi contro la dengue o una predisposizione a produrne in eccesso. Per accertarlo ed escludere altri come loro dalle vaccinazioni, bisogna trovare i “marcatori”, il fenotipo che li contraddistingue.
Una ricerca lunga, ma fattibile. Solo che – scrive Jon Cohen – non ci sono i soldi. Forse, ma Sanofi-Pasteur potrebbe contribuire con personale, analisi, reagenti ecc. e un paio di settimane fa Duterte ha scelto di dare a una nuova agenzia spaziale $19 milioni dei suoi “fondi presidenziali”-
*
Il paper della settimana, secondo me, racconta la “formazione delle popolazioni umane nell’Asia centrale e meridionale“. Un’ottantina di genetisti, paleontologi, antropologi, linguisti – dei quali parecchi italiani – hanno raccolto fossili di 523 asiatici vissuti negli ultimi 8000 anni dall’era del Bronzo e dall’invenzione dell’agricoltura in poi. Dalle ossa hanno estratto il DNA e con questo hanno ricostruito le origini – in Iran, soprattutto – e le migrazioni attraverso le steppe e verso sud (quelle verso l’Europa e la Siberia orientale sono già state descritte).
Tra i 3000 e i 2500 anni fa, sono arrivati nella valle dell’Indo, durante il boom della civiltà del rame, e sono mischiati con gli indiani del nord e in parte con quelli del sud quasi fino a 400 anni fa, quando gli indiani delle isole Andaman sono rimasti isolati.
Appassionante e in open access, mi sembra, come la recensione di Nathan Schaefer e Beth Shapiro.
***
La sezione “scienza” dell’Economist e l’editoriale “Mind Control” sono dedicati all’Intelligenza Artificiale sviluppata per usi militari soprattutto in USA, in Cina e in Gran Bretagna. L’Unione Europea ha già una commissione e delle linee-guida per l’uso etico, consapevole, giusto ecc. dell’IA e per gli armamenti aveva suggerito un “panel intergovernativo” come per il clima. Gli USA non vogliono saperne, ovviamente, ma il Pentagono cerca un eticista da assumere nel suo centro di ricerca all’università Carnegie-Mellon.
C’è un bel necrologio – titolo “L’incertezza del genio” – di Martin Weitzman, l’economista di Harvard che si occupava dei rischi ambientali e climatici e avrebbe meritato il premio Nobel al posto di William Nordhaus. Rif anche New York Times, Washington Post, il ricordo dei suoi colleghi al Center for the Environment – e decine climatologi su Twitter.
***
Fra gli ammiratori di Weitzman, sebbene la pensassero diversamente sulla geoingegneria, c’è Michael Mann, abituato per altri motivi a stimare l’incertezza. Così mi vien in mente che…
La NOAA era diretta da Barry Lee Myers, il prescelto da Trump e proprietario di AccuWeather che vende previsioni meteo. Esattamente come il più fidato National Weather Service della NOAA che Trump vuole abolire. Guarda caso, la portavoce (h/t Steph) e vice del facente funzione di direttore – ha confermato che stando alle previsioni della NOAA, Dorian avrebbe colpito l’Alabama. Come twittato da Trump il 1 settembre e sulla mappa del National Weather Service (del 26 agosto) che Trump aveva ritoccato l’altro ieri con un pennarello nero – hilarity ensued.
Non basta. Sul suo sito, la NOAA ha pubblicato un sunto delle simulazioni (rif. l’inizio e il punto 4) del suo Geophysical Fluid Dynamics Laboratory stando alle quali il riscaldamento globale non sta aumentando l’intensità e la frequenza degli uragani. Ieri su Twitter, Michael Mann ha spiegato perché le simulazioni sono sbagliate, con tanto di bibliografia.
Rif. anche Steph, “Great walls of water“
***
Zauliade, 21ma puntata – La carica dei 201
aggiornamento di E.K.Hornbeck. Ieri sul sito dell’università di Ferrara e sotto il titolo “Manifestazione di solidarietà al Rettore in merito ai recenti articoli di stampa”, è apparsa la frase che ribadisce il concetto:
- Si pubblica di seguito l’elenco dei docenti dell’Università di Ferrara che hanno voluto esprimere solidarietà al Rettore Giorgio Zauli in merito ai recenti e reiterati attacchi comparsi sulla stampa nei suoi confronti.
e 201 firme, al 90% e passa di precari, ricercatori e docenti del settore biomedico, su un totale di 1228.
Quali attacchi e quale stampa non importa. Omnia in verba Magnfici…
I lettori che frequentano PubPeer si divertiranno a scoprire nell’elenco co-autori di Giorgio Zauli e dei firmatari Luca Neri e Paola Secchiero.
Meno male che la voglia di esprimersi è venuta. L’aspettavo da giugno 2018, quando il Rettore denunciava Leonid alla Procura, e ci avevo sperato di nuovo nel luglio scorso quando si era messo a insultare il prof. Picci di UniBo. Invece ho dovuto aspettare che il rettore minacciasse noi cronisti di ritorsioni legali se oseremo criticarne le pubblicazioni scientifiche e non.
L’anonimo estensore della “notizia” faceva prima a scrivere “Manifestazione di solidarietà con le minacce del rettore e contro la libertà di parola” – Fto: la kasta
Evitava pure di contare la stessa firma due volte.
Altro aggiornamento di E.K.Hornbeck sotto: le firme sono diventate 240; nell’elenco Daniele Oppo da Estense e Leonid Schneider su Twitter hanno già trovato parecchi co-autori estensi di pubblicazioni dubbie, ma i lettori che frequentano PubPeer e vogliono divertirsi non si preoccupino: ce ne sono altri.
@ Oca Sapiens
L’anonimo estensore della “notizia” faceva prima a scrivere “Manifestazione di solidarietà con le minacce del rettore e contro la libertà di parola”
E contro la trasparenza amministrativa.
Forse Zauli non si rende ancora conto di quanto lo danneggia (e sempre piu’ lo danneggera’) la decisione di impedire l’accesso alla documentazione della commissione etica.
Comunque, nel frattempo Daniele Oppo ha individuato la raccolta di firme e ha scritto un altro articolo su estense.com
Ci riporta anche l’intervento di un ex-professore di UniFe, Italo Nenci, che mi sembra lievissimamente critico verso questa iniziativa.
Anche se forse un po’ lungo per un commento, mi azzardo a trascriverlo integralmente poiche’ focalizza perfettamente le perplessita’ che provavo a esprimere ieri.
Scrive Italo Nenci a estense.com:
“Mi permetto di esprimere la profonda pena che provo quando io, vecchio professore di una Università dedita alla ricerca ed all’insegnamento ma evidentemente obsoleta, constato che la Home page del nostro Ateneo è diventata una bacheca dedicata alle vicende personali del Rettore, e quando leggo che i più bei nomi dell’Accademia Universitaria (molti altri se ne aggiungeranno nella rincorsa alla benevolenza) spendono una neutra (?) ‘solidarietà’ su una vicenda della quale non conoscono le conclusioni, vista la secretazione del parere espresso dalla Commissione etica.
Perché il Rettore utilizza il sito istituzionale ed il personale universitario a proprio uso e consumo? Quando non è l’Ateneo ad essere in discussione, bensì possibili errori che possono essere stati prodotti da svariati motivi oltre la malafede, per di più non obbligatoriamente a lui imputabili visto la platea degli autori delle pubblicazioni sotto esame.
Quanti dei duecento docenti che sottoscrivono la manifestazione di solidarietà hanno valutato di persona la sussistenza o meno di questi errori, visto che le pubblicazioni imputate sono pubblicamente disponibili? È questo che ci si aspetterebbe da chi usa quotidianamente il metodo scientifico per raggiungere le proprie conclusioni e non una cieca ‘solidarietà’.”
Mi giudicherebbe eccessivamente malfidente se azzardassi la previsione che l’intervento di Nenci non verra’ ospitato nel sito dell’universita’?
E.K.Hornbeck,
se prevedesse che venisse ospitato, mi preoccuperei per la sua salute.
Capisco la delusione del prof. Nenci, ma quando il metodo scientifico ostacola la carriera, conviene usare la cieca solidarietà.
p.s. anche il prof. Picci sembra un po’ deluso
Il link corretto al “sunto” della NOAA è questo:
https://www.gfdl.noaa.gov/global-warming-and-hurricanes/
.. anche se avrei preferito stendere un velo pietoso su certa roba…
Uragani e GW: casualmente, ne parlo anche io . Ma mi tengo ben alla larga dai gossip alla NOAA, tipo questo qua . Quando la comunicazione è tutto…
Grazie Paolo, corretto.
Steph,
“Only the best people”…
Penso che una parte dei fondi per la ricerca medica dovrebbero essere indirizzati ad indagini a campione su area di ricerca problematica (nel senso di aree con con problemi accertati con altri mezzi, su ricerche di breve durata e con maggior numero di citazioni, per tagliare rami di ricerca inutili), e il denaro recuperato dalla provata frode (su fondi pubblici o privati) si potrebbe utilizzare nella stessa indagine a campione.
I finanziatori, pubblici e privati, otterrebbero una maggiore solidità statistica nella ricerca medica, ed una riduzione dello spreco di risorse.
@ Oca Sapiens
se prevedesse che venisse ospitato, mi preoccuperei per la sua salute
E mi sa che avrebbe ragione.
Capisco la delusione del prof. Nenci, ma quando il metodo scientifico ostacola la carriera, conviene usare la cieca solidarietà
Credo che anche Nenci ne sia dolentemente consapevole: “io, vecchio professore di una Università dedita alla ricerca ed all’insegnamento ma evidentemente obsoleta”.
Temo pero’ che sia ottimista: che attribuisca la vicenda in questione a un imbarbarimento dei tempi moderni e che idealizzi un passato nel quale l’Universita’ sarebbe stata compatta nell’interessarsi esclusivamente alla ricerca e all’insegnamento.
Per quanto mi sembra che le cose negli ultimi anni siano cambiate, e in peggio (in particolare, ho percepito un cambio di atteggiamento verso gli studenti: non piu’ persone a cui insegnare e da bocciare, se impreparate, ma clienti; che quindi vanno blanditi e, tendenzialmente, hanno sempre ragione; con conseguente abbassamento del livello di preparazione fornito e preteso), temo che la passata Universita’ a cui fa riferimento Nenci sia, sostanzialmente, mitologica.
anche il prof. Picci sembra un po’ deluso
Giusto un pochettino.
Nel frattempo, Daniele Oppo (estense.com), ha presentato un’istanza di revisione contro il diniego all’accesso agli atti della commissione etica.
Se non capisco male, il responsabile della prevenzione della corruzione e della trasparenza dell’Università di Ferrara dovrebbe dare, per legge, una risposta entro venti giorni (da ieri, 12 settembre).
Oppo aggiunge anche che il Senato Accademico avrebbe avviato (anche Oppo usa il condizionale, quindi presumo non ci siano documenti ufficiali a cui far riferimento) una procedura per l’annullamento della decisione della Commissione Etica per presunti vizi procedurali.
Insomma: la trama si infittisce.