Dubito sempre più spesso dei risultati pubblicati su riviste che dovrebbero essere di buon livello, di solito li segnalo con “in attesa di conferma” e altri brontolii di avvertimento. Questo di Marcel Just et al. sull’algoritmo che in immagini del cervello ottenute risonanza magnetica identifica con l’80-90% di accuratezza se una persona è a rischio di suicidarsi quando dice di averci già provato, secondo me era tutto sbagliato.
Sarò anche dépassée, ma vista la quantità di interpretazioni infondate delle immagini da RMf più quella degli studi in psicologia irreplicabili, mi aspetto poco dal machine learning. Tanto più in esperimenti che iniziano con pochi volontari e ne scartano più della metà perché non mostrano le reazioni desiderate. E chi l’ha detto che il questionario per la selezione dei volontari è valido a parte uno dei co-autori che poi è quello che l’ha ideato? E che cavolo di statistica sarebbe?
E… e… ho altro da fare, arriva la gatta Jerry che pretende spazzolate sulle guance, di più su quella destra quando sta sul ripiano davanti alla finestra in cucina, di più su quella sinistra quando sta sul divano in soggiorno e rimando.
Con l’aiuto di colleghi su twitter (1), Neurocritic è stato fulmineo:
Can a Computer Algorithm Identify Suicidal People from Brain Scans? The Answer Won’t Surprise You.
Da non perdere, fa l’elenco dei punti critici in tanti esperimenti.
The scans of 17 young adults with suicidal ideation (thoughts about suicide) were compared to those from another 17 participants without suicidal ideation. A computer algorithm (Gaussian Naive Bayes) was trained on the neural responses to death-related and suicide-related words, and correctly classified 15 out of 17 suicidal ideators (88% sensitivity) and 16 out of 17 controls (94% specificity). Are these results too good to be true? Yes, probably. And yet they’re not good enough, because two at-risk individuals were not picked up.
La reazione di Nature Human Behaviour ai critici è stata: se replicate lo studio con un Registered Report lo pubblichiamo. Ottimo, ma a condizione di non usare lo stesso metodo.
(1) David Brent, il coordinatore dello studio, non ha una gran reputazione fanno notare in due. Sostiene per esempio che il tentato suicidio sarebbe ereditario.
“mi aspetto poco dal machine learning”
Specie quando nella stragrande maggioranza delle pubblicazioni scientifiche dei vari pundit ed enthusiast del machine learning si continua a sostenere che i neuroni e le connessioni sinaptiche del cervello umano generano informazioni; informazioni su cui poi il machine learning (deep o non deep è irrilevante) tenta di costruire un modello predittivo per l’intelligenza umana. In realtà, i neuroni e le connessioni sinaptiche sono le informazioni stesse che poi il cervello elabora, ma di loro spontanea iniziativa non generano alcunché.
Come non ricordare la metafora di Dreyfus sulle AI basate unicamente su modelli computazionali e simulazioni in silico: “But where is this all leading? Dreyfus (1992) gives the analogy of trying to get to the moon by climbing a tree; one can report steady progress, all the way to the top of the tree. In this section, we consider whether Al’s current path is more like a tree climb or a rocket trip.”
Mauro,
speriamo che nelle altre discipline la macchina abbia insegnanti capaci…
Oggi nel blog di pennetta ci si chiede come sia possibile che ci sia gente che la pensa diversamente da loro. Vengano pure qui che glielo spieghiamo.
“Dubito sempre più spesso dei risultati pubblicati su riviste che dovrebbero essere di buon livello”
In effetti l’ocasapiens e’ una celebre referee di riviste di buon livello…
????????????????
@Geppo il folle: mica mica sei IL Geppo di Usenet, eh?