Comment juger qu’un résultat scientifique publié est bon ?

scimag

Cliquez sur l’image

En septembre, Pierre Barthélémy a publié un billet sur son blog Passeur de sciences : Comment décrypter une étude scientifique, dans lequel il présentait quelques tuyaux sur la manière dont un journaliste scientifique peut juger de la qualité d’un résultat scientifique publié. A l’époque je n’étais pas très à l’aise par rapport aux critères présentés, mais je n’arrivais pas à exprimer mon malaise.

Ce billet m’est revenu à l’esprit en lisant une discussion sur l’excellent blog de Mike Taylor (paléontologue amateur qui publie et grand défenseur du libre accès), dans lequel il discute le fait qu’un article expertisé (peer reviewed) ne garantie pas qu’il soit juste. Jusqu’ici, OK. Le point important est que dans la discussion dans les commentaires, il clarifie mon malaise précédent, et avec son talent habituel pour la clarté met les points sur les i :

The point is that there is no silver bullet. If you want to know whether a published paper is good or not, it’s no good asking “was it peer-reviewed?” or “did it appear in JVP?” or any other such convenient short-cut. There are only two ways to evaluate it. You can either invest serious time (as in hundreds of hours, not two or three) to fully investigate its claims for yourself, replicating observations, experiments and analyses; or you can wait ten or twenty years and see what the community as a whole makes of it. Those are the only options.

Oui ! C’est bien triste mais il n’y a aucun moyen de savoir si un résultat nouveau récent est bon sans faire un travail énorme d’évaluation qui inclut probablement de refaire des expériences, des analyses ou des démonstrations. Sinon il faut attendre que la communauté le fasse : si le résultat résiste à l’épreuve du temps, la confiance augmente. A noter que si un résultat qui semble excitant n’est pas invalidé, mais n’est pas non plus confirmé, et que dix ans plus tard vous ne voyez que peu d’intérêt pour cette idée, ça peut être le signe subtil que personne n’a réussi à le reproduire, mais personne n’a non plus pris la peine de le rapporter, et ils sont juste aller travailler sur autre chose sans faire de bruit. Ca peut aussi être que l’idée était trop en avance sur la technologie de son temps ou quelque chose comme ça, méfiance.

Alors que faire ? Bin rapporter tout nouveau résultat avec plein de conditionnels et de peut-être, se méfier des titres accrocheurs, et chercher à comprendre la technique autant que possible dans chaque cas. Difficile pour les journalistes scientifiques, je l’admets. Ce qui est pourquoi il me paraît important que les scientifiques blogguent, et que les journalistes lisent ces blogs (et souvent ça veut dire les lire en anglais et se taper des discussions techniques, désolé). Au passage je félicite ceux qui essayent de faire du bon boulot malgré l’apparent manque de soutien des patrons de presse. Ce qui ne m’empêchera pas de continuer à me plaindre, les scientifiques c’est comme ça.

9 réponses à “Comment juger qu’un résultat scientifique publié est bon ?

  1. Ping : Cellules souches à l’acide : mauvais trip ? | Tout se passe comme si

  2. Ping : Comment juger qu'un résultat scientifiqu...

  3. Ping : Comment juger qu’un résultat scien...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.