Ciel ! On critique un article scientifique sur Twitter !

cliquez sur l'image

cliquez sur l’image

Après une longue pause, ce blog redémarre. Je reviendrais sur mes réflexions sur les blogs et la communication scientifique prochainement, mais commençons par un billet sur un petit évènement qui agite mon landerneau, celui de la génomique et la bioinformatique de l’évolution. Et qui éclaire l’évolution de la publication et du débat scientifique à l’heure des réseaux sociaux.

Mes plus fidèles lecteurs se rappeleront du projet ENCODE (billet ENCODE, billets sur critiques d’ENCODE 1 et 2, billet Big Science). L’original concernait l’humain, il y a eu ensuite un ENCODE souris, et un modENCODE mouche drosophile et vers nématode. Tous ces projets mènent à de nombreux articles scientifiques, certains décrivant les données, d’autres les utilisant pour diverses études. Fin 2014, une analyse publiée en coordination avec ENCODE souris (Lin et al 2014 ; voir aussi Figure 2 dans Yue et al 2014) montrait un résultat surprenant :

comparaison d’expression de gènes humain-souris, par analyse multivariée présentée bizarrement

Si vous trouvez la figure ci-dessus difficile à comprendre, vous êtes pardonné. En bref, les auteurs ont pris la mesure du niveau d’expression des gènes (leur niveau d’activité en première approximation) dans différents tissus (de testicules à estomac) de souris et d’humain. Pour chaque tissu humain ou souris, on a environ 20’000 mesures, pour autant de gènes. On peut réduire cela aux 2 ou 3 dimensions qui expliquent le mieux la variation, ce qu’ils ont fait. D’habitude on représente cela par des graphes 2D, qui sont lisibles au moins, mais ici ce sont des graphes 3D où la troisième dimension est très difficile à comprendre. Mais ceci est un péché véniel.

Ce qui est frappant pour le spécialiste dans ces figures, c’est que les tissus de regroupent par espèce (souris ensemble, humain ensemble) plutôt que par type de tissu (estomacs ensemble, reins ensemble). Ce qui revient à dire que les gènes exprimés dans un estomac de souris sont davantage similaires à ceux exprimés dans un rein de souris que dans un estomac humain. Ce qui est très surprenant : on s’attends plutôt à l’inverse, et d’ailleurs cela a été publié de manière répétée (même par mon labo). Et comme le fait remarquer l’inénarable Dan Graur (voir ici à son propos), si c’est vrai ça veut dire que l’étude des gènes de souris ne sert à rien pour étudier l’humain, et que donc ENCODE souris est un gaspillage d’argent. Ce que les auteurs d’ENCODE souris ne relèvent curieusement pas.

Ce résultat a paru bizarre a beaucoup de monde, et une analyse rapide dans mon labo semblait indiquer qu’il était du à ce que les expériences de souris et d’humain ont été faites différemment, et donc ce que l’on verrait serait le biais expérimental plutôt que le signal biologique. Mais montrer publiquement qu’un collègue a tort, c’est du boulot (cf ici), qu’on n’avait pas envie de poursuivre dans ce cas-ci.

Heureusement, un collègue de Chicago, Yoav Gilad, a décidé de le faire, et il a lancé un Tweet tonitruant :

Bon tonitruant sur l’échelle des débats feutrés en science hein. L’important c’est qu’il a montré que les résultats publiés ne tenaient pas, mais qu’en enlevant les biais expérimentaux on retrouvait bien un regroupement par tissus. Il a ensuite mis son article sous forme non encore expertisée sur le site de F1000, qui permet de rendre publique toutes les versions d’un papier, avant pendant après expertise, ainsi que les expertises elles-mêmes, afin que tous puissent discuter librement :

A reanalysis of mouse ENCODE comparative gene expression data. Yoav Gilad, Orna Mizrahi-Man F1000

A noter que les commentaires sous cet article « brouillon » sont très constructifs, et comprennent deux réponses détaillées des auteurs d’origine du consortium ENCODE.

Le tweet d’origine a fait beaucoup réagir dans le microcosme des biologistes des génomes, et a donné lieu a un compte-rendu dans le magazine Nature, où notamment l’auteur sénior (le chef quoi) de l’article d’origine, Michael Snyder, a déclaré que Gilad avait « brisé les normes sociales de la science en postant initialement sa critique sur Twitter » :

Michael Snyder, a geneticist at Stanford University in California and co-author of the original paper, stands by his team’s study and its conclusions and says that Gilad broke the “social norms” of science by initially posting the critique on Twitter. Gilad says that he took to social media to highlight his work, which might otherwise have been overlooked.

Cette réaction de Snyder a provoqué pas mal de réactions sarcastiques sur Twitter et blogs. Le ton général était qu’une publication scientifique est, bin, publique, et doit être critiquée publiquement. Et que la norme sociale de la science, ça doit être de faire les meilleures analyses et d’accepter la critique. Certains collègues pensent toutefois que Twitter est trop brutal, une appréciation que je ne partage toutefois pas. Si on reçoit énormément d’argent des contribuables pour faire de grosses études, qu’on les publie à grande fanfare dans les journaux les plus réputés, on doit s’attendre à être jugé et critiqué à l’échelle de cet investissement et de ce retentissement. A vrai dire, certains collègues éminents (Ewan Birney, Lior Pachter) ont dit que si l’analyse de Gilad était confirmée, l’article de Snyder devrait être rétracté, ce qui est très brutal. Et je pense que l’analyse va être confirmée. Le statisticien renomé en génomique Rafael Izarry a publié un billet sur son blog où il affirme que la mise en place de l’expérience était tellement faussée du départ que les auteurs ne pouvaient simplement rien trouver, et que donc toute l’analyse est forcément invalide. En fait, dans la discussion beaucoup de personnes disent que soit on enlève et le biais expérimental et l’effet (potentiel) espèce-spécifique, soit on confond les deux, mais ils ne sont pas démélables en l’état (voir à ce propos un excellent billet de Lior Pachter qui référence un billet du cafe-sciences dans les commentaires).

On revient à un point déjà traité précédemment sur ce blog, à propos des gros projets de génomique et autre « big science ». Les scientifiques très connus et très établis, qui obtiennent de très gros budgets et publient fréquemment dans les plus grandes revues, ne sont plus à l’abri des critiques. Avant, elles existaient, mais ils pouvaient les ignorer, et surtout compter que les personnes les finançant et les jugeant les ignoraient. Maintenant, c’est public et c’est très rapide, et ces scientifiques et ces revues prestigieuses doivent s’habituer à une discussion beaucoup plus animée et critique qu’avant. C’est pour le mieux pour la science et c’est ça qui compte.

Anecdote personnelle : maintenant quand j’expertise ou j’édite un article (voir les rôles dans ce billet), je réfléchis avant de soumettre mon avis : que penserais-je si cet article était publiquement critiqué ? Serait-je fier ou honteux de mon rôle dans la publication. Et peut-être que je suis un peu plus prudent qu’avant, et c’est bien.

8 réponses à “Ciel ! On critique un article scientifique sur Twitter !

  1. Bah et ton blog sur hebdo.ch ??!!

    On retrouve ici un peu le même problème que pour les jugement de justice : les jugements doivent être publiques et en même temps il faut les préserver des pollutions énergumènes. On y arrive en installant quelques règles pour les audiences : protocole de discussion, prises de vues interdites, ….

    C’est très bien que les débats scientifiques soient publiques, mais Twitter ne me parait quand même pas le bon endroit. Ca donne beaucoup de visibilité mais c’est aussi le lieu de beaucoup d’emportements et de jugements à l’emporte-pièce.
    OK, dans le cas présent le scientifique a simplement publié une sorte de lien vers une étude assez complète et sérieuse.
    Mais imagine ce genre de contre analyse scientifique à propos d’une étude sur le climat. Tu auras droit à une pléthore de twitts de mauvaise fois, de contres analyses foireuses, de discussion sans fin. La seule solution sera de continuer le débat de façon ouverte mais préservée.

    Je crains qu’après quelques essais positifs de publications sur Twitter ou Facebook, on tombe sur le cas d’une analyse sur un sujet sensible politiquement ou idéologiquement et que ça fasse un batatsoin pénible. On recherchera alors une solution de discussion publique mais sans pollution.

  2. Ping : Ciel ! On critique un article scientifique sur ...

  3. Gédéon

    Bon retour sur cafe-science. J’avais tenté de m’enregistrer pour pouvoir commenter sur hebdo.ch, mais sans succès. C’est un vrai parcours d’obstacles.

    Sinon, je suis d’accord avec le commentaire de Skrol29 ci-dessus.

    Etant totalement étranger au monde de la recherche, je regrette beaucoup que certains articles scientifiques soient difficilement accessibles. Souvent, je voudrais lire, juste parce que ça m’intéresse, mais je ne peux pas (lorsque je trouve l’article, je me rend souvent compte que c’est incompréhensible pour moi, mais, au moins, je le sais).

    Mais pourtant, l’idée que les discussions scientifiques se passent sur un média ouvert à tous en écriture, sans que les communications des uns et des autres ne soit évaluée, ni qu’on puisse savoir vraiment qui parle, ce qu’il a déjà produit dans le domaine, s’il parle pour son labos/équipe/institution ou seulement pour lui-même, cela me semble totalement … euh … idiot. C’est la porte ouverte à toutes les pollutions. Les avis scientifiques seraient totalement noyés par des commentaires, avis, critiques et même pseudo-articles écrits par des gens comme moi. On se saurait plus quoi lire pour s’informer et les scientifiques perdraient leur temps.

    Mais, que des scientifiques qui pratiquent la recherche aient du temps pour communiquer sur les réseaux sociaux pendant leurs heures de travail, sans pour autant être pris pour des tire au flanc ou des franc-tireurs par leurs institutions, je suis 100% pour.

  4. Merci skrol29 et Gedeon pour vos commentaires intéressants.

    Je vois ce que vous voulez dire, que Twitter présente le potentiel de noyer le signal dans le bruit quand les pseudo-scientifiques et autres empécheurs de faire de la science en rond s’en méleront trop. Bien que déjà les pires énergumènes soient repérés et bloqués (on peut faire ça dans Twitter) par les scientifiques.

    Il me semble que d’une part Twitter est un moyen transitoire vers la fin qui est la communication scientifique rapide, ouverte et efficace. D’autre part que cette fin est bonne en soi, et que les cris d’orfrai de Snyder et d’autres ne correspondent pas à une limitation potentielle de Twitter mais bien plutôt à la perte de leur statut protégé.

    Pour mettre ça autrement : vous vous inquiètez de l’irruption d’antiscientifiques dans la discussion, mais les scientifiques très établis s’inquiètent surtout de l’irruption de scientifiques plus jeunes et incisifs, et ça ça me réjouis. 🙂

  5. jeandieu

    Merci d’être revenu! Vos articles éclairent mes nuits!

  6. Ping : Ciel ! On critique un article scientifique sur ...

  7. Ping : Ciel ! On critique un article scientifique sur ...

  8. Ping : Sans blogs, les erreurs dans les articles scientifiques restent masquées très longtemps | Tout se passe comme si