Archives pour la catégorie débat

Vent de folie dans les journaux scientifiques: 3- CRISPR/Cas édite l’histoire de la génomique

Allez, dernier billet dans la série (1- secte cladistes, 2- parasites de la recherche). A noter que le sujet cette fois a été couvert notemment par Le Monde (je profite de l’occasion pour saluer l’excellence du Monde sciences ces derniers temps – continuez !). Et je n’ai bêtement pas bien gardé tous les liens pertinents, donc il va manquer des trucs.

Or donc, CRISPR/Cas est la technique révolutionnaire qui permet d’éditer les génomes avec précision et puissance, facilement et pour pas cher. Et le 14 janvier, une somité de la génomique mondiale, Eric Lander, a publié :

The Heroes of CRISPR Cell 164: 18–28

Dans cet article, Eric Lander brosse l’histoire de la découverte de cette technique, en disant vouloir mettre en avant les personnes moins reconnues d’habitude. Mais, il y a quelques mais :

  • Mais parmi ces héros méconnus, que des chefs de labos, pas de doctorants ni de postdocs.
  • Mais parmi les héros très généralement connus, deux femmes, Emmanuelle Charpentier (française travaillant en Allemagne) et Jennifer Doudna (Berkeley, Californie), reçoivent nettement moins d’attention que les autres intervenants. C’est curieux, ces deux femmes sont généralement créditées de la découverte de CRISPR/Cas.
  • Mais par contre la troisième personne très connue pour CRISPR/Cas, Feng Zhang (Broad Institute, Massachusetts), a droit à un portrait étendu et flatteur.
  • Mais Eric Lander est directeur du Broad Institute, lequel est en procès avec Berkeley pour un brevet sur CRISPR/Cas, pour savoir qui de Doudna ou de Zhang a la priorité sur l’application aux cellules humaines.

Oups. Du coup, Twitter #LanderGate (depuis le Watergate, tous les scandales sont des truc-gate aux USA).

Commentaires acides de Doudna et Charpentier sur PubMed, la base de données de référence des articles en biologie et médecine (lien) disant que leur travail a été mal représenté et qu’elles n’ont pas été consultées. Plus surprenant, commentaires de George Church, qui travaille aussi au Broad avec Lander, et dit ne pas avoir été suffisamment consulté et qu’il y a de nombreuses erreurs (voir aussi ici). De nombreuses critiques notent que l’article ne signale pas le conflit d’intérêts de Lander, mais il s’avère qu’il l’a signalé au journal qui a décidé de ne pas l’afficher.

Grosse discussion sur le site PubPeer bien sûr, qui discute les articles scientifiques de manière anonyme.

Une analyse intéressante du point de la rédaction historique, qui montre bien comment Lander diminue les rôles de Doudna et Charpentier.

Deux réactions très fortes de chercheurs très connus en génomique (et tous deux connus pour leur peu d’empressement pour la diplomatie) : Michael Eisen écrit que Lander est un super-vilain fascinant, « an evil genius ». De manière intéressante, une de ses conclusions c’est qu’il ne devrait pas y avoir de brevet (à noter qu’il est à Berkeley comme Doudna), et je suis assez d’accord dans ce cas-ci. Un brevet ne fera que du tort, et n’a rien à voir dans ce cas avec l’objectif affiché d’encourager l’innovation. Eisen dit aussi (et en commentaire à Cell) qu’il est contre les prix qui mettent trop en avant un petit nombre de personnes, de manière toujours injuste. Lior Pachter insiste sur la manière dont Lander efface les postdocs et doctorants de l’histoire.

Tous deux, et de nombreux autres commentateurs, ironisent sur la carte accompagnant l’article, dans laquelle le monde se réduits aux USA et à l’Europe, et où le code couleur montre bien que la seule avancée déterminante a eu lieu à Boston, lieu du Broad Institute :

carte telle que publiée

carte telle que publiée

Exemple de tweet à ce propos :

 

Et lien rigolo tweeté suite à mon teaser plus tôt aujourd’hui :

Cet article a fait couler énormément d’encre électronique, et je n’ai pas le temps d’en faire le tour. Ceci clot donc pour le moment mon petit tour des délires des journaux scientifiques en ce début d’année 2016. 🙂

Titre piqué à cet excellent tweet d’Alexis Verger :

Vent de folie dans les journaux scientifiques: 2- halte aux parasites qui osent analyser les données

Après le dogme cladiste issu du fond des ages, un nouvel épisode de « maman j’ai raté le 21ème siècle », avec l’éditorial du New England Journal of Medicine du 21 janvier. Contrairement au journal Cladistics (voir billet précédent), NEJM est très connu et reconnu, l’un des plus prestigieux de la recherche en médecine :

Dan L. Longo, M.D.*, and Jeffrey M. Drazen, M.D.* Data sharing N Engl J Med 2016; 374:276-277
* M.D. = medical doctor, parce que pour les chercheurs en médecine les titres sont souvent importants ; no comment.

Que dit l’éditorial (j’ai mis une version rapidement annotée sur Dropbox ici) ? Après avoir dit quelques mots sur la beauté théorique du partage des données, ça se gâte :

The first concern is that someone not involved in the generation and collection of the data may not understand the choices made in defining the parameters.

Les éditorialistes s’inquiètent de ce que des chercheurs n’ayant pas participé à la collecte des données ne comprennent pas les subtilités de ces données, et donc les interprètent mal. Donc ils pensent que le rapport des méthodes dans les articles, et les informations fournies avec les données, ne suffisent pas à comprendre ce qui a été fait ? C’est très inquiétant. En science, on doit rapporter les choses de manière reproductible (voir débat à propos du code scientifique).

Ca devient pire :

A second concern held by some is that a new class of research person will emerge — people who had nothing to do with the design and execution of the study but use another group’s data for their own ends, possibly stealing from the research productivity planned by the data gatherers, or even use the data to try to disprove what the original investigators had posited.

Et d’une, il risque d’émerger une classe de gens qui volent la productivité des collecteurs de données (noble occupation on le comprend). Enchanté, moi je suis prof de bioinformatique depuis 2005, et je fais ça depuis le milieu des années 1990. Margaret Dayhoff a publié le premier atlas de séquences et structures de protéines en 1965 (pas trouvé de version en ligne), et Grantham et al (conflit d’intérêts : j’ai cosigné des articles avec deux des « et al ») ont découvert que différentes espèces utilisaient le code génétique universel de manière subtilement différente en analysant toutes les séquences d’ADN alors disponibles en 1980.

Et de deux, les éditorialistes ont peur que « même » de vils chercheurs utilisent les données des gentils collecteurs de données pour tenter d’invalider les hypothèses de départ. Mais c’est que ça oserait faire de la science ces vauriens ! (Bon, conflit d’intérêt, c’est ce que je fais moi, voir ici en anglais par exemple.)

On arrive à la phrase qui a le plus enflammé les réseaux sociaux des scientifiques :

There is concern among some front-line researchers that the system will be taken over by what some researchers have characterized as “research parasites.”

Ah on est des parasites ? Hop, hashtags Twitter #Iamaresearchparasite, #researchparasites et #researchparasite. Alors, là ça a réagi de partout : le storify.

Soyons justes, l’éditorial propose une solution : quand on veut analyser des données, on doit concevoir une hypothèse non évidente, contacter les auteurs de l’étude d’origine, et établir une fructueuse collaboration entre gens bien nés. Ca n’arrive en effet jamais de manière légitime que l’on veuille analyser les données de centaines d’expériences, que l’on veuille remettre en cause les analyses telles que publiées, ou que l’on veuille analyser des données publiées il y a des années par des personnes parties à la retraite ou ayant arrété de faire de la recherche. Et bien entendu ceux qui génèrent des données intéressantes ont le temps de prendre en compte et répondre de manière appropriée à toutes les demandes qui pourraient leur être faites (génome humain : plus de 18000 citations). Le bioinformaticien Claus Wilke donne sur son blog l’histoire intéressante d’un cas où il a du promettre de co-signer un papier pour avoir les données sur un soit-disant effet du jaune d’oeuf qui serait aussi mauvais pour la santé que le tabac. Ayant eu les données, il a refait l’analyse, trouvé que l’analyse de départ était faussée, et que l’hypothèse ne tenait pas. Les chercheurs en médecine concernés l’ont traité avec mépris, et il n’y a jamais eu de publication. Comme il avait signé de ne pas publier tout seul, ça en est resté là. Voilà le problème de la seule approche « collaborative » bien illustré.

Quelques autres réactions en vrac : Une traduction rigolote en anglais ordinaire. Un point de vue qui contraste cet éditorial avec les déclarations du vice-président américain sur le partage de données pour combattre le cancer. Puis un point de vue d’écologie (la science) discutant comme le partage des données peut en effet être difficile. Et une interprétation de cet éditorial comme le dernier des dinosaures mourants de l’ancienne façon de faire de la recherche bio-médicale.

Et puis c’est pas comme si ce journal avait un problème de reproducibilité des résultats, par exemple s’il avait un taux élevé d’articles rétractés :

corrélation entre facteur d'impact et taux de rétraction, avec flèche vers le journal que dont il est question ici

corrélation entre facteur d’impact et indice de rétraction, avec flèche vers le journal que dont il est question ici

Bon 4 jours plus tard ils ont publié un correctif (ce qui montre une fois de plus l’impact des médias sociaux sur la façon de fonctionner de la science, y compris ceux qui se croient à l’abri en haut de la tour d’ivoire). Ils disent qu’ils sont gentils, parce qu’ils ont signé des accords de diffusion des données. D’ailleurs même s’ils trouvent que c’est de mauvais goût, ils vont les respecter. Mais ils réitèrent que c’est légitime de considérer ceux qui analysent les données avec suspicion pour le moins. Et dans un article dans Forbes, l’auteur principal de l’éditorial a refusé de condamner le terme « parasites ». Comme dit sur le blog de Mick Watson, ce n’est pas encore des excuses, et c’est insuffisant.

Finalement le mieux qui soit sorti de tout ceci sont les dessins de RedPenBlackPen, qui dessine sur la science :

Vent de folie dans les journaux scientifiques: 1- la secte du Cladisme

Il y a eu récemment plusieurs éditoriaux ou billets d’opinion qui ont eu un certain, euh, écho sur les médias sociaux. Ils diffèrent par bien des points, mais ont en commun un certain aspect « what the fuck? » comme disent élégamment les américains.

Commençons par l’éditorial du journal Cladistics du 12 janvier (lien).  Je l’ai vu via ce tweet :

L’éditorial commence direct :

The epistemological paradigm of this journal is parsimony. There are strong philosophical arguments in support of parsimony versus other methods of phylogenetic inference (e.g. Farris, 1983).

Alors un peu de contexte. Il existe différentes méthodes pour reconstruire des arbres phylogénétiques, à savoir les relations évolutives entre espèces. Jusque dans les années 1960-70 la classification des espèces se faisait de manière très approximative, sans méthode formelle. Dans les années 1970 est apparu un mouvement appelé « cladistique », qui visait à réformer la classification des espèces en la rendant objective, suite à un livre de Willi Hennig (1966 pour l’édition anglaise). Les cladistes proposaient un critère de classification, les relations phylogénétiques. Et comme il n’existait pas de méthode objective pour reconstruire ces relations, et l’objectivité était leur objectif, ils ont aussi proposé une méthode formelle (programmable informatiquement même), dite de « parcimonie » (orthographe discutée ici 😉 ). Jusque là tout va bien. Mais dès la fin des années 1970 (1978 pour être précis) Joe Felsenstein a montré que dans certains cas identifiables la parcimonie pouvait se tromper de phylogénie de manière systématique. Ce sont ensuivies deux décénnies de débats entre d’un coté des bio-statisticiens (école dont je suis issu) qui cherchaient les limites des méthodes de phylogénie et les améliorations à y apporter, et de l’autre le groupe proclamant que seul l’usage de la parcimonie fait le vrai « cladiste », pour la plupart issues de musées d’histoire naturelle. Durant ma thèse cette dispute était encore vive, et je me rappelle de discours très agressifs de Guillaume Lecointre fustigeant les fausses phylogénies des statisticiens.

Depuis la plupart des phylogénéticiens sont passés du coté statistique de la force, notamment parce que l’amélioration conjointe des ordinateurs et du séquençage d’ADN fait que nous avons des données bien adaptées au traitement statistique. Et puis quand même une méthode dont on peut montrer qu’elle est juste a quelque chose de préférable à une méthode qu’on aime bien pour des raisons historiques (voir aussi débat dans ce billet).

Et donc l’éditorial de Cladistics, journal de la Hennig society, nous renvoie en arrière vers cette époque, et sans aucune nuance ni aucune leçon apprise. Il commence par dire que ce journal, c’est parcimonie et c’est tout. Il continue dans cette veine :

(…) we do not hold in special esteem any method solely because it is novel or purportedly sophisticated. Phylogenetic data sets submitted to this journal should be analysed using parsimony. If alternative methods are also used and there is no difference among the results, the author should defer to the principles of the Society and present the tree obtained by parsimony.

J’adore « because it is novel or purpotedly sophisticated ». Les éditeurs ne se laissent pas impressioner par une méthode juste parce qu’elle est nouvelle (plus récente que 1966) ou soit disant sophistiquée. Ca fait pas du tout vieux barbons.

Plus loin :

we do not consider the hypothetical problem of statistical inconsistency to constitute a philosophical argument for the rejection of parsimony

Les problèmes connus et documentés à répétition depuis 1978 ne les embêtent pas, puisqu’il ne s’agit pas d’un argument philosophique. Bin tiens. Une méthode d’estimation de phylogénie estime la mauvaise phylogénie, mais puisqu’elle est théologiquement philosophiquement pure, gardons-la.

Et une phrase qui a fait se gratter bien des têtes en biologie évolutive :

The absence of certain truth represents a philosophical limit of empirical science.

Euh… oui on ne sait pas toujours tout, mais est-ce une justification pour accepter des méthodes qui se plantent ?

Bref, cet édito a fait rire tout ce qu’internet a de biologistes évolutifs, avec un storify des tweets ici :

https://storify.com/phylogenomics/cladistics-journal-declares-long-live-parsimony

Il faut préciser que perso, faisant de la biologie évolutive, je n’ai plus rencontré ce genre d’attitudes depuis une vingtaine d’années, ce qui tend à indiquer que bien que des gens comme ça existent toujours, ils fréquentent peu les conférences habituelles de biologie évolutive. Je pense qu’ils vont entre eux à la conférence de la Hennig Society (voir à ce propos un compte-rendu rigolo de Dan Graur d’une de ces conférences ainsi que la discussion dans les commentaires).

Que penser de tout ceci ? Que le dogmatisme peut exister dans des sous-cultures de la communauté scientifique ; que ce dogmatisme est battu en brêche dans la communauté scientifique globale ; et qu’internet fait que ce genre d’attitudes s’attire le ridicule généralisé.

A bientôt pour une deuxième histoire d’éditorial étrange. Soyez sages.

Sans blogs, les erreurs dans les articles scientifiques restent masquées très longtemps

error

cliquez sur l’image

Une petite suite à mon billet récent sur les critiques Twitter d’un article prestigieux. Aujourd’hui Lior Pachter (dont on a déjà parlé sur ce blog : les méthodes comptent, rififi chez les bioinformaticiens, écrire un mauvais article) a publié un nouveau billet. Dedans, il part d’un article publié récemment en preprint (version publique non encore publiée officiellement, voir ici), pour critiquer un article de 2004, de Kellis et al dans Nature (depuis Manolis Kellis est devenu un des poids lourds de la génomique). Dans Kellis et al 2004, les auteurs donnent une proportion de 95% de gènes dupliqués où seul l’un des deux évolue rapidement, et disent que c’est frappant (« striking ») et que ça soutient une hypothèse classique d’évolution des gènes dupliqués.

Lior met au défi ses lecteurs de déterminer la probabilité d’observer ce résultat : est-ce réellement frappant, ou au contraire attendu même si l’hypothèse est fausse ?

Et ce qui me frappe, moi, c’est un commentaire où Lior publie un email qu’il vient de recevoir. Un collègue anonyme lui envoie la lettre qu’il avait écrite au journal Nature à l’époque, en 2004. Laquelle lettre détaille le calcul de la probabilié associée, et montre que loin d’être frappant, le résultat invalide même légèrement l’hypothèse classique. Lettre que Nature a refusé de publier. Donc que personne n’a vu entre 2004 et 2015.

Pourquoi est-ce que ça me frappe ? Parce que ça montre une fois de plus qu’en l’absence de la communication scientifique informelle par les blogs et Twitter, le système a été vérouillé par quelques-uns, qui n’ont pas permis à la discussion scientifique d’avancer comme elle le devrait. Cette discussion ouverte, à laquelle participe également la publication open access / libre accès, est essentielle. Nous vivons une révolution pacifique et très positive, et il faut en être conscient et la soutenir.

Mise à jour : grosse discussion générée sur Twitter, avec intervention de l’excellent Alan Drummond entre autres (cliquez sur le Tweet pour voir les réponses). Et vive les médias sociaux en science.

 

Ciel ! On critique un article scientifique sur Twitter !

cliquez sur l'image

cliquez sur l’image

Après une longue pause, ce blog redémarre. Je reviendrais sur mes réflexions sur les blogs et la communication scientifique prochainement, mais commençons par un billet sur un petit évènement qui agite mon landerneau, celui de la génomique et la bioinformatique de l’évolution. Et qui éclaire l’évolution de la publication et du débat scientifique à l’heure des réseaux sociaux.

Mes plus fidèles lecteurs se rappeleront du projet ENCODE (billet ENCODE, billets sur critiques d’ENCODE 1 et 2, billet Big Science). L’original concernait l’humain, il y a eu ensuite un ENCODE souris, et un modENCODE mouche drosophile et vers nématode. Tous ces projets mènent à de nombreux articles scientifiques, certains décrivant les données, d’autres les utilisant pour diverses études. Fin 2014, une analyse publiée en coordination avec ENCODE souris (Lin et al 2014 ; voir aussi Figure 2 dans Yue et al 2014) montrait un résultat surprenant :

comparaison d’expression de gènes humain-souris, par analyse multivariée présentée bizarrement

Si vous trouvez la figure ci-dessus difficile à comprendre, vous êtes pardonné. En bref, les auteurs ont pris la mesure du niveau d’expression des gènes (leur niveau d’activité en première approximation) dans différents tissus (de testicules à estomac) de souris et d’humain. Pour chaque tissu humain ou souris, on a environ 20’000 mesures, pour autant de gènes. On peut réduire cela aux 2 ou 3 dimensions qui expliquent le mieux la variation, ce qu’ils ont fait. D’habitude on représente cela par des graphes 2D, qui sont lisibles au moins, mais ici ce sont des graphes 3D où la troisième dimension est très difficile à comprendre. Mais ceci est un péché véniel.

Ce qui est frappant pour le spécialiste dans ces figures, c’est que les tissus de regroupent par espèce (souris ensemble, humain ensemble) plutôt que par type de tissu (estomacs ensemble, reins ensemble). Ce qui revient à dire que les gènes exprimés dans un estomac de souris sont davantage similaires à ceux exprimés dans un rein de souris que dans un estomac humain. Ce qui est très surprenant : on s’attends plutôt à l’inverse, et d’ailleurs cela a été publié de manière répétée (même par mon labo). Et comme le fait remarquer l’inénarable Dan Graur (voir ici à son propos), si c’est vrai ça veut dire que l’étude des gènes de souris ne sert à rien pour étudier l’humain, et que donc ENCODE souris est un gaspillage d’argent. Ce que les auteurs d’ENCODE souris ne relèvent curieusement pas.

Ce résultat a paru bizarre a beaucoup de monde, et une analyse rapide dans mon labo semblait indiquer qu’il était du à ce que les expériences de souris et d’humain ont été faites différemment, et donc ce que l’on verrait serait le biais expérimental plutôt que le signal biologique. Mais montrer publiquement qu’un collègue a tort, c’est du boulot (cf ici), qu’on n’avait pas envie de poursuivre dans ce cas-ci.

Heureusement, un collègue de Chicago, Yoav Gilad, a décidé de le faire, et il a lancé un Tweet tonitruant :

Bon tonitruant sur l’échelle des débats feutrés en science hein. L’important c’est qu’il a montré que les résultats publiés ne tenaient pas, mais qu’en enlevant les biais expérimentaux on retrouvait bien un regroupement par tissus. Il a ensuite mis son article sous forme non encore expertisée sur le site de F1000, qui permet de rendre publique toutes les versions d’un papier, avant pendant après expertise, ainsi que les expertises elles-mêmes, afin que tous puissent discuter librement :

A reanalysis of mouse ENCODE comparative gene expression data. Yoav Gilad, Orna Mizrahi-Man F1000

A noter que les commentaires sous cet article « brouillon » sont très constructifs, et comprennent deux réponses détaillées des auteurs d’origine du consortium ENCODE.

Le tweet d’origine a fait beaucoup réagir dans le microcosme des biologistes des génomes, et a donné lieu a un compte-rendu dans le magazine Nature, où notamment l’auteur sénior (le chef quoi) de l’article d’origine, Michael Snyder, a déclaré que Gilad avait « brisé les normes sociales de la science en postant initialement sa critique sur Twitter » :

Michael Snyder, a geneticist at Stanford University in California and co-author of the original paper, stands by his team’s study and its conclusions and says that Gilad broke the “social norms” of science by initially posting the critique on Twitter. Gilad says that he took to social media to highlight his work, which might otherwise have been overlooked.

Cette réaction de Snyder a provoqué pas mal de réactions sarcastiques sur Twitter et blogs. Le ton général était qu’une publication scientifique est, bin, publique, et doit être critiquée publiquement. Et que la norme sociale de la science, ça doit être de faire les meilleures analyses et d’accepter la critique. Certains collègues pensent toutefois que Twitter est trop brutal, une appréciation que je ne partage toutefois pas. Si on reçoit énormément d’argent des contribuables pour faire de grosses études, qu’on les publie à grande fanfare dans les journaux les plus réputés, on doit s’attendre à être jugé et critiqué à l’échelle de cet investissement et de ce retentissement. A vrai dire, certains collègues éminents (Ewan Birney, Lior Pachter) ont dit que si l’analyse de Gilad était confirmée, l’article de Snyder devrait être rétracté, ce qui est très brutal. Et je pense que l’analyse va être confirmée. Le statisticien renomé en génomique Rafael Izarry a publié un billet sur son blog où il affirme que la mise en place de l’expérience était tellement faussée du départ que les auteurs ne pouvaient simplement rien trouver, et que donc toute l’analyse est forcément invalide. En fait, dans la discussion beaucoup de personnes disent que soit on enlève et le biais expérimental et l’effet (potentiel) espèce-spécifique, soit on confond les deux, mais ils ne sont pas démélables en l’état (voir à ce propos un excellent billet de Lior Pachter qui référence un billet du cafe-sciences dans les commentaires).

On revient à un point déjà traité précédemment sur ce blog, à propos des gros projets de génomique et autre « big science ». Les scientifiques très connus et très établis, qui obtiennent de très gros budgets et publient fréquemment dans les plus grandes revues, ne sont plus à l’abri des critiques. Avant, elles existaient, mais ils pouvaient les ignorer, et surtout compter que les personnes les finançant et les jugeant les ignoraient. Maintenant, c’est public et c’est très rapide, et ces scientifiques et ces revues prestigieuses doivent s’habituer à une discussion beaucoup plus animée et critique qu’avant. C’est pour le mieux pour la science et c’est ça qui compte.

Anecdote personnelle : maintenant quand j’expertise ou j’édite un article (voir les rôles dans ce billet), je réfléchis avant de soumettre mon avis : que penserais-je si cet article était publiquement critiqué ? Serait-je fier ou honteux de mon rôle dans la publication. Et peut-être que je suis un peu plus prudent qu’avant, et c’est bien.

Cellules souches à l’acide, c’est fini. Quelles conséquences pour la recherche et le rôle des réseaux sociaux?

Cliquez sur l'image

Cliquez sur l’image

Bin voilà, c’est fini. La grande promesse des cellules souches miracles obtenues rapidement pas cher (voir ce billet) est enterrée par le journal qui l’a publiée : Nature a retiré les deux papiers et le commentaire enthousiaste publié en même temps (voir aussi ce billet).

Je suis sur que beaucoup de choses vont être dites et écrites sur ce bazar, mais je voudrais juste revenir ici sur le rôle des médias sociaux, et l’interaction avec la publication classique (voir ce billet pour les types de publication). Pour simplifier, je vais partir du résumé sur le site retractionwatch et de l’excellent blog ipscell.

On rappelle que de nombreux lecteurs (biologistes) du papier ont remarqué et rapporté très rapidement des problèmes potentiels. Mais Nature dit que l’expertise avant publication (peer review) n’aurait pas pu le détecter. Comment cela se fait-il ? Des experts aguerris ne peuvent pas voir ce que voient des doctorants qui lisent le papier ?

En tous cas, Nature dit qu’ils vont maintenant faire plus attention aux figures. Vrai ? Chiche ? Parce qu’à l’heure d’internet, et contrairement aux bons journaux spécialisés, ils ne demandent toujours pas les photos originales en haute définition apparemment. Et ils ont quand même une phrase très étrange dans leur éditorial :

When figures often involve many panels, panels duplicated between figures may, in practice, be impossible for journals to police routinely without disproportionate editorial effort

Euh, le journal scientifique le plus célèbre du monde, dont les abonnements sont très chers, trouve que c’est trop de boulot de vérifier qu’il n’y a pas d’images dupliquées dans les articles qu’ils acceptent ? Et on nous fait ch..r avec les soit-disant problèmes de qualité de PLOS One ?

Et le point où je veux en venir : dans cet éditorial, Nature ne met pas en avant le rôle clé qu’ont joué les réseaux sociaux et les scientifiques qui y sont actifs. Ce sont des forums anonymes et des billets de blog qui ont pointé les problèmes, qui ont rapporté les tentatives de reproduction, et qui ont poussé à une réaction finalement assez rapide des instituts concernés, et d’abord le RIKEN au Japon (Harvard a été nettement moins réactif). Et ensuite Nature a réagi à l’enquête du RIKEN, mais sans ces médias sociaux, il est douteux que cela se soit passé aussi vite.

Et c’est à nouveau très important : comme discuté dans de précédents billets, les articles qui font sensation, qui rapportent des résultats très surprenants et/ou très intéressants, souvent dans de grandes revues un peu « magazine » comme Nature ou Science, sont maintenant sous le scrutin public de milliers de scientifiques pas forcément prestigieux, qui n’auraient pas voix au chapitre s’ils devaient attendre que Nature ou autre leur demande leur avis, mais qui sont rigoureux et passionés et ne laissent pas passer les bétises. Je pense que Nature en a conscience, et ne voit pas cela comme un progrès, avec leurs éditeurs professionnels et leurs abonnements hors de prix. Mais pour la science, pour la communauté scientifique, et pour la confiance que vous pouvez nous faire au bout du compte, je pense que c’est bien un progrès.

Discussion #FacebookExperiment, la suite

Cliquez sur l'image pour un quizz : how addicted to Facebook are you?

Cliquez sur l’image pour un quizz : how addicted to Facebook are you?

Suite à la découverte par internet le week-end dernier que Facebook avait publié une étude manipulant leurs utilisateurs, il y a eu beaucoup de discussions, et les débats reviennent pour l’essentiel à deux positions :

  • c’est inacceptable de manipuler les gens, et l’acceptation des conditions générales d’utilisation ne vaut pas consentement ;
  • pourquoi en faire toute une histoire ? de toutes façons la publicité, Google, et l’usage habituel de Facebook, nous manipulent bien plus tout le temps, et rien de plus grave que ça n’a été fait.

Voir par exemple (en français) le forum linuxfr ou la position de l’Agence Science Presse, ou (en anglais) le forum Slashdot.

Le commentaire de Pascal Lapointe (de l’ASP) sur le billet précédent apporte un éclairage intéressant : il distingue l’obligation absolue de consentement éclairé, d’une obligation peut-être moins évidente en sciences sociales. Mais il se trouve que le blog Pharyngula cite les principes de l’association américaine de psychologie, qui dit clairement que le consentement éclairé est nécessaire, dans des termes aisément compréhensibles.

De plus, les auteurs de l’étude en sont conscients, puisque premièrement ils disent qu’ils ont ce fameux consentement dans l’article, et deuxièment, et très grave, ils ont rajouté la mention d’études scientifiques dans les termes d’usage de Facebook… après l’étude ! (via The Guardian.) L’article lié note aussi que des mineurs ont pu participer à l’étude, ce qui est normalement très très encadré.

Ca me semble vraiment un aspect très grave de cette affaire. Ils savaient que le consentement éclairé était nécessaire, et ils ne l’ont pas fait. A mon sens, ceci devrait conduire à la rétraction de l’article dans PNAS.

Concernant l’argument « mais on se fait manipuler tout le temps ». On est sensé en être informé. La publicité est séparée de l’information, et marquée en tant que telle. Il est malhonnête, et dangereux, de présenter de la publicité comme de l’information. Or ici Facebook n’a pas « manipulé » les gens sensu publicité, ils ont modifié les nouvelles que des personnes recevaient d’autres personnes, à leur insu, et à des fins d’observer leurs réactions. C’est très différent de la publicité, y compris celle sur Google et Facebook. (Et si vous voulez dire qu’en général Facebook est dangereux… bien d’accord, je n’y suis pas.)

Je remarque cet argument surtout de la part de geeks / informaticiens qui connaissent bien le monde des géants de l’internet, et nettement moins le monde aux règles stringentes de la recherche. Ces règles ont des raisons historiques : il y a eu des abus, et on veut les éviter. C’est pas parce que le web est jeune qu’il peut ignorer cette histoire.

Un excellent article dans le New York Times fait remarquer un autre point : parmi les 700’000 personnes manipulées à leur insu, on n’a aucun moyen de savoir combien étaient dépressives ou suicidaires (et voir ci-dessus sur la possibilité que des adolescents aient participé). Lorsqu’il y a un consentement éclairé et un dispositif expérimental standard, les personnes à risque sont écartées de l’étude. Il peut y avoir des personnes suicidées ou internées suite à cette étude, comment le saurions-nous ? Les 700’000 n’ont toujours pas été informées qu’elles aient participé.

Pour finir sur une note plus légère, j’ai redécouvert via linuxfr un site qui présente les conditions d’utilisation de différents services internet sous forme aisément compréhensibles : cliquez sur l’image ci-dessous. Un excellent service !

facebook_tosdr

Mise à jour importante : le journal PNAS a ouvert les commentaires (via Pascal Lappointe). L’étude et son éthique sont défendues par l’auteur sénior de l’étude mentionnée dans mon précédent billet, qui a manipulé la mobilisation politique des gens durant une élection. Les autres intervenants ne sont pas d’accord avec lui. Moi non plus, pour les raisons expliquées ci-dessus.

Vous utilisez Facebook, vous êtes donc volontaire pour être manipulé expérimentalement #FacebookExperiment

cliquez sur l'image

cliquez sur l’image

[Si vous tombez sur ce billet maintenant, sachez qu’il y a une suite ici.]

Je ne sais pas pourquoi on se fait ch..r dans les hopitaux universitaires du monde entier à réfléchir à des consentements éclairés qui couvrent tous les cas de figure tout en permettant aux patients de comprendre de quoi il retourne avant de donner leur sang. Facebook et le journal de l’académie américaine des sciences (PNAS = Proceedings of the National Academy of Sciences USA) viennent de nous montrer que ce n’est absolument pas nécessaire. On peut apparemment manipuler les gens expérimentalement comme bon nous semble du moment qu’ils ont signé un accord de « conditions générales d’utilisation« , vous savez le long truc légal sur lequel vous cliquez toujours « oui » pour accéder à la suite.

Dans une étude publiée le 17 juin dans PNAS donc, les gens de Facebook ont fait exactement ça : manipuler les gens puisqu’ils étaient apparemment d’acord, ayant signé les CGU (EULA en anglais). L’étude a commencé à faire pas mal de bruit à ce que j’ai vu ce week-end, et voici ce que j’en sais pour le moment. (Ca y est, pendant que je préparais le billet ça a atteint les médias français.)

D’abord, le papier est open access, donc vous pouvez le lire : Kramer et al 2014 Experimental evidence of massive-scale emotional contagion through social networks PNAS 111: 8788–8790.

Quand on dit qu’ils ont manipulé les gens, voici un extrait de l’article :

The experiment manipulated the extent to which people (N = 689,003) were exposed to emotional expressions in their News Feed. This tested whether exposure to emotions led people to change their own posting behaviors, in particular whether exposure to emotional content led people to post content that was consistent with the exposure—thereby testing whether exposure to verbal affective expressions leads to similar verbal expressions, a form of emotional contagion. People who viewed Facebook in English were qualified for selection into the experiment.

Mais la phrase clé est celle-ci :

it was consistent with Facebook’s Data Use Policy, to which all users agree prior to creating an account on Facebook, constituting informed consent for this research.

En d’autres termes, ils ont manipulé les gens à des fins expérimentales en considérant que le fait d’avoir accepté les conditions générales d’utilisation de Facebook suffit comme consentement éclairé (si si ils écrivent « informed consent »). Ceci alors que celles de Facebook sont connues pour être particulièrement peu claires et succeptibles de changer.

Autre truc bizarre : l’étude a été faite par des personnes affiliées à Facebook, et ils déclarent no conflict of interest. Il me semble que Facebook les paye, et bénéficie des résultats de cette étude, non ?

Il y a un énorme débat en anglais que je n’ai pas lu ici, pour ceux qui ont le temps. Aussi à l’heure où j’écris ces lignes, la discussion démarre juste sur PubPeer, un forum dédié aux problèmes avec les articles scientifiques. Et beaucoup d’activité (avec comme d’hab pas mal de bruit) sur Twitter sous #FacebookExperiment (mais peu en français pour autant que je vois). Un bon point de vue sur le blog Pharyngula aussi (qui cite notamment des passages clés des instructions aux chercheurs). Oh et un autre point de vue documenté intéressant ici.

Un échange que je trouve éclairant sur Twitter :

ToU = terms of use. Les deux sont des chercheurs en génomique / bioinformatique. Et justement en génomique on a de gros problèmes avec le consentement éclairé, parce qu’on a souvent des possibilités techniques qui apparaissent en cours d’expérience qui n’existaient pas au départ, donc il est très difficile d’informer. Quand je pense que je me suis embêté dans des discussions avec des avocats et philosophes sur le sujet (et je ne travaille même pas directement avec des données cliniques), alors qu’il suffisait de leur faire signer un accord général d’utilisation de la médecine qui dise en petit « et on fera ce que bon nous semble avec vous, vos données et votre santé », signez ou vous ne serez pas soignés. Trop facile.

Yaniv Erlich continue à défendre l’étude, ou en tous cas à critiquer ses critiques, sur Twitter. Il a notamment fait remarquer les articles plus anciens suivants, qui manipulent aussi les utilisateurs Facebook :

Aral & Walker 2012. Identifying Influential and Susceptible Members of Social Networks. Science 337: 337-341

Dans celui-ci ils ont recruté des utilisateurs par publicité à utiliser une application de partage d’opinions sur le cinéma. Je ne trouve nulle part dans l’article ou les méthodes supplémentaires de mention de « consent » (informed ou pas). Par contre la manipulation n’était pas directe : ils ont juste observé a posteriori comment les gens étaient influencés par les opinions de leurs amis, mais ces opinions étaient authentiques.

Bond et al. 2012. A 61-million-person experiment in social influence and political mobilization. Nature 489: 295–298

Ici c’est plus inquiétant, ils ont envoyé ou pas à des gens des messages de mobilisation politique pendant des élections, pour voir s’ils iraient davantage voter, avec un recrutement qui rappelle celui de l’expérience récente de Facebook :

To test the hypothesis that political behaviour can spread through an online social network, we conducted a randomized controlled trial with all users of at least 18 years of age in the United States who accessed the Facebook website on 2 November 2010, the day of the US congressional elections. Users were randomly assigned to a ‘social message’ group, an ‘informational message’ group or a control group. The social message group (n = 60,055,176) was shown a statement at the top of their ‘News Feed’. This message encouraged the user to vote, provided a link to find local polling places, showed a clickable button reading ‘I Voted’, showed a counter indicating how many other Facebook users had previously reported voting, and displayed up to six small randomly selected ‘profile pictures’ of the user’s Facebook friends who had already clicked the I Voted button (Fig. 1). The informational message group (n = 611,044) was shown the message, poll information, counter and button, but they were not shown any faces of friends. The control group (n = 613,096) did not receive any message at the top of their News Feed.

A nouveau, aucune mention du terme « consent« . Juste ceci dans les méthodes supplémentaires :

The research design for this study was reviewed and approved by the University of California, San Diego Human Research Protections Program (protocol #101273).

C’est un peu court, jeune homme ! On pouvait dire… Oh ! Dieu !… bien des choses en somme sur le fait d’inciter ou décourager des gens de voter dans une élection fédérale.

Finalement, Yaniv signale celui-ci, qui ne manipule pas à proprement parler les utilisateurs, mais étudie juste l’effet d’un changement dans Facebook, qui proposait aux gens d’afficher leur statut de donneur d’organes, ce qui me parait légitime :

Cameron et al. 2013. Social Media and Organ Donor Registration: The Facebook Effect. American Journal of Transplantation 13: 2059–2065

Continue la lecture

La saga des cellules souches continue à nous éclairer sur le fonctionnement de la science (à défaut de celui des cellules)

Cliquez sur l'image

Cliquez sur l’image

Bon alors l’histoire des cellules souches magiques, ça ne s’améliore pas (1ère partie, 2ème partie). Un des auteurs, Teru Wakayama, appelle l’article à être retiré, la 1ère auteure (Haruko Obokata, qui a fait les manips) demande à ce que sa thèse soit rétractée, que du bon. Et l’institut où les manips ont été en grande partie faites, le RIKEN au Japon, dit en conférence de presse qu’ils « ne peuvent pas conclure que les résultats sont totalement faux ». La confiance règne. Suivez tout en anglais sur l’excellent blog http://www.ipscell.com de @pknoepfler.

Dans ce nauvrage en temps réel, ce qui est intéressant à observer c’est la dynamique sociale du fonctionnement de la communauté scientifique. Quand on apprend la science, au niveau le plus simple, on apprend que les scientifiques sont très critiques, font très attention, remettent en cause leurs hypothèses dès que ça cloche, etc. Puis dans un deuxième temps, si on s’y intéresse, on apprend que non les scientifiques y en a des arrogants et des égoïstes, certains sont aveuglés par leurs préjugés et d’autres attachent leur carrière à une hypothèse et ne veulent plus en démordre, y a des vieux qui ne veulent pas des nouvelles méthodes et des jeunes qui répètent les erreurs passées par ignorance… Et si on arrête là, on a une bien piètre image de la science.

Le truc, c’est que tout ça c’est vrai, mais que ce qui importe c’est la manière dont fonctionne la communauté scientifique. La recherche scientifique, malgré les Géo Trouvetout populaires de la BD aux films et aux livres, est une oeuvre et une aventure collectives. Ce qui importe, ce n’est pas si un individu admet ou pas s’être trompé (bien que ça soit mieux s’il le fait), c’est si la communauté reconnaît l’erreur et agit en conséquence. A savoir, corrige les hypothèses et met en place de nouveaux tests.

Dans le cas des cellules souches, on a de tout :

  • Comme dit ci-dissus, Obokata n’a pas (pas encore ? à ma connaissance) déclaré l’étude non valide, mais elle déclare sa thèse sur le sujet non valide, une démarche très rare et relativement radicale.
  • Comme aussi dit, un des co-auteurs appelle les papiers à être rétractés, donc à admettre qu’ils ne rapportent pas l’évidence qu’ils disent rapporter.
  • Par contre l’auteur sénior, le chef de l’étude, Vacanti, maintient mordicus que c’est valide.
  • Le RIKEN, où travaille Obokata, a démarré une enquête interne, communique en permanence, et fait preuve d’une grande transparence (apparente au moins) dans sa recherche de la vérité. On peut craindre qu’ils ne visent à transformer Obokata en bouc émissaire (chèvre émissaire pour une femme ?) de cette histoire, mais au moins ils font quelque chose.
  • Harvard, où une partie du travail a été fait, se tait. Donc à notre connaissance ne fait pas d’enquête comme le RIKEN.
  • Certains chercheurs sur les cellules souches, comme détaillé précédemment, cherchent à établir collectivement la reproductibilité des expériences, et communiquent ouvertement sur les problèmes découverts.
  • Pendant ce temps, d’autres chercheurs bien établis dans le monde des cellules souches trouvent tout ce déballage de bien mauvais gout, et préféreraient que le linge sale soit lavé en famille. Ce qui pourrait bien entendu être l’occasion d’affirmer au monde qu’il n’est pas si sale que ça, et surtout éviter que l’on constate du linge sale dans d’autres labos je suppose.

Nous voyons donc en direct live la nature auto-correctrice de la science, et les résistances locales que cette auto-correction suscite toujours. Les pessimistes se focaliseront sur le verre à moitié vide : le silence d’Harvard, l’entêtement de Vacanti, les réticences de certains pontes à discuter de cette histoire. Les optimistes se focaliseront sur le verre à moitié plein : le démontage du papier et les nombreuses tentatives de reproduction des expériences en quelques semaines à peine, les discussions publiques jusque dans les pages de Nature et de certains journaux grand public (surtout au Japon), la réaction ouverte du RIKEN, la prudence aussi des critiques. Moi je vois le verre plus qu’à moitié plein : c’est important de ne pas se focaliser sur les faiblesses d’une personne ou une autre, mais de voir le fonctionnement communautaire. (Et aussi d’être très critique quand dans certains cas une communauté scientifique disfonctionne, mais c’est nettement plus rare.)

Rififi chez les bioinformaticiens : peut-on tout critiquer sur tous les tons ?

Cliquez sur l'image

Cliquez sur l’image

Un billet forcément trop court pour rendre compte d’un débat important et très animé qui a eu lieu ces deux dernières semaines, sur le blog de Lior Pachter, le même qui avait déclenché le débat sur les méthodes utilisées en bioinformatiques en fin d’année dernière. Dans une série de trois billets (The network nonsense of Albert-László Barabási ; The network nonsense of Manolis Kellis ; Why I read the network nonsense papers ; plus une explication de texte finale : Number deconvolution), Lior a démonté des articles par des scientifiques très connus, dans des journaux très reconnus, sur les méthodes d’analyse de réseaux, y compris les réseaux de gènes ou de protéines (quel gène interagit avec quel gène, ou régule quel gène, etc).

Je ne vais pas rentrer dans les détails, il faut lire les billets et les commentaires si vous vous intéressez à la biologie computationnelle. Mais je vais insister ici sur les tensions que ces billets ont cristalisé :

  • Tension entre méthodologistes, souvent énervés par des papiers par forcément 100% satisfaisants publiés dans de grandes revues, et scientifiques qui produisent ces papiers à haute visibilité, que les critiques des méthodologistes qui ne produisent pas les résultats biologiques énervent souvent.
  • Tension plus générale entre les scientifiques qui réussissent bien, même très bien dans le système actuel, de revues à fort impact très sélectives, et scientifiques qui réussissent moins bien dans ce système, et qui jusque récemment avaient peu l’occasion d’exprimer leurs critiques (à-peu-près toujours rejetées par les grands journaux « par manque de place » ou « trop technique »), mais s’expriment de plus en plus dans les blogs et sur les serveurs de preprints du type ArXiv.
  • Tension, enfin, entre la nécessité de parler franchement des problèmes éventuels de méthodes ou de résultats scientifiques, et la nécessité d’avoir un dialogue constructif entre scientifiques. Tension donc entre le fonds (y compris dire que c’est faux quand c’est faux) et la forme (ne pas accuser les collègues de fraude ou de malversations à la légère en public).

Le dernier point a donné lieu à la plus grande discussion, parce que le mot fraude, justement, a été employé. C’est un mot très chargé en science. Accuser quelqu’un de fraude, c’est très grave. Lior a accusé Manolis Kellis de fraude, parce qu’il a modifié une figure après expertise, et parce que des paramètres de la méthode n’étaient pas explicités. (C’est un prof de Berkeley qui accuse un prof du MIT, y a pas de petit joueur ici.)

Ma position sur ce débat, je l’ai donnée en commentaire du troisième billet, ici et ici. En bref, je pense que (1) le débat sur la forme a lieu d’être, et Lior a probablement eu tort d’utiliser le mot fraude, mais que (2) ce débat a été employé pour détourner de ce qui doit rester l’essentiel, à savoir la véracité et l’honnêteté du travail scientfique. Si Lior a raison, alors il a rendu un service important à la communauté. S’il a tort, il faut le montrer, pas juste pousser des cris sur le ton.

Je reiviens sur ce que j’avais écrit après le précédent billet à scandale de Lior :

grâce aux blogs et à Twitter ces gros projets se font sous la supervision de plus en plus proche et réactive d’une communauté qui n’a pas peur de faire connaître ses critiques, et que ces mêmes plateformes permettent aux scientifiques des gros projets de répondre, créant un dialogue constructif. Et ça c’est une très bonne nouvelle pour le progrès de la recherche en biologie et en sciences en général.

Je pense vraiment que la vigilance de personnes telles que Lior, ou « expertise post-publication », peut améliorer la science. Quelque part, ses motivations me challent peu : vengeance, jalousie, passion pure et brulante pour la science ? Si les auteurs et les journaux savent qu’ils courent le risque d’être critiqués sur la place publique en cas d’erreurs ou de manquements graves, tout le monde sera un peu plus prudent, peut-être un peu plus rigoureux, et ce sera pour le mieux. Voir aussi le débat post-publication en cours sur les cellules souches miraculeuses.

(A propos de l’image ci-dessus, je l’ai twittée du coup  à Lior et à Dan Graur, également spécialiste de la critique malpolie :

)

—-

Mise à jour : certains des débateurs opposés s’échangent des tuyaux gentils sur Twitter, c’est pas cool ?