Archives pour la catégorie politique de publication

Redif : Diversité du peer review

Tiens c’est l’été, je vais rediffuser des billets de mon ancien blog. Après celui sur les statistiques, une explication des différentes formes de l’expertise par les pairs pour publication scientifique (peer review) (billet d’origine sur le vieux blog). Je l’ai un peu mis à jour.

Je me suis rendu compte lors d’une discussion sur Futura-Sciences, que la façon dont la publication scientifique fonctionne n’est pas claire pour beaucoup de personnes hors de notre tour d’ivoire. Voici donc un petit tour d’horizon, du point de vue d’un bioinformaticien.

Le modèle le plus classique est celui du journal spécialisé visant une certaine qualité. Les étapes sont alors les suivantes :

  1. Le manuscrit est reçu par un éditeur, qui est un spécialiste du domaine. Celui-ci juge s’il s’agit du type d’articles que son journal publie (domaine adéquat, écrit en anglais scientifique compréhensible). Si non, tcho. Si oui, étape suivante. Selon les journaux, entre 5% et plus de 50% des articles peuvent être rejetés à cette étape. Surtout que nombre d’éditeurs incluent dans leurs critères que le manuscrit promet de résoudre une question suffisamment importante pour leur super-duper-journal.
  2. L’éditeur choisit des experts, auxquels il envoie le manuscrit, sans masquer les auteurs. Les experts renvoient des rapports sur la qualité du manuscrit et son adéquation au journal.
  3. L’éditeur se base sur les rapports de experts pour prendre une décision. En général, le choix est : accepté tel quel (rare), accepté après changements mineurs (les experts n’auront pas besoin de re-juger), changements majeurs demandés (les experts devront rejuger, ça peut encore être accepté ou refusé après cela), ou rejeté.
  4. Les auteurs reçoivent la décision de l’éditeur accompagné des rapports anonymes des experts. Ils peuvent faire appel.

Plein de problèmes, dont le plus évident est l’asymmétrie entre les experts qui connaissent les auteurs (ce qui peut biaiser leur jugement), et les auteurs qui ne connaissent pas les experts (qui peuvent donc être salauds sans risque). Je suis personnellement favorable au double anonymat, mais c’est très rare que ce soit fait. Autre problème, l’éditeur est finalement seul maître à bord (un peu comme un arbitre dans un stade), et s’il est injuste ou incompétent c’est dommage. Heureusement il existe plein de journaux scientifiques spécialisés, donc généralement à ce niveau-là on peut s’en sortir.

Première variante, le journal méga-super-connu, typiquement Nature ou Science. A toutes les étapes, une évaluation de l’importance de la contribution est plus importante que la qualité du travail lui-même. C’est un peu la première page du Monde. C’est bien si c’est correct, mais il faut aussi que ça intéresse beaucoup de monde tout en respectant l’image plus ou moins sérieuse du journal. Le problème, c’est que les critères sont très discutables. De plus, les problèmes classiques sont amplifiés par l’importance qu’une publication dans ces journaux peut avoir pour une carrière, et le niveau de compétition correspondant. Finalement, une grosse différence est que les éditeurs sont des professionnels qui ont généralement une formation scientifique, mais ne travaillent pas comme chercheurs depuis des années. Alors que les éditeurs des journaux de spécialité sont censés être les meilleurs dans leur domaine, ceux-ci sont plutôt des personnes qui changé de métier parce qu’elles n’aimaient pas la carrière de chercheur.

Ces deux variantes existent depuis longtemps, mais avec Internet d’autres apparaissent.

D’abord, ArXiv, dont on a déjà parlé. Pas d’experts, et des éditeurs qui s’assurent juste que c’est plus ou moins scientifique. Le problème, c’est qu’on n’a aucun critère de qualité. Le bon grain et l’ivraie se couchent avec l’agneau et le lion. Ou quelque chose comme ça.

Ensuite, Biology Direct. Les auteurs reçoivent les rapports des experts non anonymes. Ce sont les auteurs qui décident de la suite à donner (changements ou pas, publier ou pas). Si les auteurs décident de publier, c’est fait, accompagné des commentaires (toujours non anonymes) des experts. Une idée qui paraît attirante, mais marche très mal en pratique. Les bons auteurs auront des scrupules à publier leur papier, les mauvais, non. Les chercheurs connus feront des critiques fortes, les chercheurs en début de carrière seront beaucoup plus hésitants.

Un modèle qui a un très fort succès, exemplifié par PLoS One, est de supprimer totalement les critères de pertinence et de significativité de l’avancée scientifique (depuis le billet d’origine, je suis devenu éditeur et j’en ai reparlé sur le blog, par exemple ici). Tout ce qui est correct et n’est pas totalement redondant avec des résultats précédemment publiés doit être publié. PLoS One est devenu le journal qui publie le plus d’articles scientifique par an, et a notamment une bonne réputation en recherche médicale. Curieusement, de nombreux collègues restent persuadés qu’il n’y a pas d’experts (il y en a, pareil que dans la formule classique), et que c’est un journal poubelle. C’est vrai que beaucoup d’articles de faible intérêt y sont publiés, mais aussi de très bons articles, parfois parce les auteurs voulaient publier vite sans s’embéter à se battre avec les éditeurs de grands journaux, parfois parce qu’il n’existait pas de journal de spécialité correspondant (pour de la recherche interdisciplinaire).

Un modèle récent est celui de Frontiers, une nouvelle série de journaux sur internet. Les experts et les auteurs dialoguent à travers un système anonyme, jusqu’à trouver un accord sur la publication ou pas de l’article, éventuellement après modifications. Cela rappelle un système qui existe pour certaines conférences d’informatique, mais où ce sont seulement les experts qui doivent discuter entre eux, de manière non anynome ; ça évite au moins l’éditeur seul maître après Dieu (et quand on connaît le rôle de Dieu en science…).

Après ce tour d’horizon des mille et une recettes, qui vous valent à coup sûr les honneurs des gazettes…

Remarque intéressante lue dans les commentaires de Slashdot :

The peer review process isn’t about catching fabricated data, but about editorial quality. It may not be obvious that the two are different, but they are. 

L’expertise ne vise pas à déterminer les données falsifiées, mais à vérifier la qualité éditoriale. La différence peut paraître minime, mais elle existe.

En effet, les experts sauf accident (genre les données ont l’air très suspectes) doivent donner le bénéfice du doute aux auteurs, et supposer que le travail a été fait honnêtement. La question principale est donc de savoir si le travail a été fait de manière compétente ou non. La fraude peut être détectée, mais rarement par l’expertise par les pairs.

Petit entretien sur la publication libre accès #openaccess

Cliquez sur l'image

Cliquez sur l’image

Ceci est la transcription d’un entretien fait pour le magazine Allez savoir ! de l’Université de Lausanne, pour un article à paraître en septembre 2014. Je remercie David Spring de Allez Savoir ! de m’avoir permis de le publier ici. J’ai juste ajouté quelques liens.

En quoi consiste votre travail d’éditeur scientifique de la revue PLOS ONE ?

Cette activité n’est pas spécifique au fait que le titre est en open access (OA) : le travail est le même partout. Je reçois, de la part de PLOS ONE, un article soumis par un groupe de chercheurs et je me pose une série de questions comme par exemple : le « papier » est-il pertinent ? Les méthodes employées sont-elles correctes ? Les résultats sont-ils frappants ? A-t-il sa place dans la revue ? Je déniche ensuite des scientifiques du domaine traité afin de leur confier la peer review. Ils se trouvent soit dans mes contacts personnels, ou se repèrent grâce à un outil de recherche de spécialistes comme Jane ou encore sur suggestion des auteurs. Je centralise ensuite les remarques faites par les pairs et j’en donne un résumé aux auteurs. L’éditeur décide quels commentaires doivent être pris en compte ou pas. Le document fait ensuite plusieurs allers et retours. Tous les cas de figure surviennent, des changements légers aux modifications importantes. Ensuite, quand les corrections demandées ont été faites, le « papier » est mis en ligne très rapidement. Au moins de juin, PLOS ONE a dépassé les 100 000 articles.

Quelle est votre motivation ? Ce travail est bénévole !

Nous sommes des milliers d’éditeurs volontaires pour PLOS ONE. Je le fais par sens du devoir et pour animer la communauté. C’est nécessaire pour qu’elle vive, tout comme la réalisation de peer reviews ou l’organisation de conférences. Il faut dire également que figurer parmi les éditeurs d’un titre implique une certaine reconnaissance de la part des collègues, qui vous font confiance. Prendre des responsabilités de ce genre est même attendu de votre part si vous visez des postes supérieurs dans la carrière académique.

Combien coûte à l’auteur une parution en OA?

D’après mon expérience personnelle, les prix naviguent entre $1000 et $3000 par article. Certains sont gratuits et d’autres plus chers : PLOS ONE demande $1350, ce qui est assez peu. Dans certains cas d’auteurs désargentés, la revue offre même la parution. Depuis peu, le Fonds national suisse (FNS) paie les frais de publications des auteurs dont il soutient les travaux financièrement.

Quels types d’OA trouve-t-on aujourd’hui ?

Par exemple, le modèle hybride. Il s’agit de revues qui fonctionnent sur le principe de l’abonnement, donc du lecteur-payeur. Mais les auteurs qui le souhaitent peuvent payer un supplément pour que leur article soit en OA… Cela donne un sommaire panaché, où certains papiers sont en lecture libre, et d’autres pas. Un business model disruptif a émergé : celui de PeerJ (biologie et médecine). Les auteurs paient une participation unique, au minimum de 99 $, ce qui leur donne le droit, annuellement, de publier un article mais les contraint à une peer review. Petite subtilité : tous les co-auteurs doivent avoir réglé leur cotisation. De manière plus générale, il ne faut pas croire que toutes les revues en OA ne poursuivent pas de but commercial. De même, certains titres qui ont opté pour le « lecteur payeur » n’ont pas de but lucratif. Tous les cas de figures existent.

Quel bénéfices le grand public peut-il attendre de la publication en OA ?

Notre société compte de nombreuses personnes qui possèdent une formation scientifique : des professeurs du secondaire, des ingénieurs, des médecins. Ils peuvent lire les articles parus dans les revues.

Pour les enseignants, c’est une perte que de ne pas y avoir accès pour des raisons de coûts. Quand ils voient dans les news qu’on a trouvé un nouveau dinosaure, ou qu’on parle des OGM ou du réchauffement, ils devraient pouvoir utiliser la littérature scientifique. Pour moi, un véritable OA propose du contenu sous licence « creative commons », que l’on peut réutiliser et proposer au téléchargement. Je parle de cartes, de graphiques qui enrichissent les cours.

Pensez également à des patients atteints de maladies graves ou chroniques, et aux associations qui les représentent. S’ils entendent parler de nouveaux travaux, voire d’un traitement potentiel, ils devraient pouvoir accéder aux informations qui les concernent…

Mais les articles sont compliqués à lire pour des profanes ?

Ne sous-estimez pas la motivation de personnes dont la vie est concernée. En auto-formation, on peut apprendre beaucoup. Et il est toujours possible de soumettre l’article à son médecin pour avoir des informations. De manière générale, les débats de société, que ce soit au sujet de la mort des abeilles, du changement climatique, des perturbateurs endocriniens ou même du créationnisme sortiraient enrichis d’un accès plus large aux travaux des chercheurs. Les militants, les industriels et les journalistes seraient les premiers intéressés, mais tout le monde est concerné. Chaque personne qui souhaite accéder à l’information doit pouvoir le faire. Quand vous devez payer un « papier » avec votre carte de crédit et que vous vous rendez compte en ouvrant le pdf qu’il est inintéressant ou illisible, vous avez perdu de l’argent et vous ne pouvez pas le rendre au fournisseur !

Quels sont vos collègues qui bénéficient de l’OA ?

Le coût des abonnements empêche les chercheurs africains, par exemple, d’accéder à la recherche. Mais c’est également valable pour les pays européens en difficulté économique, comme la Grèce ou le Portugal. C’est un cercle vicieux : pas de connaissance, pas d’innovation, pas de start-ups, pas d’emplois… Les tenants du modèle traditionnel tentent de contrer cet argument en disant qu’il faut payer pour publier dans l’OA, et que c’est un problème aussi. Mais d’abord, un scientifique lit beaucoup plus qu’il ne publie. Ensuite, si vous n’avez pas lu les travaux des spécialistes de votre domaine, vous ne pouvez jamais faire de la bonne science et en arriver au stade de la soumission d’un article. Il vaut clairement mieux payer pour publier que pour lire !

Pourquoi le modèle traditionnel du lecteur-payeur existe-t-il encore ?

C’est l’inertie du système. Pourquoi les maisons de disques existent-elles encore à l’heure d’iTunes ? Il faut prendre en compte la question du prestige cumulé avec les années de revues comme Nature. Un nouveau venu, en OA, ne l’aura pas avant un moment. Toutefois, PLOS Biology et PLOS Medicine font concurrence à de très bons titres, ce qui prouve qu’un changement de mentalité est possible. Le moyen le plus efficace de faire bouger les choses rapidement, c’est quand les organismes qui financent la recherche, comme le Wellcome Trust en Grande-Bretagne, soutiennent la démarche et contraignent à publier en OA. C’est d’ailleurs une bonne chose pour la recherche elle-même, qui circule davantage quand elle est librement accessible ! Enfin, le piège des abonnements réside dans le fait que leurs coûts sont payés par les bibliothèques et les universités sans que les scientifiques ne les voient passer (ils sont même confidentiels !), alors qu’une publication en OA tombe sur le budget du chercheur lui-même…

Il y a un décalage entre les intérêts général et particulier…

Chaque chercheur a en effet intérêt à progresser dans sa carrière grâce à des parutions dans des titres prestigieux. S’ils publient dans une revue OA, c’est bien souvent sans faire exprès… Même si je fait l’effort de ne publier qu’en OA*, je n’applique pas forcémen cette politique à mes doctorants, qui doivent partir dans la nature munis d’un bon CV.

* ces dernières années.

Que pensez-vous des serveurs institutionnels comme Serval, mis à disposition des chercheurs de l’UNIL et du CHUV par la Bibliothèque cantonale et universitaire de Lausanne ?

En soi, c’est une bonne chose. Mais pour moi, l’OA green road que permet Serval, c’est à dire la publication dans une revue traditionnelle et le stockage local de l’article, ce n’est pas un véritable open access…

… Pourquoi ?

Parce que les éditeurs ne permettent de loin pas toujours de mettre à disposition la toute dernière version du « papier ». Le site Sherpa/Romeo liste les différentes exigences juridiques. Cela pose deux problèmes. Mettre à disposition un article dans sa version originale, c’est à dire avant l’évaluation par les pairs, implique un manque de contrôle et un risque d’erreurs. Ensuite, cela signifie que deux versions du document circulent ce qui provoque une confusion au moment où quelqu’un va vouloir le citer dans un nouvel recherche: duquel va-t-on parler ?

100’000 articles, et la révolution #PLOSOne continue à faire peur

Tiens de la poésie pour changer des petits mickeys.

J’ai récemment réagi à un billet du blog « rédaction médicale », qui émettait des doutes sur la pertinence des 100’000 articles publiés dans PLOS One (voir aussi ce billet). Le billet lui-même est étrange, utilisant les insinuations (« course à la publication qui consiste maintenant en un payement de 1350 $ à PLOS ONE pour être publié » ; « pour la qualité du peer-review, j’entends le meilleur et le pire ») sans vraiment ni affirmer que PLOS One serait inférieur, ni donner de faits.

J’ai répondu dans les commentaires, avec le soutien de Pascal de l’Agence Science Presse. Je reproduis les commentaires ci-dessous, mais je voudrais d’abord dire que les réactions que je vois là et ailleurs me paraissent symptomatiques de ce que PLOS One, en modifiant les critères classiques où l’important est de publier des résultats frappants dans des journaux prestigieux, déstabilise l’édifice injuste et inefficace actuel, dans lequel les journaux ont le pouvoir, pouvoir de refuser des articles justes parce que « pas assez importants », pouvoir de publier des articles faux mais sexy (scandale récent des cellules souches), et pouvoir d’imposer des abonnements hors de prix car marché biaisé.

Alors PLOS One a du succès, et ce succès montre que le status quo n’est pas inévitable, et ça ne plait pas à ceux qui en bénéficient ou qui y participent activement. Mais c’est trop tard, la révolution est là et elle avance. Ayez peur, ayez très peur.

J’aimerais bien savoir sur quoi se basent les gens qui disent que PLOS One fait un reviewing moins bon que d’autres journaux. Les critères sont clairs, ils sont ici :

http://www.plosone.org/static/publication

Quand à l’idée que l’open access serait un problème pour la qualité, voir ici :

http://toutsepassecommesi.cafe-sciences.org/2014/03/26/lopen-access-ne-nuit-pas-a-la-qualite-scientifique/

Je trouve personnellement très positif que grâce à PLOS One et d’autres jouraux similaire (1) une grande quantité d’information scientifique soit librement disponible et analysable (text-mining), (2) de nombreux résultats qui auraient moisi dans des tiroirs doit publics. Beaucoup de ces résultats sont peu intéressants seuls, mais ensemble ils forment une énorme quantité de connaissances.

Déclaration de conflit d’intérêt : je suis éditeur bénévole chez PLOS One.

Rédigé par : MRR | mercredi 02 juillet 2014 à 21:23

Bonsoir,

effectivement, vos remarques sont vraies.. Mais les opinions que je rencontre en discutant avec les auteurs, reviewers et éditeurs qui travaillent pour PLOS sont très variables. Rarement, j’ai entendu des commentaires aussi divergents

Donc opinions… et on aurait besoin de faits

Cdlmt
HM

Rédigé par : Maisonneuve | mercredi 02 juillet 2014 à 22:28

Je ne suis pas sur de quels faits vous attendez. Je vous ai fourni les critères de publication de PLOS One.

On peut noter que PLOS One est l’un des journaux à s’être le mieux sorti du hoax d’un journaliste de Science l’an dernier :
http://retractionwatch.com/2013/10/03/science-reporter-spoofs-hundreds-of-journals-with-a-fake-paper/#comment-64133

Pas directement lié à PLOS One, mais les journaux prestigieux à haut facteur d’impact ont aussi les plus forts taux de rétraction :
http://iai.asm.org/content/79/10/3855.full

Ensuite, il me semble que la charge de la preuve est pour ceux qui voudraient dire que PLOS One publierait moins rigoureusement, ou de la science moins correcte ou moins soutenue. Que PLOS One publie des articles moins excitants, c’est assumé dans la mission du journal.

Rédigé par : MRR | vendredi 04 juillet 2014 à 16:11

Pour renchérir sur le commentaire de Marc, il semble que le choix de PLOS One comme cible soit étrange (ou alors, vous gagneriez à mieux l’expliquer). Si vous voulez dénoncer la course à la publication à l’oeuvre dans le monde de la recherche, il y a évidemment de l’espace pour le faire et vous pourriez trouver bien, bien pire. Si vous voulez dénoncer les revues aux critères de publication douteux, il y en aurait des centaines qui mériteraient de passer à la trappe avant PLOS One. Certes, PLOS One sait se promouvoir: est-ce mal?

Rédigé par : Pascal Lapointe | samedi 05 juillet 2014 à 03:38

Cellules souches à l’acide, c’est fini. Quelles conséquences pour la recherche et le rôle des réseaux sociaux?

Cliquez sur l'image

Cliquez sur l’image

Bin voilà, c’est fini. La grande promesse des cellules souches miracles obtenues rapidement pas cher (voir ce billet) est enterrée par le journal qui l’a publiée : Nature a retiré les deux papiers et le commentaire enthousiaste publié en même temps (voir aussi ce billet).

Je suis sur que beaucoup de choses vont être dites et écrites sur ce bazar, mais je voudrais juste revenir ici sur le rôle des médias sociaux, et l’interaction avec la publication classique (voir ce billet pour les types de publication). Pour simplifier, je vais partir du résumé sur le site retractionwatch et de l’excellent blog ipscell.

On rappelle que de nombreux lecteurs (biologistes) du papier ont remarqué et rapporté très rapidement des problèmes potentiels. Mais Nature dit que l’expertise avant publication (peer review) n’aurait pas pu le détecter. Comment cela se fait-il ? Des experts aguerris ne peuvent pas voir ce que voient des doctorants qui lisent le papier ?

En tous cas, Nature dit qu’ils vont maintenant faire plus attention aux figures. Vrai ? Chiche ? Parce qu’à l’heure d’internet, et contrairement aux bons journaux spécialisés, ils ne demandent toujours pas les photos originales en haute définition apparemment. Et ils ont quand même une phrase très étrange dans leur éditorial :

When figures often involve many panels, panels duplicated between figures may, in practice, be impossible for journals to police routinely without disproportionate editorial effort

Euh, le journal scientifique le plus célèbre du monde, dont les abonnements sont très chers, trouve que c’est trop de boulot de vérifier qu’il n’y a pas d’images dupliquées dans les articles qu’ils acceptent ? Et on nous fait ch..r avec les soit-disant problèmes de qualité de PLOS One ?

Et le point où je veux en venir : dans cet éditorial, Nature ne met pas en avant le rôle clé qu’ont joué les réseaux sociaux et les scientifiques qui y sont actifs. Ce sont des forums anonymes et des billets de blog qui ont pointé les problèmes, qui ont rapporté les tentatives de reproduction, et qui ont poussé à une réaction finalement assez rapide des instituts concernés, et d’abord le RIKEN au Japon (Harvard a été nettement moins réactif). Et ensuite Nature a réagi à l’enquête du RIKEN, mais sans ces médias sociaux, il est douteux que cela se soit passé aussi vite.

Et c’est à nouveau très important : comme discuté dans de précédents billets, les articles qui font sensation, qui rapportent des résultats très surprenants et/ou très intéressants, souvent dans de grandes revues un peu « magazine » comme Nature ou Science, sont maintenant sous le scrutin public de milliers de scientifiques pas forcément prestigieux, qui n’auraient pas voix au chapitre s’ils devaient attendre que Nature ou autre leur demande leur avis, mais qui sont rigoureux et passionés et ne laissent pas passer les bétises. Je pense que Nature en a conscience, et ne voit pas cela comme un progrès, avec leurs éditeurs professionnels et leurs abonnements hors de prix. Mais pour la science, pour la communauté scientifique, et pour la confiance que vous pouvez nous faire au bout du compte, je pense que c’est bien un progrès.

L’open access ne nuit pas à la qualité scientifique

cliquez sur l'image

cliquez sur l’image

Un billet sur le blog Alambic de la bibliothèque de Clermont-Ferrand, sur Hypotheses.org, pose la question « L’open access nuit-il à la qualité scientifique ? » (explication de ce qu’est l’open access dans ce billet). Le texte contient beaucoup de bonnes choses, mais je trouve qu’il complique un peu trop la question.

Donc en résumé, ma réponse est : non.

Quelques points davantage en détail :

  • Je suis éditeur chez PLOS One, le journal le plus souvent cité en exemple pour l’open access haut débit sans critères d’impact scientifique. On a zéro pression pour accepter plus de papiers, il n’y a aucun lien avec le fait que les auteurs payent : s’ils demandent à ne pas payer par manque de moyens, c’est toujours accordé, et l’éditeur n’est pas au courant.
  • J’en ai marre d’entendre parler des journaux « prédateurs » comme disqualifiant l’open access. Ca me rappelle les débuts du web, quand beaucoup de gens en France ne voulaient pas avoir de présence web (j’ai vécu cela en 1995-96) parce que le web, y avait de la pornographie et des sites de piratage. Oui sur le web y a ces trucs, et les éditeurs escrocs existent. Mais en quoi cela justifie-t-il de ne pas agir par ailleurs ? De ne pas avoir de page web, de ne pas éditer un bon journal open access ? C’est un non sequitur, utilisé à dessein par les tenants du status quo.
  • A propos des journaux prédateurs, merci de ne pas citer avec approbation le truc récent dans Science. Ce n’était pas une « étude », vu que c’était fait par un journaliste, sur commande, et que ça n’a pas été soumis ni expertisé. Le plan expérimental était faussé exprès, en ne soumettant aucun faux article à des revues sur abonnement, et en ciblant en priorité les éditeurs classés comme « prédateurs ». Et il n’y a aucune correction pour des facteurs confondants comme l’age des journaux, leur reconnaissance, leur nombre d’articles, etc. Donc des journaux de merde publient de la merde, what’s new ? A noter que des papiers générés par ordinateur ont été acceptés par des éditeurs réputés sérieux, sur abonnement (news dans Nature), et que Elsevier a publié de faux journaux sur abonnement (New Scientist).
  • Finalement, tout ce bruit sur les nouvelles revues et nouveaux éditeurs me paraît détourner de l’essentiel : il faudrait que les revues existantes, avec leur expertise et leur prestige, deviennent toutes open access. Alors on pourra arréter de discuter de ces bétises et permettre l’accès au savoir à tous. Sans utopie, c’est déjà économiquement viable.

Continue la lecture

Rififi chez les bioinformaticiens : peut-on tout critiquer sur tous les tons ?

Cliquez sur l'image

Cliquez sur l’image

Un billet forcément trop court pour rendre compte d’un débat important et très animé qui a eu lieu ces deux dernières semaines, sur le blog de Lior Pachter, le même qui avait déclenché le débat sur les méthodes utilisées en bioinformatiques en fin d’année dernière. Dans une série de trois billets (The network nonsense of Albert-László Barabási ; The network nonsense of Manolis Kellis ; Why I read the network nonsense papers ; plus une explication de texte finale : Number deconvolution), Lior a démonté des articles par des scientifiques très connus, dans des journaux très reconnus, sur les méthodes d’analyse de réseaux, y compris les réseaux de gènes ou de protéines (quel gène interagit avec quel gène, ou régule quel gène, etc).

Je ne vais pas rentrer dans les détails, il faut lire les billets et les commentaires si vous vous intéressez à la biologie computationnelle. Mais je vais insister ici sur les tensions que ces billets ont cristalisé :

  • Tension entre méthodologistes, souvent énervés par des papiers par forcément 100% satisfaisants publiés dans de grandes revues, et scientifiques qui produisent ces papiers à haute visibilité, que les critiques des méthodologistes qui ne produisent pas les résultats biologiques énervent souvent.
  • Tension plus générale entre les scientifiques qui réussissent bien, même très bien dans le système actuel, de revues à fort impact très sélectives, et scientifiques qui réussissent moins bien dans ce système, et qui jusque récemment avaient peu l’occasion d’exprimer leurs critiques (à-peu-près toujours rejetées par les grands journaux « par manque de place » ou « trop technique »), mais s’expriment de plus en plus dans les blogs et sur les serveurs de preprints du type ArXiv.
  • Tension, enfin, entre la nécessité de parler franchement des problèmes éventuels de méthodes ou de résultats scientifiques, et la nécessité d’avoir un dialogue constructif entre scientifiques. Tension donc entre le fonds (y compris dire que c’est faux quand c’est faux) et la forme (ne pas accuser les collègues de fraude ou de malversations à la légère en public).

Le dernier point a donné lieu à la plus grande discussion, parce que le mot fraude, justement, a été employé. C’est un mot très chargé en science. Accuser quelqu’un de fraude, c’est très grave. Lior a accusé Manolis Kellis de fraude, parce qu’il a modifié une figure après expertise, et parce que des paramètres de la méthode n’étaient pas explicités. (C’est un prof de Berkeley qui accuse un prof du MIT, y a pas de petit joueur ici.)

Ma position sur ce débat, je l’ai donnée en commentaire du troisième billet, ici et ici. En bref, je pense que (1) le débat sur la forme a lieu d’être, et Lior a probablement eu tort d’utiliser le mot fraude, mais que (2) ce débat a été employé pour détourner de ce qui doit rester l’essentiel, à savoir la véracité et l’honnêteté du travail scientfique. Si Lior a raison, alors il a rendu un service important à la communauté. S’il a tort, il faut le montrer, pas juste pousser des cris sur le ton.

Je reiviens sur ce que j’avais écrit après le précédent billet à scandale de Lior :

grâce aux blogs et à Twitter ces gros projets se font sous la supervision de plus en plus proche et réactive d’une communauté qui n’a pas peur de faire connaître ses critiques, et que ces mêmes plateformes permettent aux scientifiques des gros projets de répondre, créant un dialogue constructif. Et ça c’est une très bonne nouvelle pour le progrès de la recherche en biologie et en sciences en général.

Je pense vraiment que la vigilance de personnes telles que Lior, ou « expertise post-publication », peut améliorer la science. Quelque part, ses motivations me challent peu : vengeance, jalousie, passion pure et brulante pour la science ? Si les auteurs et les journaux savent qu’ils courent le risque d’être critiqués sur la place publique en cas d’erreurs ou de manquements graves, tout le monde sera un peu plus prudent, peut-être un peu plus rigoureux, et ce sera pour le mieux. Voir aussi le débat post-publication en cours sur les cellules souches miraculeuses.

(A propos de l’image ci-dessus, je l’ai twittée du coup  à Lior et à Dan Graur, également spécialiste de la critique malpolie :

)

—-

Mise à jour : certains des débateurs opposés s’échangent des tuyaux gentils sur Twitter, c’est pas cool ?

 

 

Cellules souches à l’acide : mauvais trip ?

cliquez sur l'image

cliquez sur l’image

Un billet rapide pour rebondir sur le commentaire de Stephane sur mon billet précédent sur les cellules souches obtenues par traitement à l’acide : il semble d’une part qu’il y ait des doutes sur certaines figures des articles, et d’autre part un effort collectif pour reproduire les résultats n’a pas (encore ?) abouti (blog ipscell).

Il y a un excellent résumé en français de la situation sur l’Agence Sciences Presse.

Je vais juste commenter rapidement par rapport aux deux points que j’avais soulevé dans mon billet précédent.

Par rapport à la prudence des scientifiques : bin apparemment c’était justifié ! Il semble à présent de plus en plus probable que cette technique ne fonctionne pas comme annoncé, au mieux, et pas du tout, au pire. Par contre il faut noter qu’il faut également faire preuve de prudence avant de déclarer que ça ne marche pas. Peu de temps a passé, une des tentatives de réplication sur le blog ipscell lié ci-dessus est codée en vert / positif. Donc prudence des deux cotés, et à suivre.

Par rapport à l’attitude des auteurs qui ont travaillé dur pour montrer qu’ils avaient raison. A ma connaissance, ils n’ont pas encore crié au complot. Leur réaction aux soucis soulevés ces derniers jours (certaines de leurs données manquent également dans les bases de données, Nature a promis de s’en occuper) sera à mon avis très indicative : scientifiques honnêtes comme les physiciens ayant observé par erreur une vitesse supérieure à celle de la lumière, ou complotistes paranoïaques comme Séralini et al ?

Pour le fun, citons un excellent tweet sur cette affaire :

Tout ceci nous rappelle aussi qu’il n’y a qu’un moyen de savoir si un résultat scientifique publié est bon, c’est le test du temps et de la reproduction par la communauté, comme expliqué dans un précédent billet.

A suivre donc.

—-

Mise à jour : Top 10 Oddest Things About The Unfolding STAP Stem Cell Story sur le blog ipscell.

Et l’auteur de ce blog fait un Ask Me Anything sur Reddit.

Notes sur ma semaine en sciences 6

cliquez sur l'image

cliquez sur l’image

  • Joe Felsenstein, le chercheur le plus connu en phylogénie et méthodes d’évolution moléculaire (dans notre petit cercle, je n’hésiterais pas à le qualifier de légende vivante) raconte ses souvenirs d’étudiant à la Marche sur Washington contre la ségrégation raciale, il y a 50 ans.
  • Une étude médicale australienne liste plus de 150 traitements apparemment inutiles, ou en tout cas qui manquent d’évidence qu’ils sont utiles, de « Arthroscopic surgery for knee osteoarthritis » à « Hospitalisation for bed rest in multiple pregnancy ». L’article, la liste de traitements.
  • Liste en cours de construction (n’hésitez pas à contribuer) des journaux scientifiques acceptant des soumissions qui avaient été mises sur ArXiv auparavent.
  • Discussion intéressante sur un blog de bioinformatique concernant la différence entre significativité du test (par ex. p < 1%) et magnitude de l’effet (par ex. 2 fois plus d’expression) dans les contextes des puces à ADN (microarrays) et du RNA-seq.
  • Excellent article de fond sur le riz doré Golden Rice dans le New York Times.
  • J’ai acheté la traduction française du livre « Au pays des Ranacaudas« , qui explique la spéciation et la sélection naturelle aux enfants. Malgrès quelques tournures un peu bizarres dues à la traduction d’un livre pour enfants en vers, gros succès auprès de mon fils de 6 ans. Je recommende.
  • Je suis bête, je m’invente du travail. Ma proposition de cours pour doctorants « Blogging and using Twitter for scientific communication » a été acceptée. Maitenant faut l’organiser. J’ai déjà trouvé ceci et ceci.
  • Un excellent commentaire sur le Golden Rice de la part d’un économiste, Alexander Stein, qui a fait sa thèse sur la question : son blog, sa page professionnelle avec ses publications sur le sujet. Répond aux commentaires du type « qu’ils mangent de la brioche des carottes ». Lire notamment un excellent commentaire de sa part sur la pertinence des investissements dans le Golden Rice par rapport à d’autres investissements possibles. Quand je vois la quantité de travail fait sur ces questions, et quand je lis ce que Greenpeace écrit, je ne peux que conclure qu’ils sont de mauvaise foi.
  • Un papier intéressant (libre d’accès) sur la comparaison des chromosomes sexuels de serpents. Les serpents, comme les oiseaux, ont un système ZZ (mâle) ZW (femelle). Comme ces chromosomes sont plus ou moins différenciés (dans différentes espèces le W est plus ou moins différent du Z), cela permet de tester des hypothèses sur les rôles respectifs de l’abondance de mutations chez les mâles (davantage de divisions cellulaires pour faire un spermatozoide qu’un ovule), de la sélection de gènes spécifiquement avantageux pour un sexe ou l’autre, et de l’absence de recombinaison sur le W.
  • En écrivant mon prochain projet de recherche, j’ai cherché des exemples de phénotypes morphologiques clairement non adaptatifs (des trucs qui se voient et qui ne servent à rien, en gros). Ca n’est pas évident, mais la couleur des organismes vivant très profond dans la mer me paraît un bon candidat. Pas de lumière : la couleur ne peut pas être importante, si ?
  • La 2ème compétition pour savoir quelle méthode bioinformatique marche la mieux pour prédire la fonction des protéines a été lancée. Un problème difficile. J’hésite à entrer cette année ; c’est intéressant mais ça prend du temps d’autres projets. Détails sur le blog de Iddo Friedberg.
  • Mike Eisen, militant acharné pro-Open Access et anti Impact Factor (voir mes billets sur politique de publication), demande dans quels journaux les gens ont publié pour avoir un poste de prof. Malheureusement pour lui, les journaux pas forcément ouverts à haut facteur d’impact semblent dominer. Discussion sur Twitter.
  • Un collègue m’a contacté pour écrire un livre sur les OGM. J’ai décliné, je préfère écrire sur ce blog sur plein de sujets, et avancer ma recherche quand même.
  • Un article de biologie évolutive pas encore publié officiellement, mais mis dans ArXiv (explication dans ce billet), est commenté dans Nature. Je ne sais pas si c’est une première, mais ça montre que les esprits changent. D’ailleurs mon journal préféré, Molecular Biology and Evolution, autorise aussi depuis peu les articles à y être soumis après avoir été déposés dans ArXiv. A propos de l’article lui-même, excellent commentaire sur le blog de John Hawks (avec photo du musée des Eyzies, coucou le Dinoblog).

Notes sur ma semaine en sciences 5

(pas d’image, le wifi de l’hotel est trop lent.)

  • Pierre Barthélémy du blog Passeur de sciences sur Le Monde évite d’habitude de parler d’OGM. Il y a une actualité scientifique intéressante sur le sujet (utilisation d’interférence ARN), il fait un billet, et qu’est-ce qui domine les commentaires ? Des trucs à coté de la plaque sur Monsanto et le bio, des remarques négatives sur le ton de son titre, et des remarques particulièrement constructives sur la photo d’illustration. Faut pas désespérer.
  • Article très intéressant (accès fermé hélas) qui montre un modèle de prédiction très précise de l’expression de gènes de levure en fonction de l’affinité précise (et manipulable expérimentalement) de l’ADN devant le gène (le promoteur) pour des protéines de régulation (facteurs de transcription). N’en déplaise à M. Kupiec.
  • Je passe le gros de la semaine au congrès européen de biologie évolutive ESEB. Il faudrait que j’en fasse un compte-rendu sur ce blog, ça serait pas cool ça ? Mais du coup j’ai peu d’autres nouvelles neuves. Ce qui m’a frappé dans la conférence cette année ? Le pouvoir de la génomique à unir des domaines qui avaient peu en commun, de la génétique moléculaire à l’étude de la spéciation, de l’hybridation et la domestication à l’expression des gènes et l’évolution de la morphologie jusqu’à la sélection naturelle et l’étude de l’impact du changement climatique. Et plein d’études sur les papillons et les épinoches.
  • Un hybride journal / blog sur l’intersection médecine et biologie évolutive : The Evolution & Medicine Review.

Notes sur ma semaine en sciences 4

cliquez sur l'image

cliquez sur l’image

  • Un bilan de 451 additifs alimentaires autorisés aux Etats-Unis entre 1997 et 2012 indique que l’expertise n’a jamais été indépendente, et qu’elle a été faite par un employé de la compagnie concernée dans 22% des cas. Clairement, un système à revoir. Article d’accès libre.
  • J’ai commencé à écrire ma prochaine demande de financement au Fonds national suisse pour la science (je sais, pour un français dire « fonds national » ça sonne bizarre). On peut poser la question de la pertinence de l’écriture de ces projets, sachant que le meilleur prédicteur du succès d’un chercheur est sa productivité passée. Donc en regardant la mienne, on peut raisonablement s’attendre à ce que premièrement je continue à obtenir des résultats et à les publier, deuxièmement ces résultats ne changent pas la face du monde, et troisièmement qu’ils soient quand même utiles et cités par des collègues. Mais cet exercice est quand même important et utile. Cela me force à réfléchir à la cohérence de ce qu’on veut faire, au contexte international, et à convaincre des collègues de la pertinence de nos projets. Je pense que cela vaut le coup.
  • Un compte-rendu intéressant d’analyse de la vigueur hybride dans le maïs cultivé : le fait qu’on obtient de meilleurs rendements en croisant deux souches pures bien choisies qu’en sélectionnant une souche seule (et c’est pourquoi la plupart des paysans rachètent des graines tous les ans, OGM ou pas).
  • Un collègue améliore la productivité du manioc en Colombie grâce aux champignons microscopiques, j’y reviendrais. Communiqué de presse, article libre d’accès.
  • Une nouvelle technique de compression de données spécifique aux génomes humains permet de ternir l’information génomique d’une personne en 2,5 Mb. A noter que cela suppose qu’on ait un génome de référence et qu’on ne code que les différences, donc le point de départ n’est que de 84 Mb, pas 3,2 Gb. C’est quand même 37% de mieux que le record précédent. Article (accès fermé).
  • Un prototype de riz OGM qui fournit un anticorps contre un virus mortel (rotavirus) dans le Tiers Monde (news dans Nature). Mais me direz-vous, y a qu’à les rendre riches au lieu de faire des biotechnologies (y a vraiment un commentaire comme ça hélas). Sérieusement, c’est encore loin de l’application sur le terrain, mais c’est une approche originale et intéressante. Le risque bien sur c’est qu’alors que c’est relativement facile d’adapter un vaccin aux changements d’un virus, un OGM qui produit un anticorps donné risque d’être compliqué à mettre à jour quand le virus va évoluer une résistance.
  • C’est officiel : si vous utilisez Gmail, vous abandonnez toute prétention à avoir une correspondence privée. Comme remarqué par Nicolas Le Novère, cela s’applique à toutes les communications passant par des tiers (en tous cas aux Etats-Unis).
  • Commentaire Slashdot que je trouve intéressant : la carrière de Steve Jobs aurait consisté à rendre réelles les promesses de la « mère de toutes les démos« .
  • Intéressant par rapport au débat sur le libre accès aux publications scientifiques (open access) : alors que certains collègues arguent que le libre accès pose problème dans le Tiers Monde (parce qu’il faut payer pour publier), une université nigérianne a arrété ses abonnements (qui coutent très cher) et se repose presque exclusivement sur le libre accès. Interview dans The Guardian.
  • Un billet de blog de Edzart Ernst, professeur de médecines alternatives, qui explique que sa formation de médecin ne comprenait pas d’apprentissage du pensée critique, et que c’est ses tentatives de comprendre l’homéopathie qui ont formé son esprit critique et son scepticisme.
  • Dan Graur attaque une étude de génomique, et l’auteur répond. Presque comme des grandes personnes. Blog de Graur.
  • Le poster présentant notre base de données Bgee sur l’expression des gènes et l’évolution pour la conférence ESEB (European society for evolutionary biology) est dans FigShare.
  • Ca nous est tous arrivés, mais Rosie Redfield le discute publiquement (comme toute sa science d’ailleurs) : des compétiteurs qui « oublient » de citer votre travail quand ils se basent dessus pour le leur.
  • Un petit ralage sur mon blog anglophone concernant l’abus du terme « dogme » dans les publications scientifiques.
  • Dans un parallèle que je trouve intéressant avec la conclusion de mon billet de lundi sur la génomique des cellules HeLa, un billet de blog qui note que les « Big Data » nous retournent à une vie de village sans vie privée.