Sur le peer-review
*Je reprends ici une suite de post que j’avais faite sur mon ancien compte Mastodon. Je me suis dit que quitte à avoir un site, autant mettre ce genre de réflexion plus longue dessus.
Un truc dont on parle souvent dans le scepticisme/l’esprit critique quand il s’agit de singer les sciences, c’est le processus de peer-review (revue par les pairs en anglais). Et je trouve qu’on passe trop vite dessus. Un Tommy Lee Thread que je doublerai sur Twitter le temps de migrer tranquille ici.

Oui j’aime bien Tommy Lee Jones.
Pour celleux qui l’ignorent, dans la plupart des disciplines scientifiques, quand on veut publier son travail, on peut l’envoyer à un/des éditeur·s sous forme d’article, chapitre ou livre. Et eux l’envoient à des collègues pour leur demander leur avis. C’est le peer-review.

La revue par les pairs, une allégorie.
Le choix desdits collègues est un peu compliqué, avant c’était le rôle de l’éditeur, mais les disciplines et les sujets sont tellement spécialisés qu’ils demandent des shortlists aux auteurs maintenant. En général, ils peuvent avoir un avis sur le sujet des articles quand même.

J’aime beaucoup ce film mais il faut admettre qu’il est très con.
Quand un reviewer donne son retour il peut en général se passer 3 choses:
- Article accepté ou avec légères modifs -> Jackpot
- “PTDR C’est quoi cette merde pour laquelle j’ai perdu mon temps” -> Same player try again ailleurs
- “Pas mal mais…” + liste de remarques. -> 😑

Quand il faut constructivement expliquer que l’article est nul à chier.
Évidemment c’est ce 3em cas qui m’intéresse ici. C’est le moment où en tant qu’auteur on sert les fesses pour pas faire de la merde. Parce que si la réponse convient pas aux reviewers, on retombe dans le cas 2. et c’est tintin pour publier dans le format/journal visé.

Non. Les pots-de-vins sont exclus du processus… en général.
Et il faut comprendre que le processus de peer-review est ultra long et pénible pour tout le monde mais quasi-incontournable. Donc si on peut éviter de faire entre 2 et 4 aller-retours pour un même manuscript, tout le monde y gagne, parfois même avec un refus.

L’enthousiasme est de mise.
La forme que peut prendre un rapport varie selon les disciplines et les reviewers. J’ai surtout vu le plan standard:
- Résumé du contenu pour l’éditeur
- Appréciation générale
- Liste de points qui taclent au genoux sans ménagement
- Avis sur la publication: Oui, Non, Merde.

Les plus vieilles crapules sont les pires.
Et la liste de points elle peut être bien longue, un reviewer est déjà monté à 50 pour un de mes article de 15 pages. Et c’était petite forme. Le jeu alors consiste à alors à prendre les points un par un et de répondre de manière satisfaisante. Alors comment on fait ça?

Lecture de review, une allégorie.
Et bien en premier on lit le rapport et on va direct se faire une infusion parce qu’on est super vénère de se faire critiquer son travail SI IMPORTANT ET NÉCESSAIRE.
Ensuite on attend quelque jours et on relit le rapport. Et on essaie de comprendre où il veut en venir.

Moi en train de me parler à moi-même en lisant une review un peu trop sévère.
En général on a essayé d’être clair et complet en écrivant donc le premier réflexe c’est de se dire que le reviewer est con (surtout le second). Mais en principe on a quelqu’un en face qui a pris le temps de lire et essayer de comprendre ce qu’on a écrit.
Donc faut faire pareil.

Il faut être parmi les gens smarts. Après tout, c’est un processus de gentlemen.
Ça implique de relire son texte puis comprendre l’origine et les raisons de la remarque afin de déterminer si
- Elle est pertinente
- Elle est constructive
- On est d’accord avec.
Et là seulement il va falloir réfléchir à l’art et la manière de répondre.

On part quand même du principe que ce qu’on a fait est pas trop mauvais quand même…
Donc en général on signale les modifications qu’on fait dans le texte et on dit merci si on est d’accord, et sinon on explique pourquoi on l’est pas (totalement) avec de bons arguments.
Oui parce qu’on pas dire “PTDR non. Tg en fait”, le but c’est de justifier ses choix.

Et ouais, Tommy Lee Jones a joué dans Small Soldiers.
On peut aussi couper la poire en deux. L’exemple typique1 étant “On a ajouté un paragraphe au sujet de X parce que la remarque est pertinente mais elle sort du cadre de notre travail. On espère que ça vous suffira.”

Oui parce que des fois, ce que dit le reviewer, on s’en fout un peu.
Au final le peer-review est un processus de coulisse où a aussi lieu une partie des discussions scientifiques loin du public (que ça ennuierait en fait). Mais c’est pour ça que j’aime bien le format des “Faraday Discussions” ou on peut lire les fions polis entre collègues.
Le truc à retenir, en plus de la carrière trop méconnue en France de Tommy Lee Jones, c’est que la prise en compte des retours, c’est un processus actif. Ça s’apprend, c’est pas inné.
Et des fois on se plante, des fois on a de la chance. Ça dépend de plein d’autres trucs. Et si les rapporteurs ont l’impression qu’on se fout de leur gueule ou si les réponses c’est “vu et s’en tape”, bah ils vont se dire que c’est un comportement de merde et probablement se faire la même opinion sur le boulot présenté.
Toute ressemblance blah blah blah serait fortuite.

On va pas se mentir, des fois les échanges sont cordiaux mais sulfureux. Parfois ils ne sont même pas cordiaux.
Si on devait vulgariser quelque chose sur le peer-review, AMHA, c’est que c’est un processus d’argumentation autant que d’examination des résultats scientifiques: on défend pas seulement son travail, mais aussi la manière dont on veut le présenter et tourner la discussion.

Expliquer à des vieux qu’on dépoussière leur travail est parfois compliqué.
Malheureusement c’est, selon moi, un peu trop souvent mis sous le tapis. On se contente de dire “Le peer-review c’est des collègues qui relisent et qui disent que c’est ok pour être publié.” En pratique c’est plus compliqué (et j’ai qu’effleuré la surface).

Dépression et prise de tête. Story of my life.
Et, j’en reviens au scepticisme et à la vénération de la Science(tm), j’aimerais aussi qu’on se concentre à vulgariser ces aspects importants de la discussion scientifique au lieu que de se limiter à du “Gneu gneu les papiers disent ça” ou “On a fait la sciOnce avec les maths”.

Quand je croise un zététicien et que je dois rester sérieux.
Voilà c’est tout pour moi. N’oubliez pas que Tommy Lee Jones c’est pas que Men in Black mais aussi No Country for Old Men, Le Fugitif et Trois Enterrements. En plus je suis triste que Claude Giraud soit mort (à Clermont-Ferrand) parce que c’était un de mes doubleurs préférés.

Et voilà c’est fini.
P.S.: J’aime bien Batman Forever aussi mais c’est pas un bon film, je sais.
“Essayez un pompier, ça se déshabille plus vite.” Val Kilmer dans Batman forever
-
Il ne faut pas en abuser. ↩︎