Sciences Po CSO/CNRS CNRS

L’évaluation par les pairs, quelles limites ? par Jérôme Aust

ANNEXE DE DOSSIER
Édité le 7 Octobre 2016




Jérôme Aust revient sur la place occupée par la revue par les pairs dans l’ouvrage de Pierre Cahuc et d’André Zylberberg. Tout en soulignant que cette pratique est centrale dans la validation des connaissances scientifiques, il rappelle que les critères et les pratiques qui permettent de sélectionner les articles scientifiques varient d’une discipline à l’autre, voire d’une sous discipline à l’autre.




« En s’appuyant sur [la revue par les pairs], il devient possible de discriminer les connaissances scientifiques des autres : les propositions qui passent ce filtre exigeant sont alors jugées robustes »


Quel est le statut de la revue par les pairs dans le livre de Cahuc et Zylberberg ?



La revue par les pairs est une des clefs de voute de l’argumentaire développé par Pierre Cahuc et André Zylberberg. Ce dispositif, qui consiste à soumettre toute proposition d’article à un examen rigoureux réalisé par des scientifiques spécialistes du sujet, joue pour les deux auteurs un rôle de délimitation crucial. En s’appuyant sur elle, il devient possible de discriminer les connaissances scientifiques des autres : les propositions qui passent ce filtre exigeant sont alors jugées robustes et suffisamment intéressantes pour être publiées dans des revues qui font autorité dans un champ disciplinaire. Dans le livre, celles et ceux qui critiquent la revue par les pairs sont rejetés du côté des prises de position idéologiques et partisanes. C’est le sort réservé aux économistes hétérodoxes, relégués aux côtés des climatosceptiques et des marchands de tabac, à une entreprise de dénigrement du savoir scientifique – au singulier.

L’appui des deux auteurs sur la revue par les pairs est habile. Difficile d’abord de trouver un chercheur ou un enseignant chercheur qui conteste toute efficacité et toute légitimité à la revue par les pairs, pierre angulaire de l’organisation des disciplines scientifiques – et pas uniquement en science expérimentale. Si elle n’a pas existé de tout temps et si ses conditions d’utilisation varient selon les périodes historiques, la revue par les pairs est, en effet, un dispositif efficace pour contrôler la validité de connaissances particulièrement ésotériques et spécialisées, ce qui demande un haut niveau de formation préalable et un investissement continu dans des activités de recherche. Difficile ensuite de conduire cette critique de la revue par les pairs sans se retrouver rangé, par les deux auteurs, aux côtés des climatosceptiques, des marchands de tabacs (et des économistes hétérodoxes) dans le dénigrement du savoir scientifique. La critique est d’autant plus difficile que les deux auteurs ne méconnaissent pas certaines limites de la revue par les pairs (p. 187-189). Les pairs, y compris ceux qui sont sollicités par les plus grandes revues, peuvent se faire abuser par des manipulations de données ; ces mêmes pairs ne sont, par ailleurs, pas toujours vertueux et peuvent favoriser, à dessein, des travaux peu robustes, mais qui leur sont proches. Les articles acceptés par les comités de lecture ne proposent enfin pas la vérité définitive sur un sujet, mais plutôt une photographie, révisable et contestable, de ce que l’on sait sur une question (p. 186).


Quelles critiques peut-on formuler de leur analyse de la revue par les pairs ?

Il est intéressant, pour soumettre cet argumentaire à la critique, de s’appuyer sur des travaux de sociologie des sciences, tous devenus des classiques. L’argumentaire des deux auteurs suppose que deux conditions soient réunies : d’une part, que les controverses scientifiques soient tranchées par les preuves incontestables produites par l’approche expérimentale ; d’autre part, que les pairs, quand ils sont vertueux, se comportent comme des examinateurs, froids et insensibles, de la validité et de la robustesse des résultats. Il n’est pas certain que ces deux conditions soient systématiquement réunies, loin s’en faut. Les données de l’expérience ne viennent d’abord que rarement trancher à elles seules des controverses (Knorr Cettina, 1996) ; les normes et les pratiques qui permettent leur interprétation varient sensiblement d’une discipline à l’autre, voire d’une sous-discipline à l’autre, y compris dans les sciences expérimentales. Ensuite, les pairs qui révisent les articles, y compris les plus vertueux, ont une propension à valoriser les articles dont la démarche et la méthodologie leur sont proches (Travis, Collins, 1991) : ils sont conformes à leurs routines, mais aussi à la représentation qu’ils se font de la bonne science. Autrement dit, un comité de lecture, vertueux mais composé de membres d’orientation disciplinaire ou théorique homogène, peut rejeter un article qui aurait (peut-être) fait autorité dans un comité d’une orientation différente, y compris dans les sciences expérimentales. Ce n’est pas être relativiste que de le dire – les articles scientifiques sont bien, à chaque fois, soumis à des protocoles de recueil des données, à une démarche rigoureuse qui vise à comprendre le réel et à la revue par les pairs –, c’est simplement reconnaître la pluralité des pratiques scientifiques. Au pluriel cette fois.

Ce que les économistes hétérodoxes critiquent, c’est moins la revue par les pairs en tant que telle qu’une certaine pratique de cette revue, qui a cours dans les revues d’économie orthodoxes, qu’ils jugent leur être défavorables. Leur projet vise à demander la constitution d’instances d’évaluation distinctes de l’approche orthodoxe, où une revue par les pairs qui reconnaisse comme légitimes leurs standards puisse s’exercer. Sans conteste, ils se livrent bien là à un travail politique qui vise à convaincre les pouvoirs publics de la légitimité de leur demande. Le travail de Cahuc et Zylberberg ne l’est cependant pas moins : tout en s’adossant à la démarche expérimentale, ils cherchent à rejeter les demandes de leurs opposants dans le champ du non scientifique. Tout comme les appels des hétérodoxes, leur livre peut aussi être lu comme un travail sur les frontières qui opposent souvent les scientifiques à leurs adversaires (Gieryn, 1981), mais aussi les scientifiques entre eux et qui visent à imposer une certaine délimitation des pratiques scientifiques légitimes. L’envisager ainsi, ce n’est pas forcément s’engager dans une entreprise de sape de la légitimité scientifique. C’est plus sûrement adopter une vision moins sacralisée, mais peut-être plus réaliste, des dynamiques qui travaillent le monde académique.



Pour aller plus loin :


  • Gieryn T. (1983), « Boundary Work and the Demarcation of Science from Non-Science: Strains and Interest in Professional Ideologies of Scientists », American Sociological Review, vol. 48 n°6, pp.781-795.
  • Knorr Cetina K. (1996), « Le "souci de soi" ou les "tâtonnements" : ethnographie de l'empirie dans deux disciplines scientifiques », Sociologie du travail, vol. 38, n°3, pp.311-330.
  • Travis, G. D. L., Collins, H. M. (1991), « New Light on Old Boys : Cognitive and Institutional Particularism in the Peer Review System », Science, Technology & Human Values, vol. 16, n°3, pp. 322-341.




Crédit photo : ©Maksim Kabakou/Shutterstock


>> Revenir au sommaire du dossier





INFOS CHERCHEUR(S)



Jérôme AUST