5 octobre 2018

"Academic Grievance Studies", un canular qui désinforme

Depuis quelques jours, un sujet agite le monde de la pensée critique. À l'origine de ces débats, un article publié le 2 octobre 2018 dans le magazine Areo.  

En bref.

– Des chercheurs ont rédigé, sur une période de plusieurs mois, de faux articles de sciences sociales (plus précisément du champ des études culturelles), qu'ils ont ensuite soumis à différentes revues.

– Les articles étaient relativement soignés sur la forme, mais délirants sur le fond. Certains faisaient état de statistiques étranges (l'examen de l'anus de pas moins de plusieurs milliers chiens dans les parcs de l'Ohio) ou aberrantes. D'autres développaient des théories particulièrement douteuses ou faisaient usage d'un vocabulaire complètement inadapté à la publication scientifique.

– L'ensemble des articles se voulait généralement ancré dans une pensée, ou une supposée idéologie postmoderne.

– Sur 20 articles, 4 ont été publiés, 3 ont été acceptés, 6 ont été définitivement rejetés. Les 7 autres ont reçu des demandes de révision, ou n'ont pas été examinés avant la fin de l'expérience.

Ce que l'article ne démontre pas.

En France, l'article n'a pas tardé à être relayé par de nombreux intellectuels médiatiques : Raphaël Enthoven, le Debunker des étoiles, la Tronche en biais. Tous n'ont pas évoqué explicitement les conclusions qu'ils tiraient du canular.

Deux points, repris par les auteurs de l'article lui-même, ressortent néanmoins des analyses et commentaires :

1. Le champ des études culturelles ne serait pas un domaine scientifique rigoureux.

Les faits paraissent accablants. Sur 20 articles écrits pour être absurde, que 7 soient acceptés est une réalité effrayante. C'est effrayant pour les études culturelles, c'est effrayant pour la science. Mais la peur n'est pas une métrique. L'article ne donne aucun élément pour évaluer si les études culturelles font ou non exception parmi les autres champs de la science.

Combien d'articles absurdes auraient été acceptés en Histoire, en biologie, en physique ? On s'attend à un plus petit nombre. Ce serait rassurant. Malheureusement, nombreux sont les événements qui démontrent que la vacuité des relectures existe, même dans les sciences supposément les plus rigoureuses.

En 2005, des étudiants écrivent un programme qui génère des articles scientifiques sur une base aléatoire : SCIgen. L'algorithme produit un contenu sans aucune cohérence. En 2014, ce sont pas moins de 120 articles qui sont retirés des catalogues des prestigieux éditeurs Springer et IEEE. En cause ? Ils avaient tous été générés par SCIgen. Plus étrange encore, en 2014 toujours, un article contenant uniquement la phrase « Get Me Off Your Fucking Mailing List » a été validé (et même noté excellent) par une conférence d'informatique.

Des articles générés aléatoirement, ou constitués d'une seule phrase répétées sur plusieurs pages, peuvent être acceptés. Alors est-il surprenant que des articles dont le fond se veut stupide – mais qui n'en sont pas moins rédigés, avec une certaine rigueur de forme, par des humains – puissent être eux aussi validés ? Pas vraiment.

Est-ce qu'en conséquence, les études culturelles sont un champ de recherche moins rigoureux que les autres ? Mystère. Ce canular ne donne absolument aucune information à ce sujet.

2. Le champ des études culturelles est fortement soumis à une idéologie postmoderne.

Il est facile de penser que le caractère postmoderne des articles proposés facilite leur admission. C'est presque un des postulats de base du canular. Pourtant, la méthodologie ne traite pas non-plus cette question.

En clair, tous les articles rédigés le sont avec pour même objectif de correspondre à la supposée idéologie. Cela ne permet donc pas de déduire son impact – ou son absence d'impact d'ailleurs. Pour ça, il aurait fallu un groupe témoin : des articles tout aussi idiots, mais sans contenu prétendument idéologique… ou même des articles rédigés en partant d'une philosophie contraire.

En l'état, on ne peut donc rien dire non-plus sur l'influence de l'idéologie postmoderne sur les études culturelles. Rien du tout.

Pourquoi ce canular désinforme.

Les deux interprétations développées ci-dessus ne peuvent donc être rigoureusement soutenues sur la base de cette expérience. Les questions de la particularité des études culturelles, de l'influence sur elles de la postmodernité, la méthode ne permet absolument pas d'en parler. Ce qui ne signifie pas que ces hypothèses sont fausses, mais qu'elles ne sont pas traitées. Zéro. Rien. Et pourtant…

Pourtant, les auteurs, eux, sont formels, la démonstration est faite. En introduction, les présupposés sont établis – en conclusion, les présupposés sont validés. Comment expliquer qu'ils n'aient pas remarqués les failles béantes de leur méthodologie ? Paradoxalement, en flirtant sur les deux écueils qu'ils entendent dénoncer : le manque de rigueur d'une part, et de l'autre, leur propre idéologie, et le biais de confirmation lui étant lié. Possiblement les deux.

En choisissant un domaine de recherche qui parle de la société – et qui souvent la dérange, les auteurs s'attendaient très certainement à ce que leur canular allait engendrer. Ils savaient qu'en faisant ce choix, les questions ne se poseraient pas sur la fiabilité de la science en général. Ils savaient qu'elles déborderaient sur la légitimité des sciences sociales, sur la politique. Pourtant, ils ont volontairement orientés leurs propos vers des conclusions sans rapport avec leur expérience.

C'est pour cela que cet article relève de la désinformation, de la tromperie. Parce qu'il leurrera le lecteur naïf, rapide, biaisé. Parce qu'il est taillé pour être relayé massivement par des idéologues qui y trouveront leur compte.

Ce qu'on peut quand même en retenir.

Il montre que des articles absurdes peuvent être publiés dans des revues prestigieuses. Quelque-chose qu'en définitive, on savait déjà ; et c'est grave. Le monde de la recherche souffre à l'évidence de maux liés à la façon dont les chercheurs sont évalués (au nombre et à l'impact de leurs publications). Mais enfin. Les polémiques actuelles, et – on peut le gager – celles qui suivront, se tiennent et se tiendront terriblement éloignées de ces questions.