J'ai appris il y a peu sur un réseau social professionnel que l'Université de Lorraine avait perdu des places dans le classement de Shangaï. Des collègues en discutent, y voient un indicateur de la dégradation de l'activité de recherche de notre Université, et incriminent directement la politique scientifique de l'Etablissement. Est en particulier discuté le passage de 11.4 à 7.4 d'un indice concernant le nombre d'auteurs les plus cités. La baisse de 35% est soulignée.
Il faut rappeler que la fascination pour le classement de Shangaï a déjà fait beaucoup de mal à l'Université Française, pesant sur les politiques publiques. La saga des regroupements parisiens en est l'expression la plus évidente.
Des indicateurs peuvent être utiles, étant entendu que choisir les indicateurs que l'on regarde, c'est choisir l'Université que l'on veut voir advenir. On peut s'intéresser au bien-être des personnels d'appui, des chercheurs/enseignants-chercheurs, des étudiants et des étudiantes; à leur insertion professionnelle: rien de tout celà dans le classement de Shangaï.
On pourrait aussi discuter de la pertinence des indicateurs de Shangaï pour la qualité de la recherche, mais je ne vais même pas entrer dans ce débat-là.
En réalité, l'attention portée à ce classement montre un attrait pour la mise en compétition, auquel s'ajoute la croyance qu'un indicateur chiffré, quelque soit la manière dont il est construit, dit finalement quelque chose d'universel.
Comme on va le voir, ces inclinations et ces croyances suffisent à mettre en sommeil les capacités d'analyse critique.
Comment est calculé ce HiCi dont les variations sont ici commentées ?
Très grossièrement, les notes, pour chaque indicateur, représentent 100 fois la racine carrée du quotient de la moyenne d'une université sur la moyenne de la meilleure, chaque moyenne étant une moyenne mobile sur une fenêtre de dix ans.
(C'est la formule (1) dans cet article : https://pmc.ncbi.nlm.nih.gov/articles/PMC13243049/ )
Déjà la définition devrait nous alerter: on voit bien que le choix du ratio au meilleur (et pas à la moyenne des universités par exemple), montre que l'Hici entend classer, et non permettre de à chaque université de se jauger individuellement.
Maintenant, il faut considérer deux hypothèses: soit le score brut du meilleur varie beaucoup, auquel cas les variations de ce ratio pour une université ne disent rien de ce qui lui arrive, soit il est stable, et on peut grossièrement assimiler l'Hici à la note brute. Faisons donc cette hypothèse.
Par construction, et par intention, un score obtenu par une moyenne mobile doit être peu sensible aux variations d'une année.
De ce fait, comparer les notes de deux années consécutives d'une même université pour porter un jugement sur sa politique scientifique n'a guère de sens. Les fluctuations entre deux années ne peuvent être qu'assez faibles.
Pourtant, les chiffres disent bien quelque chose, mais qui ne va pas du tout dans le sens qu'indiquent les premiers commentaires que l'on lit. Si une quantité observée un 2025 fluctue de 35% par rapport à une quantité observée en 2024, on doit bien se dire, que soit le phénomène est très volatil, soit qu'il se passe quelque chose. Mais si la quantité est une moyenne (ou un somme) sur une fenêtre mobile, alors là c'est la fiabilité des données qui doit être questionnée.
Pour ne pas alourdir le message, je ne donne pas le détail des calculs, mais pour observer une baisse de 35%, il faudrait simultanément que les points gagnés l'année 2015 (et donc perdus dans le classement 2026) représentent plus de la moitié des points gagnés entre 2015 et 2024, même dans le cas où on n'aurait marqué aucun point en 2025.
C'est tout simplement absurde, et la méthode scientifique devrait naturellement amener à soulever l'hypothèse d'un problème de fiabilité des données.
Or, justement, cette hypothèse de données erronées apparaît clairement dans le compte-rendu d'un entretien donné par la présidente de l'Université de Lorraine à un journal local (on peut le retrouver dans la revue de presse). Rien n'oblige à prendre les paroles de la présidente pour argent comptant, mais les écarter d'un revers de main témoigne de la puissance du biais de confirmation, dont chacun devrait se méfier.
L'usage des données numériques dans le débat public est un enjeu très important; dans ce domaine, nous devons rechercher l'exemplarité.
Je sais d'avance que mon message combat une croyance très forte "un chiffre, ça veut bien dire quelque chose", mais être capable de poser ces avertissements-là, d'exiger une prise de recul dans l'usage des données chiffrées, ça fait partie du travail des universitaires.
(Ce message a d'abord été publié sur la liste de discussion d'Expression Libre de l'Université de Lorraine).