
CA COMMENCE PAR QUELQUES TWEETS BIEN CHOISIS
Changement des référentiels et procédure d’évaluation des établissements de la vague C par le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur. Nos propositions d’améliorations de la procédure :
1/ Les établissements (universités, organismes de recherches, etc.) et Hcéres doivent se concerter et s’accorder afin de délimiter les prérogatives et le rôle de chacun lors des évaluations. Les personnels sont lassés d’avoir à gérer des sollicitations, parfois similaires, parfois contradictoires, de l’ensemble de ces acteurs.
2/ Le portfolio pourrait être davantage mis en avant. Conformément à la déclaration de San Francisco (DORA), que l’Hcéres vient de ratifier, ce portfolio pourrait permettre aux équipes de mieux contextualiser sous une forme rédigée leurs activités de formation ou de recherche. Cela pourrait aussi être l’espace dans lequel les équipes montrent les changements qu’elles ont opérés depuis la précédente évaluation.
3/ Le système d’information du Hcéres pourrait être considérablement amélioré. Beaucoup d’indicateurs peuvent être collectés plus ou moins automatiquement. Les équipes gagneraient à pouvoir fournir l’ensemble des données restantes dans une base en ligne ergonomique au fil de l’eau. Ceci permettrait d’éviter une collecte unique dans un tableur en fin d’exercice. Une mise en place d’un retour d’expérience effectif de la communauté d’une année sur l’autre pourrait conduire à l’amélioration continue de la procédure de l’évaluation.Ainsi, les retours du terrain permettraient des évolutions graduelles, répondant davantage à l’ensemble des acteurs.”
Jérôme Giordano sur Twitter @J_Giordan0
Voici ma récolte du 14/01/2022 sur Twitter. Les chercheurs s’expriment. Monsieur Giordano est enseignant chercheur et appartient au laboratoire IUSTI unité mixte de recherche CNRS-Aix Marseille Université (UMR 7343). La nouvelle procédure d’évaluation HCÉRES pour la vague C (2022-2023) prévoit :
Unité
La production scientifique est proportionnée au potentiel de recherche de l’unité et répartie entre ses personnels. La production scientifique de l’unité est répartie de façon équilibrée entre les équipes. En référence au volume de la production scientifique de ses équipes, l’unité explicite les équilibres comme les disparités qu’il donne à voir. La production scientifique de l’unité respecte les principes de l’intégrité scientifique, de l’éthique et de la Science Ouverte. La production scientifique de l’unité résulte d’activités de recherche qui respectent l’ensemble des règles et valeurs garantissant leur caractère honnête et scientifiquement rigoureux. L’unité décrit les moyens mis en œuvre pour obtenir des résultats irréprochables, pour garantir leur traçabilité et, le cas échéant, leur reproductibilité (carnets de laboratoires, logiciels anti-plagiat, procédures de peer-reviewing internes procédures d’archivages des données et des codes sources, etc.). Elle décrit les moyens par lesquels elle accompagne ses personnels dans le choix de supports appropriés de diffusion (pour éviter par exemple les conférences et revues dites « prédatrices ). Pour une juste prise en compte des contributions (en particulier dans les co-signatures). La production scientifique de l’unité est le résultat d’une recherche qui satisfait au respect de la personne humaine et de la vie animale.L’unité définit sa politique en la matière et évalue la mise en œuvre opérationnelle de celle-ci.La production scientifique de l’unité respecte les principes de la Science Ouverte en partageant le plus largement et le plus rapidement possible les publications, méthodes, données, codes et autres éléments constitutifs de la démarche scientifique. L’unité décrit l’intégration des principes définis par le Plan National pour la Science Ouverte dans l’élaboration de sa production scientifique. Elle explicite notamment sa politique en matière de traçabilité, de conservation et d’accessibilité des données de recherche.
Équipe n° XXX (à dupliquer pour chaque équipe)
Référence 1. La production scientifique de l’équipe satisfait à des critères de qualité.
C1. La production scientifique de l’équipe repose sur des fondements théoriques et méthodologiques solides. En référence au portfolio et/ou au fichier Excel « Données de production et d’activités », l’équipe énonce les principes et le niveau d’exigence qu’elle s’assigne pour s’assurer collectivement du caractère irrécusable de ses résultats.
C2. La production scientifique de l’équipe est originale. En référence au portfolio et/ou au fichier Excel « Données de production et d’activités », l’équipe souligne les positionnements tant théoriques que méthodologiques qui singularisent sa production scientifique. Elle décrit notamment les actions entreprises pour soutenir l’émergence de thématiques novatrices, les sujets de recherche à risque et les disciplines rares.
C3. La production scientifique de l’équipe constitue un apport significatif à la connaissance. En référence au portfolio et/ou au fichier Excel « Données de production et d’activités », l’équipe précise les éléments qui, considérés dans leur diversité, caractérisent la teneur de ses contributions scientifiques. Elle identifie notamment les faits scientifiques marquants et leur diffusion dans sa communauté (taux de citations des publications, nombre de téléchargements d’une base de données ou d’un logiciel…).
C4. La production scientifique de l’équipe paraît dans des supports de qualité. L’équipe définit sa politique éditoriale et le niveau d’exigence qu’elle s’assigne pour s’assurer d’une reconnaissance optimale de ses résultats de recherche.
C5. La production scientifique de l’équipe prend la forme de co-publications avec des partenaires du meilleur niveau international. En référence au fichier Excel « Données de production et d’activités », l’équipe précise la teneur des collaborations scientifiques qui président à des co-publications internationales.
Référence 2. La production scientifique est proportionnée au potentiel de recherche de l’équipe et répartie entre ses personnels.
C1. La production scientifique est en adéquation avec le potentiel de recherche de l’équipe. Elle ne sacrifie pas la qualité de la recherche à la quantité. En regard de ses effectifs, l’équipe analyse le volume de sa production et spécifie les règles partagées qui lui permettent de s’assurer de la prééminence de la qualité.
C3. Tous les chercheurs et enseignants-chercheurs permanents contribuent à la production scientifique de l’équipe. L’équipe évalue l’engagement de chaque chercheur et enseignant-chercheur permanent dans l’activité de production scientifique. Elle précise, le cas échéant, la politique d’accompagnement mise en place pour combler le déficit de production.
C4. Tous les doctorants et les post-doctorants participent à la production scientifique de l’équipe. L’équipe souligne la teneur et l’intensité de la production scientifique apportée par ces deux catégories de chercheurs.
Synthèse de l’autoévaluation L’équipe évalue ses forces et faiblesses au regard des références de ce domaine d’évaluation.
LA SCIENCE OUVERTE CRITÉRE CENTRAL D’ÉVALUATION
D’ors et déjà la lecture de ce nouveau référentiel fait état de l’expression Science Ouverte à plusieurs reprises. L’ unité de recherche est évaluée à l’aune de certaines pratiques privilégiées :
- Elle décrit les moyens par lesquels elle accompagne ses personnels dans le choix de supports appropriés de diffusion (pour éviter par exemple les conférences et revues dites « prédatrices )
- Elle explicite sa politique en matière de traçabilité, de conservation et d’accessibilité des données de recherche.
- Elle respecte les principes de l’intégrité scientifique, de l’éthique et de la Science Ouverte.
- Elle respecte l’ensemble des règles et valeurs garantissant leur caractère honnête et scientifiquement rigoureux.
- Elle partage le plus largement et le plus rapidement possible les publications, méthodes, données, codes et autres éléments constitutifs de la démarche scientifique.
- Elle soutient l’émergence de de thématiques novatrice d’étude
- la politique éditoriale choisie par le laboratoire
- L’équipe ne sacrifie pas la qualité de la recherche à la quantité.
- La présence des doctorants et les post-doctorants participant à la production scientifique de l’équipe.
DE NOUVELLES PRATIQUES EN LABORATOIRE
Ces différents critères énoncés impliquent de nouvelles habitudes ou la remise au goût du jour de pratiques anciennes peu ou pas suivies. Le cahier de laboratoire devient un support central dans l’activité du chercheur. Papier ou éléctronique, il devient un outil de traçabilité. Pour certains, il peu paraître désuet. Monsieur Giordano, chercheur, suggère la mise à disposition d’une plateforme nationale de signalement des données de tout type. Recherche.data.gouv.fr sera là en juin. Cette plateforme est justement mise en place par le Ministère de l’Enseignement Supérieur et de la Recherche à cette fin. En pratique, dans les laboratoires de STM, le cahier de laboratoire n’est pas très utilisé. Le chercheur a peu de temps à y consacrer et préfère se consacrer à on sujet d’étude plutôt que de répertorier les données avec lesquelles il travaille. Et pourtant, il va devoir faire évoluer ses pratiques s’il veut que lui et le laboratoire dans lequel il travaille soient évalués à l’aune de critères qualitatifs et plus quantitatifs Il est le premier à se plaindre d’un état de l’évaluation héritier d’un Publish or Perish qui a perdu de vue la qualité du travail universitaire de recherche au profit de chiffres qui ne veulent plus rien dire. Des dérives qui aboutissent à publier toujours plus, à s’auto-citer, à demander aux collègues une citation bien placée dans une revue à Facteur d’Impact important, privilégier les revues bien classées par le Web Of Science pour faire avancer sa carrière. Aujourd’hui et demain, le chercheur va devoir apprendre ce qu’est Sherpa Roméo, ce qu’est une revue prédatrice, une revue en voie diamant, l’usage du Journal Checke Tool pour identifier la meilleure revue, la plus compliante et non plus la plus fameuse, rédiger un data management plan en lien avec son projet de recherche, être attentif aux formats des données avec lesquelles il travaille et au droit d’auteur qui leur est rattaché. Les outils sont là pour l’aider, des professionnels de l’IST en bibliothèque universitaire mais aussi en laboratoire sont compétents pour leur apporter des réponses adaptées aux nouveaux usages. Il les identifie difficilement ou ne sent pas forcément très concerné par ce qu’il identifie comme un travail administratif ou un casse-tête mis progressivement en place par des organismes qui oublient la priorité de son métier : la recherche au profit de la gestion de données. Il va pourtant devoir travailler avec eux car son évaluation va en dépendre. Les chercheurs CNRS le savent bien mais sont récalcitrants , les chercheurs CNU le savent moins mais le sont tout autant. Les premiers doivent déjà déposer le texte intégral de leurs publications sur HAL. Ils le font tout en critiquant l’outil pour eux peu fiable, incomplet, inadapté. Pourtant s’ils rechigent à y déposer leur travail, il ne sera pas visible, pas partagé, pas protégé, pas conservé dans de bonnes conditions et pas pris en compte dans leur évaluation. Du coup, ils diront qu’il s’agit là d’une usine à gaz et ils s’en retourneront à leurs recherches. Mais l’usine à gaz évolue et à l’instar de Researchgate ou Académia, le chercheur est toujours sûr d’y retrouver ses publications. Les réseaux sociaux académiques eux, peuvent disparaître corps et bien, dépendants de pratiques capitalistiques qui n’ont pas grand’chose à voir avec le Bien Commun. L’évaluation du chercheur va très probablement être le déclencheur des nouvelles pratiques. Coalition S le sait. En accélérant la réforme, le consortium oblige les éditeurs à s’aligner sur la Science Ouverte et la publication gratuite du texte intégral. Les accords transformants ne sont pas encore à la hauteur de ce qu’ils devraient être mais si les éditeurs ne s’alignent pas, les chercheurs mèneront le travail sans eux et publieront sur leurs propres plateformes. Que de PCI Community, Sci Post, le Centre Mersenne, Épiscience, OpenÉdition et autres initiatives, émanent directement de chercheurs, soient d’institutions scientifiques, soient de plateformes publiant en accès diamant, sans frais de publications supplémentaires, sans APC exhorbitants. L’Avenir des publications appartient à ces modèles. L’Avenir des publications scientifiques appartient au Web et a des plateformes pour lesquelles le profit n’est pas le nerf de la guerre. Quant à l’évaluation, à l’heure où elle évolue vers de nouveaux usages de donuts Altmétrics en couleurs, Plums Analytics, nombre de téléchargements, nombre de consultations en texte intégral, nombre de vues, ReadMetrics, EzPAARze, EzMesure et autres proxy, qu’elle prenne garde de ne pas basculer d’une science de la mesure ou bibliométrie vers une autre science de la mesure cette fois ci à l’échelle du Web. Le mouvement Stop Tracking Science évoque une recherche qui en a assez d’être “fliquée”.
DES OUTILS POUR MIEUX ÉVALUER LA RECHERCHE
Dora a mis en place une bibliothèque d’outils à disposition des évaluateurs, laboratoires, universités, chercheurs pour une évaluation plus qualitative de la recherche.
Une Coalition d’universités et d’organismes s’est constituée fin 2022 pour une meilleure évaluation de la recherche, fondée sur la qualité des pratiques et des résultats et moins sur la quantité des publications et leur évaluation par des indicateurs chiffrés tel le facteur d’impact pour une revue ou le h. index pour le chercheur. Des sections de travail nationales et différents groupes de travail notamment composés de chercheurs se sont crées pour faire avancer l’évaluation de la recherche dans ce sens

Pour plus d’information, vous pouvez vous référer à l’espace entités évaluées sur le site du HCÉRES, sur lequel vous retrouverez le fichier Excel et le portolio sous forme de trames pour guider le laboratoire dans sa collecte des informations nécessaires à renseigner et à rendre au jury d’évaluation. *Citation Twitter avec l’aimable autorisation de monsieur Giordano. Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 4.0 International
OpenEdition vous propose de citer ce billet de la manière suivante :
Éliane Caillou (17 janvier 2022). Des propositions pour l’évaluation du chercheur. com&doc. Consulté le 22 avril 2025 à l’adresse https://doi.org/10.58079/n16n