Des propositions pour l’évaluation du chercheur


CA COMMENCE PAR QUELQUES TWEETS BIEN CHOISIS

Changement des référentiels et procédure d’évaluation des établissements de la vague C par le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur. Nos propositions d’améliorations de la procédure :

1/ Les établissements (universités, organismes de recherches, etc.) et Hcéres doivent se concerter et s’accorder afin de délimiter les prérogatives et le rôle de chacun lors des évaluations. Les personnels sont lassés d’avoir à gérer des sollicitations, parfois similaires, parfois contradictoires, de l’ensemble de ces acteurs.

2/ Le portfolio pourrait être davantage mis en avant. Conformément à la déclaration de San Francisco (DORA), que l’Hcéres vient de ratifier, ce portfolio pourrait permettre aux équipes de mieux contextualiser sous une forme rédigée leurs activités de formation ou de recherche. Cela pourrait aussi être l’espace dans lequel les équipes montrent les changements qu’elles ont opérés depuis la précédente évaluation.

3/ Le système d’information du Hcéres pourrait être considérablement amélioré. Beaucoup d’indicateurs peuvent être collectés plus ou moins automatiquement. Les équipes gagneraient à pouvoir fournir l’ensemble des données restantes dans une base en ligne ergonomique au fil de l’eau. Ceci permettrait d’éviter une collecte unique dans un tableur en fin d’exercice. Une mise en place d’un retour d’expérience effectif de la communauté d’une année sur l’autre pourrait conduire à l’amélioration continue de la procédure de l’évaluation.Ainsi, les retours du terrain permettraient des évolutions graduelles, répondant davantage à l’ensemble des acteurs.”

Jérôme Giordano sur Twitter @J_Giordan0

Voici ma récolte du 14/01/2022 sur Twitter. Les chercheurs s’expriment. Monsieur Giordano est enseignant chercheur et appartient au laboratoire IUSTI unité mixte de recherche CNRS-Aix Marseille Université (UMR 7343). La nouvelle procédure d’évaluation HCÉRES pour la vague C (2022-2023) prévoit :

Unité

La production scientifique est proportionnée au potentiel de recherche de l’unité et répartie entre ses personnels. La production scientifique de l’unité est répartie de façon équilibrée entre les équipes. En référence au volume de la production scientifique de ses équipes, l’unité explicite les équilibres comme les disparités qu’il donne à voir. La production scientifique de l’unité respecte les principes de l’intégrité scientifique, de l’éthique et de la Science Ouverte. La production scientifique de l’unité résulte d’activités de recherche qui respectent l’ensemble des règles et valeurs garantissant leur caractère honnête et scientifiquement rigoureux. L’unité décrit les moyens mis en œuvre pour obtenir des résultats irréprochables, pour garantir leur traçabilité et, le cas échéant, leur reproductibilité (carnets de laboratoires, logiciels anti-plagiat, procédures de peer-reviewing internes procédures d’archivages des données et des codes sources, etc.). Elle décrit les moyens par lesquels elle accompagne ses personnels dans le choix de supports appropriés de diffusion (pour éviter par exemple les conférences et revues dites « prédatrices ). Pour une juste prise en compte des contributions (en particulier dans les co-signatures). La production scientifique de l’unité est le résultat d’une recherche qui satisfait au respect de la personne humaine et de la vie animale.L’unité définit sa politique en la matière et évalue la mise en œuvre opérationnelle de celle-ci.La production scientifique de l’unité respecte les principes de la Science Ouverte en partageant le plus largement et le plus rapidement possible les publications, méthodes, données, codes et autres éléments constitutifs de la démarche scientifique. L’unité décrit l’intégration des principes définis par le Plan National pour la Science Ouverte dans l’élaboration de sa production scientifique. Elle explicite notamment sa politique en matière de traçabilité, de conservation et d’accessibilité des données de recherche.

Équipe n° XXX (à dupliquer pour chaque équipe)

Référence 1. La production scientifique de l’équipe satisfait à des critères de qualité.

C1. La production scientifique de l’équipe repose sur des fondements théoriques et méthodologiques solides. En référence au portfolio et/ou au fichier Excel « Données de production et d’activités », l’équipe énonce les principes et le niveau d’exigence qu’elle s’assigne pour s’assurer collectivement du caractère irrécusable de ses résultats.

C2. La production scientifique de l’équipe est originale. En référence au portfolio et/ou au fichier Excel « Données de production et d’activités », l’équipe souligne les positionnements tant théoriques que méthodologiques qui singularisent sa production scientifique. Elle décrit notamment les actions entreprises pour soutenir l’émergence de thématiques novatrices, les sujets de recherche à risque et les disciplines rares.

C3. La production scientifique de l’équipe constitue un apport significatif à la connaissance. En référence au portfolio et/ou au fichier Excel « Données de production et d’activités », l’équipe précise les éléments qui, considérés dans leur diversité, caractérisent la teneur de ses contributions scientifiques. Elle identifie notamment les faits scientifiques marquants et leur diffusion dans sa communauté (taux de citations des publications, nombre de téléchargements d’une base de données ou d’un logiciel…).

C4. La production scientifique de l’équipe paraît dans des supports de qualité. L’équipe définit sa politique éditoriale et le niveau d’exigence qu’elle s’assigne pour s’assurer d’une reconnaissance optimale de ses résultats de recherche.

C5. La production scientifique de l’équipe prend la forme de co-publications avec des partenaires du meilleur niveau international. En référence au fichier Excel « Données de production et d’activités », l’équipe précise la teneur des collaborations scientifiques qui président à des co-publications internationales.

Référence 2. La production scientifique est proportionnée au potentiel de recherche de l’équipe et répartie entre ses personnels.

C1. La production scientifique est en adéquation avec le potentiel de recherche de l’équipe. Elle ne sacrifie pas la qualité de la recherche à la quantité. En regard de ses effectifs, l’équipe analyse le volume de sa production et spécifie les règles partagées qui lui permettent de s’assurer de la prééminence de la qualité.

C3. Tous les chercheurs et enseignants-chercheurs permanents contribuent à la production scientifique de l’équipe. L’équipe évalue l’engagement de chaque chercheur et enseignant-chercheur permanent dans l’activité de production scientifique. Elle précise, le cas échéant, la politique d’accompagnement mise en place pour combler le déficit de production.

C4. Tous les doctorants et les post-doctorants participent à la production scientifique de l’équipe. L’équipe souligne la teneur et l’intensité de la production scientifique apportée par ces deux catégories de chercheurs.

Synthèse de l’autoévaluation L’équipe évalue ses forces et faiblesses au regard des références de ce domaine d’évaluation.

LA SCIENCE OUVERTE CRITÉRE CENTRAL D’ÉVALUATION

D’ors et déjà la lecture de ce nouveau référentiel fait état de l’expression Science Ouverte à plusieurs reprises. L’ unité de recherche est évaluée à l’aune de certaines pratiques privilégiées :

  • Elle décrit les moyens par lesquels elle accompagne ses personnels dans le choix de supports appropriés de diffusion (pour éviter par exemple les conférences et revues dites « prédatrices )
  • Elle explicite sa politique en matière de traçabilité, de conservation et d’accessibilité des données de recherche.
  • Elle respecte les principes de l’intégrité scientifique, de l’éthique et de la Science Ouverte.
  • Elle respecte l’ensemble des règles et valeurs garantissant leur caractère honnête et scientifiquement rigoureux.
  • Elle partage le plus largement et le plus rapidement possible les publications, méthodes, données, codes et autres éléments constitutifs de la démarche scientifique.
  • Elle soutient l’émergence de de thématiques novatrice d’étude
  • la politique éditoriale choisie par le laboratoire
  • L’équipe ne sacrifie pas la qualité de la recherche à la quantité.
  • La présence des doctorants et les post-doctorants participant à la production scientifique de l’équipe.

DE NOUVELLES PRATIQUES EN LABORATOIRE

Ces différents critères énoncés impliquent de nouvelles habitudes ou la remise au goût du jour de pratiques anciennes peu ou pas suivies. Le cahier de laboratoire devient un support central dans l’activité du chercheur. Papier ou éléctronique, il devient un outil de traçabilité. Pour certains, il peu paraître désuet. Monsieur Giordano, chercheur, suggère la mise à disposition d’une plateforme nationale de signalement des données de tout type. Recherche.data.gouv.fr sera là en juin. Cette plateforme est justement mise en place par le Ministère de l’Enseignement Supérieur et de la Recherche à cette fin. En pratique, dans les laboratoires de STM, le cahier de laboratoire n’est pas très utilisé. Le chercheur a peu de temps à y consacrer et préfère se consacrer à on sujet d’étude plutôt que de répertorier les données avec lesquelles il travaille. Et pourtant, il va devoir faire évoluer ses pratiques s’il veut que lui et le laboratoire dans lequel il travaille soient évalués à l’aune de critères qualitatifs et plus quantitatifs Il est le premier à se plaindre d’un état de l’évaluation héritier d’un Publish or Perish qui a perdu de vue la qualité du travail universitaire de recherche au profit de chiffres qui ne veulent plus rien dire. Des dérives qui aboutissent à publier toujours plus, à s’auto-citer, à demander aux collègues une citation bien placée dans une revue à Facteur d’Impact important, privilégier les revues bien classées par le Web Of Science pour faire avancer sa carrière. Aujourd’hui et demain, le chercheur va devoir apprendre ce qu’est Sherpa Roméo, ce qu’est une revue prédatrice, une revue en voie diamant, l’usage du Journal Checke Tool pour identifier la meilleure revue, la plus compliante et non plus la plus fameuse, rédiger un data management plan en lien avec son projet de recherche, être attentif aux formats des données avec lesquelles il travaille et au droit d’auteur qui leur est rattaché. Les outils sont là pour l’aider, des professionnels de l’IST en bibliothèque universitaire mais aussi en laboratoire sont compétents pour leur apporter des réponses adaptées aux nouveaux usages. Il les identifie difficilement ou ne sent pas forcément très concerné par ce qu’il identifie comme un travail administratif ou un casse-tête mis progressivement en place par des organismes qui oublient la priorité de son métier : la recherche au profit de la gestion de données. Il va pourtant devoir travailler avec eux car son évaluation va en dépendre. Les chercheurs CNRS le savent bien mais sont récalcitrants , les chercheurs CNU le savent moins mais le sont tout autant. Les premiers doivent déjà déposer le texte intégral de leurs publications sur HAL. Ils le font tout en critiquant l’outil pour eux peu fiable, incomplet, inadapté. Pourtant s’ils rechigent à y déposer leur travail, il ne sera pas visible, pas partagé, pas protégé, pas conservé dans de bonnes conditions et pas pris en compte dans leur évaluation. Du coup, ils diront qu’il s’agit là d’une usine à gaz et ils s’en retourneront à leurs recherches. Mais l’usine à gaz évolue et à l’instar de Researchgate ou Académia, le chercheur est toujours sûr d’y retrouver ses publications. Les réseaux sociaux académiques eux, peuvent disparaître corps et bien, dépendants de pratiques capitalistiques qui n’ont pas grand’chose à voir avec le Bien Commun. L’évaluation du chercheur va très probablement être le déclencheur des nouvelles pratiques. Coalition S le sait. En accélérant la réforme, le consortium oblige les éditeurs à s’aligner sur la Science Ouverte et la publication gratuite du texte intégral. Les accords transformants ne sont pas encore à la hauteur de ce qu’ils devraient être mais si les éditeurs ne s’alignent pas, les chercheurs mèneront le travail sans eux et publieront sur leurs propres plateformes. Que de PCI Community, Sci Post, le Centre Mersenne, Épiscience, OpenÉdition et autres initiatives, émanent directement de chercheurs, soient d’institutions scientifiques, soient de plateformes publiant en accès diamant, sans frais de publications supplémentaires, sans APC exhorbitants. L’Avenir des publications appartient à ces modèles. L’Avenir des publications scientifiques appartient au Web et a des plateformes pour lesquelles le profit n’est pas le nerf de la guerre. Quant à l’évaluation, à l’heure où elle évolue vers de nouveaux usages de donuts Altmétrics en couleurs, Plums Analytics, nombre de téléchargements, nombre de consultations en texte intégral, nombre de vues, ReadMetrics, EzPAARze, EzMesure et autres proxy, qu’elle prenne garde de ne pas basculer d’une science de la mesure ou bibliométrie vers une autre science de la mesure cette fois ci à l’échelle du Web. Le mouvement Stop Tracking Science évoque une recherche qui en a assez d’être “fliquée”.

DES OUTILS POUR MIEUX ÉVALUER LA RECHERCHE

Dora a mis en place une bibliothèque d’outils à disposition des évaluateurs, laboratoires, universités, chercheurs pour une évaluation plus qualitative de la recherche.

COARA

Une Coalition d’universités et d’organismes s’est constituée fin 2022 pour une meilleure évaluation de la recherche, fondée sur la qualité des pratiques et des résultats et moins sur la quantité des publications et leur évaluation par des indicateurs chiffrés tel le facteur d’impact pour une revue ou le h. index pour le chercheur. Des sections de travail nationales et différents groupes de travail notamment composés de chercheurs se sont crées pour faire avancer l’évaluation de la recherche dans ce sens


Pour plus d’information, vous pouvez vous référer à l’espace entités évaluées sur le site du HCÉRES, sur lequel vous retrouverez le fichier Excel et le portolio sous forme de trames pour guider le laboratoire dans sa collecte des informations nécessaires à renseigner et à rendre au jury d’évaluation. *Citation Twitter avec l’aimable autorisation de monsieur Giordano. Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 4.0 International

L’Évaluation des chercheurs : vague C (2022-2023)

INTRODUCTION

Après un temps d’arrêt pour passer le concours de BIBAS classe exceptionnelle, je suis de retour sur ce blog d’Hypothèses qui me fait l’honneur de me publier avec ISSN s’il vous plaît. Je remercie au passage l’équipe d’Hypothèses qui a répertorié mon blog dans ses tablettes. Je n’ai pas toujours le temps de bien signaler mes sources conformément au droit d’auteur mais je vais m’y atteler .  

Ce mois-ci annonce une nouvelle année : 2022. Nouvelle année, nouvelles pratiques pour les chercheurs, nouvelle évaluation de la recherche. Que de nouveau ! Étant désormais dans un laboratoire qui fait partie d’un Labex avec une autre entité de recherche ,  je me devais de suivre les évolutions de l’évaluation en rapport avec la Science Ouverte. Le HCÉRES n’a pas arrêté de se réformer en 2020 et 2021 avec de nouvelles équipes, un nouveau chef et un travail pour une nouvelle évaluation de la recherche en France.

LE RÉFÉRENTIEL

Les points 3 et 4 insistent sur la pratique de la Science Ouverte et l’importance de la vulgarisation dans les activités du chercheur :

  • 3. Production scientifique
  • 4. Inscription des activités de recherche dans la société

Dans le tableau de production des données, Il est aussi désormais question de prendre en compte :

  1. La participation spécifique des doctorants ainsi que leur position dans une publication collaborative.
  2.  Les DOI des publications citées
  3. Un portfolio à remplir en texte libre.

Ces points demandés sont visibles dans l’espace “entités évaluées”.  On y retrouve les documents à déposer et télécharger pour l’évaluation :

Les slides 17 et 18 du support de présentation du document de travail de Pascale Solon, Université d’Orléans-Tours, reprennent ces points et le fichier Excel à télécharger pose pour sa part quelques problèmes aux professionnels de l’IST qui doivent rendre leurs copies pour les chefs d’unités

COMMENT RÉCUPÉRER LES DONNÉES CONCERNANT LES DOCTORANTS ?

Les outils disponibles actuellement tels OCDHAL ou EXTRHAL ne prennent pas encore en compte ces éléments. Les professionnels dans les labos vont devoir faire des extraction de données par API donc savoir les manipuler. Sils ne savent pas, il restera la bonne vieille méthode de récupération des listes en csv sur HAL avec le listing chercheurs du labo concerné. En attendant, la compétence de manipulation des données et de prise en main des API de HAL semble urgente pour tout professionnel de l’IST. Nous ne dominons pas tous le sujet. L’ENSSIB va devoir réformer son cursus de conservateurs pour les former à la manipulation des données avec une post-formation plus longue pour permettre aux sortants de répondre aux demandes de plus en plus pointues concernant les données. Celle-ci est de 18 mois. A voir la suite. Le métier de bibliothécaire dans l’IST est dans train de muter vers des profils de développeurs que le monde des bibliothèques appelle pompeusement data scientists mais que le monde de l’informatique connaît déjà depuis fort longtemps. La naissance du web a vu leur développement : des programmeurs, des développeurs, bref des pros de la donnée. On n’est plus dans l’UNIMARC Ce monde est terminé. Le web de données et la loi pour une République Numérique ont fait rentrer l’univers des bibliothèques universitaires dans le 21e siècle des données de la Recherche et du Web 3.0. RDA avait préfiguré les changements annoncés mais l’intégration des SCD dans les universités avec la loi LRU ont bousculé ces établissements qui doivent se mettre au diapason des nouveaux services de soutien à la recherche ainsi que des compétences nécessaires qui les accompagnent. Le dernier rapport de la Cour des Comptes concernant le métier est édifiant. L’acculturation des chercheurs s’accompagne d’une acculturation des bibliothécaires. A nous désormais de raccrocher les wagons. La lumière est peut-être au bout.

libre de droits

Licence Creative Commons
cc-by-nc
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search