Évaluer la Recherche

L’Évaluation est d’actualité avec OSEC22 qui vient d’avoir lieu le 5 et 6 février 2022. En attente de la publication des débats en ligne j’ai lu le rapport 2022 ISE Centrality of Researchers in Reforming Research Assesment, ce que mon google traduction a traduit par :  “Centralité des chercheurs dans la réforme de l’évaluation de la recherche : Pistes pour améliorer la recherche en alignant les récompenses sur les pratiques de la science ouverte”. La science ouverte bouge beaucoup avec la présidence du Conseil de l’Union Européenne par la République Française. Il faut dire que ca bouge aussi beaucoup dans certains laboratoires et organisations représentatives des chercheurs. Pour preuve, l’article du Monde du mardi 11 janvier 2022 intitulé  La bureaucratie nuit gravement à la Recherche.


Il y est question de la nouvelle évaluation Hcéres  Les chercheurs se plaignent de manquer de temps pour s’en occuper ont peu de personnels administratifs pour s’en charger dans un contexte d’économies drastiques. Ils réclament une simplification de la nouvelle procédure d’évaluation. Dans ce même sens, la publication suivante :  Le Hcéres doit simplifier la procédure d’évaluation des unités de recherche de la vague C, communiqué ADL CP-CNU, CoNRS du 21 février 2022. Les chercheurs demandent le retour des visites du Hcéres sur site alors que celles-ci ont été supprimées pour les sites évalués lors de la vague C (2023-2023) ainsi qu’une suppression drastique du nombre d’indicateurs demandés. La nouvelle procédure d’évaluation prend en compte une partie de leurs demandes en introduisant la rédaction d’un portfolio en texte libre concernant leur unité de recherche. Ils doivent aussi indiquer la position des doctorants dans les publications. Ces derniers sont avant tout l’avenir de la Science Ouverte car ils sont en priorité formés en école doctorale sur les nouvelles pratiques en SO. Il est normal qu’ils apparaissent sur les nouveaux rapports. Etant eux-mêmes formés, ils formeront les chercheurs de demain.

Dans ce contexte, l’on peut néanmoins déplorer qu’il ne soit jamais fait mention dans aucun des deux textes sus-cités des formations ou sensibilisations des chercheurs à la science ouverte. Il est fait mention des personnels administratifs, qui en laboratoire, gèrent le plus souvent les publications des chercheurs en les déposant à leur place sur archive ouverte. Mais avec la Science Ouverte, il ne s’agit plus simplement de déposer des publications en accès ouvert mais aussi de choisir des revues qui respectent les bonne pratiques : privilégier l’open access diamant ou doré avec APC en voie de transformation,  respecter les prérogatives de Coalition S avec le dépôt du postprint ou du pdf éditeur sur une archive ouverte,  connaitre les Créatives Commons, les licences libres et les droits d’auteur liés à la diffusion du texte intégral de leurs articles, savoir utiliser la base Sherpa / Roméo pour vérifier la politique éditoriale de la revue dans laquelle ils veulent publier,  aller sur le JCT pour vérifier si la revue choisie pour leur publication est bien en accord avec les bonnes pratiques,  éviter les éditeurs prédateurs, privilégier des revues de qualité sans faire du Facteur d’Impact un élément essentiel de leur choix, s’impliquer dans des formations ou des communications sur le libre accès etc. La liste n’est bien sûr pas exhaustive.

Il ne s’agit pas seulement de rentrer des données dans une archive ouverte ou de fournir des statistiques sous forme de tableurs avec les quartiles, les facteur d’impact et h-Index de chaque chercheur. La bibliométrie a fait son temps et elle doit intelligemment et progressivement laisser la place à une évaluation de qualité.

Quand on a dit ca, on comprend que l’administratif ou gestionnaire de données du laboratoire ne va plus être le pilier des données. Le chercheur va devoir s’impliquer, se former, apprendre à connaître de nouveaux outils pour les utiliser à bon escient dans son travail de publication. Il se constituera alors un profil d’ouverture caractérisant son attitude face la Science Ouverte. On comprend alors mieux ce rejet. Le manque de temps pour pouvoir exercer cette nouvelle activité est un élément important à prendre en compte. Le chercheur voyage, communique sur son travail, écrit, publie, enseigne. Mais s’il veut bénéficier d”une meilleure évaluation, mieux centrée sur le contenu, il doit collaborer avec la Science Ouverte, la connaître et la pratiquer. Elle est son alliée et n’a pas été inventée par des “bureaucrates” qui ne connaissent rien à la Science et à ses pratiques. Pour arriver à une meilleure compréhension et collaboration entre tous les professionnels concernés, de nombreux rapports existent. Certains sont très concrêts. Nous avons repris les points les plus importants de trois d’entre eux dont les références exactes sont en note.

PREMIÈRE ÉTUDE

PRINCIPES ESSENTIELS DE LA RÉFORME DE L’ÉVALUATION DE LA RECHERCHE¹

  •  Impliquer les chercheurs dans toutes les décisions concernant les modifications de l’évaluation de la recherche
  •  Mettre fin à l’utilisation de métriques inappropriées
  •  S’accorder sur les moyens appropriés d’évaluer la recherche et les chercheurs. Établir un équilibre approprié entre l’évaluation qualitative et quantitative pour différentes disciplines et dans différents contextes d’évaluation. Évaluez quels paramètres ou indicateurs, le cas échéant, sont adaptés à quels contextes.
  •  Reconnaître que la réforme de l’évaluation nécessite des ressources humaines et financières
@elianecaillou

DÉFINIR LA POLITIQUE LES CHERCHEURS

  •  Les chercheurs pourraient donner la priorité aux sites dotés de solides politiques de science ouverte
  •  Les chercheurs pourraient plaider stratégiquement pour l’adoption de pratiques spécifiques de la science ouverte dans le cadre de la conception, de la conduite et du partage de bonnes recherches
  •  Les chercheurs établis pourraient modéliser les bonnes pratiques et soutenir leurs stagiaires, chercheurs postdoctoraux et autres personnels
  •  Les sociétés savantes pourraient sensibiliser leurs membres aux avantages de la science ouverte et transmettre les points de vue de leurs communautés aux décideurs
  •  Les chercheurs faisant partie de comités d’évaluation de l’embauche, de la promotion ou du financement pourraient dénoncer l’utilisation inappropriée des mesures.
libre de droits

LES BAILLEURS DE FONDS

  •  Les bailleurs de fonds pourraient fournir un ensemble de critères spécifiques au domaine, y compris les pratiques de la science ouverte, qui devraient être pris en compte dans le processus d’évaluation.
  •  Les bailleurs de fonds pourraient former les examinateurs des propositions de subventions à l’évaluation de la science ouverte.
  •  Les bailleurs de fonds pourraient explicitement récompenser les pratiques de la science ouverte dans le cadre de la normalisation de leur utilisation dans la recherche.
  •  Les gouvernements qui financent les institutions de recherche en fonction des résultats de la recherche pourraient cesser d’utiliser des tableaux de classement biaisés et subjectifs et d’autres mesures inappropriées pour allouer les fonds.
libre de droits

LES ORGANISMES OFFICIELS

  •  Les gouvernements fournissant un soutien financier aux instituts de recherche pourraient inclure des récompenses pour l’utilisation des pratiques de la science ouverte au niveau institutionnel.
  •  Les établissements pourraient établir des politiques d’embauche et de promotion qui évaluent la recherche selon ses propres mérites.
  •  Les institutions qui décernent des doctorats pourraient inciter les doctorants à pratiquer la science ouverte
  • Les institutions pourraient explicitement récompenser les pratiques de science ouverte en coordination les unes avec les autres.
libre de droits

LES ÉDITEURS

  •  Les éditeurs pourraient élaborer des politiques pour soutenir les pratiques de la science ouverte.
  •  Les éditeurs pourraient former les comités de rédaction et le personnel des revues aux pratiques de la science ouverte.
  •  Les éditeurs pourraient proposer des options pour l’examen ouvert par les pairs et d’autres pratiques
  •  Les éditeurs pourraient aider à développer des outils pour mettre en évidence avec précision les contributions à la recherche, à la fois pour les articles de revues et plus généralement.
  •  Les éditeurs pourraient adhérer aux normes Open Science pour être indexés dans Open Research Central.
libre de droits

CADRES D’INDICATEURS DE CONNAISSANCES OUVERTES

Un cadre d’indicateurs favorisant la science ouverte devrait se concentrer sur les pratiques de connaissances ouvertes plutôt que sur les résultats. Une suite d’indicateurs choisis par un cadrage explicite des pratiques attendues dans une discipline ou une communauté spécifique.

  • Objectif du suivi/évaluation
  • Mission de recherche.
  • Niveau d’évaluation façon de fournir une vue d’ensemble du portefeuille du chercheur.
  • Structures disciplinaires, cultures épistémiques et approches de recherche.
  • Parties prenantes, publics et bénéficiaires.
  • Environnement de recherche.

BOÎTES À OUTILS D’INDICATEURS POUR LA SCIENCE OUVERTE

  •  Indicateurs d’infrastructure orientés vers le système scientifique au niveau national, niveaux internationaux et disciplinaire.
  •  Indicateurs des capacités de connaissance ouvertes dans les communautés de recherche.
  •  Indicateurs de pratiques pionnières en matière de connaissances ouvertes.
  • Indicateurs de niveau individuel pour les carrières.
Libre de droits

LES INDICATEURS² 

Indicateurtypologie
Nbre de non-académiques Ouverture aux non-académiques
Nb de conférence non-acad Ouverture aux non-académiques
Nb de jours passés à l’extérieur Ouverture aux non-académiques
Nb d’étudiants en alternanceOuverture aux non-académiques
Nb des publications avec comité de lecture rédigées avec des non-académiqueOuverture aux non-académiques
Nb  d’invitations à des comités consultatifs d’organismes non universitairesOuverture aux non-académiques
Accessibilité des données ouvertesAccessibilité des données
Nombre de bailleurs de fonds OAAdoption du libre accès
% OA | ScopusAdoption du libre accès
% OA | WoSAdoption du libre accès
P GoldOA | ScopusAdoption du libre accès
P Vert OA | ScopusAdoption du libre accès
Nr. Revues OAAdoption du libre accès
Nombre d’équipes de recherche utilisant  référentiels OAAdoption du libre accès
% de chercheurs utilisant des référentiels OAAdoption du libre accès
ETP investis dans les référentiels OA dans le laboratoireAdoption du libre accès
Nb d’archives de prépublicationAdoption du libre accès
Bailleurs de fonds OAAdoption du libre accès
Nb  Revues avec politiques OAAdoption du libre accès
% de projets financés intégrant des coûts de compilation, de publication et de maintenance des données Adoption du libre accès
Nombre de services de réseaux sociaux utilisés (ResearchGate; Academic.edu)Collaboration scientifique
Participation des chercheurs aux services de réseaux sociaux Collaboration scientifique
Nb de recommandation sociale services en sciences (PubPeer, Publons, etc,)communication scientifique
Nombre de fois où le chercheur est mentionné dans les journaux en raison de ses recherches Communication scientifique
Nombre de publications non évaluées par des pairs (hors livres et chapitres de livres)Communication scientifique
Nb utilisateurs Zotero dans le laboratoireCommunication scientifique
Nb mentions dans les blogsVisibilité sur les réseaux sociaux
Nb publications mentionnées dans les tweetsVisibilité sur les réseaux sociaux
% de publications mentionnées dans les tweetsVisibilité sur les réseaux sociaux
% de chercheurs du labo ayant un compte sur les réseaux sociauxVisibilité sur les réseaux sociaux
Nombre de tweets vers une publication donnée contenant des commentaires, des hashtags ou des remarques des utilisateursVisibilité sur les réseaux sociaux
Nombre de tweets vers une publication donnée avec un certain degré d’engagementVisibilité sur les réseaux sociaux
Nombre de tweeters retweetant la publicationVisibilité sur les réseaux sociaux
Nb de tweets appartenant à différents domaines scientifiquesVisibilité sur les réseaux sociaux
Nombre de tweets vers des publications d’utilisateurs de médias sociaux de différents paysVisibilité sur les réseaux sociaux
Nb de participants du labo aux réseaux sociauxVisibilité sur les réseaux sociaux
% de chercheurs actifs sur les réseauxVisibilité sur les réseaux sociaux
La disponibilité (à long terme) des données garantie ? (disponibilité d’un plan de pérennisation, oui/non)conservation des données
% de données/métadonnées lisibles par machineusage des données
Enseigner la science ouverteEnseignement
Nb formations OA pour les chercheurs dans le laboratoireformations
Littératie scientifiqueculture de la SO
% de chercheurs prenant des mesures pour gérer leurs données de recherchegestion des données
Financement (national) Infrastructure scientifique ouverteInfrastructure
Nb d’API gestion des données
Nouvelles formes d’évaluation par les pairsNouvelles formes d’examen par les pairs
Partage de donnéespratique de la SO
Nombre de référentiels de données ouvertespratique de la SO
pratique des données FAIRpratique de la SO
% de chercheurs qui partagent des donnéespratique de la SO
% Publications avec donnéespratique de la SO
% de chercheurs ayant partagé les données de leur dernier projetpratique de la SO
Utilisation des données ouvertespratique de la SO
Examen des demandes de subvention pratique de la SO
Part du budget du labo pour l’OApratique de la SO
Nombre de laboratoires bénéficiant d’un financement pour la mise en œuvre de la science ouverte pratique de la SO
Nb de publications dans Openairepratique de la SO
Nb Hybrid OA Publicationspratique de la SO
Élaboration de curriculumpratique de la SO
Effort requis pour rendre les données aptes au partagepratique de la SO
Politique de métriques responsables pratique de la SO
% de revues avec une politique de code ouvertPartage des pratiques de code
Nb de citations de logicielsPartage des pratiques de code
Nb projets de code dans ZenodoPartage des pratiques de code
Nb logiciels déposés sous licence approuvée par l’OSIPartage des pratiques de code
Nombre de projets de code avec DOIPartage des pratiques de code
Nombre de projets dans Open Hardware Sharing hardwarePartage des pratiques de code
Qualité des métadonnées (versioning, volume, format des données, description des champs, etc.)Qualité des métadonnées
Nb de laboratoires récompensés en OA Récompenses de la science ouverte
Répartition disciplinaire des archives  de pré-publicationsrépartition disciplinaire des prépublications
Nombre d’utilisateurs sites de reproductibilitéreproductibilité
% de recherche abordant les problèmes identifiés par les citoyensSciences citoyennes
Nb articles co-écrits avec des acteurs de la société civileSciences citoyennes
Nombre de projets de science citoyenneSciences citoyennes
Nb projets dans Zooniverse et ScistarterSciences citoyennes
Nombre de sites de science citoyenneSciences citoyennes
Nb de laboratoires avec collaboration citoyensSciences citoyennes
Nb événements organisés et organisés pour le grand publicSciences citoyennes
Nombre d’apparitions d’universitaires à la télévision ou à la radio régionale, nationale ou internationaleSciences citoyennes
% de chercheurs impliqués en science citoyenneSciences citoyennes
Nombre de sites de données CC-0Sites de données CC-0
Durée moyenne des embargos pour OA (en mois)Transition vers OA dans l’édition
Nombre d’éditeurs avec examen transparent par les pairsTransparence dans l’examen par les pairs
Ouverture sur la contributionTransparence sur la paternité 
Publication du co-auteurTransparence sur la paternité 
Services de données présent à l’université ou au labopratique de la SO
Nombre de publications pouvant être suivies par les différentes sources altmétriques (par exemple avec un DOI)usage des Altmétriques
Libre de droits

DEUXIÈME ÉTUDE :

CRITÈRES D’ÉVALUATION DU CHERCHEUR OPEN SCIENCE

Autre exemple d’évaluation open science, Bernard Rentier, a repris la CAM : Career Assessment Matrix et propose ci-dessous, un tableau d’évaluation du chercheur selon les pratiques de science ouverte. Il l’a aussi abordé dans Science ouverte, le défi de la transparence³  p. 36 à 39.

ACTIVITÉS DE RECHERCHE

  • Repousser les limites de la science ouverte comme sujet de recherche.
  • Publication dans des revues en libre accès.
  • Auto-archivage dans les référentiels en libre accès.
  • Ensembles de données et résultats de recherche.
  • Utilisation des principes de données FAIR.
  • Adopter des normes de qualité dans la gestion des données ouverte.

Jeux de données

  • Utiliser les données ouvertes d’autres chercheurs.

Open source

  • Utilisation de logiciels open source et d’autres outils ouverts.
  • Développer de nouveaux logiciels et outils ouverts aux autres utilisateurs.

Financement

  • Obtenir du financement pour des activités scientifiques ouvertes.

PROCESSUS DE RECHERCHE

Partie prenante

  • engagement / citoyen.

Science

  • Impliquer activement la société et les utilisateurs de la recherche dans le processus de recherche.
  • Partager les résultats provisoires de la recherche avec les parties prenantes via plates-formes (par exemple Arxiv, Figshare).
  • Impliquer les parties prenantes dans les processus d’examen par les pairs.

Collaboration et Interdisciplinarité

  • Élargir la participation à la recherche grâce à une collaboration ouverte.

Projets

  • S’engager dans la science d’équipe grâce à diverses équipes  interdisciplinaires

Intégrité de la recherche

  • Surveillance, être attentif aux plagiats, suivi d’un cahier de laboratoire sur l’avancée du sujet de recherche en cours.
  • Cahier mis à jour régulièrement et contresigné par le directeur de l’unité de Recherche.
  • Consciente des enjeux éthiques et juridiques liés au partage de données, confidentialité, attribution et impact environnemental de la science ouverte.

Activités

  • Reconnaissant pleinement la contribution des autres aux projets de recherche, y compris collaborateurs, co-auteurs, citoyens, fournisseurs de données ouvertes.

Gestion des risques

  • Prise en compte des risques liés à la science ouverte.

SERVICE ET LEADERSHIP

Leadership

  • Développer une vision et une stratégie sur la façon d’intégrer les pratiques de la pratique normale de la recherche.
  • Piloter les politiques et les pratiques en science ouverte.
  • Être un modèle dans la pratique de la science ouverte.

Niveau académique

Développer un profil international ou national pour la science ouverte.

Activités

  • Contribuer en tant que rédacteur ou conseiller pour des revues ou organismes scientifiques ouverts.

Examen par les pairs

  • Contribuer à ouvrir les processus d’examen par les pairs.
  • Examiner ou évaluer la recherche ouverte.

Réseautage

Participer à des réseaux nationaux et internationaux relatifs à l’ouverture de la science.

IMPACT DE RECHERCHE

Communication et Dissémination

  • Participer aux activités d’engagement du public.
  • Partager les résultats de la recherche grâce à une diffusion non académique.

Canaux

  • Traduire la recherche dans une langue adaptée au public.

Propriété intellectuelle (brevets, licences)

  • Connaissance des questions juridiques et éthiques relatives aux DPI.
  • Transférer la propriété intellectuelle à l’économie au sens large.

Impact sociétal

  • Preuve d’utilisation de la recherche par les groupes sociétaux.
  • Reconnaissance des groupes sociétaux ou des activités sociétales.

Échange de connaissances

  • S’engager dans l’innovation ouverte avec des partenaires au-delà du milieu universitaire.

ENSEIGNEMENT ET SUPERVISION

Enseignement

  • Former d’autres chercheurs aux principes et méthodes de la science ouverte.
  • Encourager au dépôt en archive ouverte : méthodes, curricula et programmes : y compris la gestion des données scientifiques ouvertes.
  • Élever les consciences à la compréhension dans de la science ouverte  dans les  programmes de premier cycle et de maîtrise.

Le mentorat

  • Mentorer et encourager les autres à développer leur pratiques en   science ouverte.
  • De bonne heure étape encourager  les chercheurs a adopter une stratégie de dépôt en acces ouvert .

EXPÉRIENCE PROFESSIONNELLE

En continu

Investir dans son propre développement professionnel pour construire une science ouverte professionnelle

Gestion des projets

Réalisation réussie de projets scientifiques ouverts impliquant divers équipes de recherche.

Qualités personnelles

Démontrer les qualités personnelles pour engager la société et la recherche.

Utilisateurs avec la science ouverte

  • Montrer de la flexibilité et de la persévérance pour répondre aux défis de de la science ouverte

TROISIÈME ÉTUDE :

LE PROFIL D’OUVERTURE DE KNOWLEDGE EXCHANGE

Le dernier exemple d’évaluation est peut-être le plus intéressant. Il suggère un PO, profil d’ouverture du chercheur accolé à on ORCID qui évalue sa pratique de la science ouverte


Depuis 2017 et 2018, dates auxquelles ont été publiées ces suggestions pour une nouvelle évaluation du chercheur, des structures officielles ont fait leur apparition et le dernier baromètre de la Science Ouverte nous indique que le dépôt en archive ouverte est en constante progression. Nous sommes aujourd’hui à 68% d’accès ouvert en 2022. Mais si l’on veut faire de l’accès ouvert une réussite totale, à l’image de l’imprimerie au 16e qui fut à l’origine d’ une très large diffusion du Savoir, étendue à une démocratisation et un accès à tous à la connaissance, il est nécessaire que les chercheurs se placent au premier rang des personnels impliqués. Et pour celà, ils doivent comprendre que la Science Ouverte n’est pas là pour les ennuyer mais l’outil qui leur apportera l’indépendance et la liberté vis-à-vis d’éditeurs scientifiques qui exploitent le Savoir pour garantir et pérenniser leur monopole capitalistique. Ils en seront récompensés par des Prix, des avancées de carrière et une diffusion des découvertes beaucoup plus rapides grâce à des collaborations favorisées, ainsi qu’un profil ouvert clairement défini.


Notes

¹ In ISE Centrality for researchers in reforming research assesment  / Toma Susi • Monica Heinz • Eva Hnatkova • Wolfram Koch • Maria Leptin • Martin Andler, rapport 2022 en ligne ouvrir la science (traduction) 

² In Idicator framework for forstering ope knowledge practices in science and scholarship / European Commission. Written by Paul Wouters, Ismael Rafols, Alice Oancea, Shina Caroline Lynn Kamerlin, J. Britt. Holbrook and Merle Jacob, July 2019

 ³ Science ouverte, le défi de la transparence, Préface de Philippe Busquin, publié par L’ Académie Royale de Belgique, Collection L’Académie en poche, Volume 114, Sous la responsabilité académique de Didier Viviers, © 2018, Académie royale de Belgique, ISBN 978-2-8031-0659-2, Dépôt légal : 2018/0092/

Profil d’ouverture : Modélisation de l’évaluation de la recherche pour l’érudition ouverte in Knowledge-Exchange. Info, 31 mars 2021.

Le 5 et 6 février 2022 ont eu lieu à Paris les journées européennes de la science ouverte. A cette occasion, les spécialistes de l’évaluation scientifiques étaient réuni et on échangé sur le sujet. Plusieurs universités dont l’université d’Utrecht ou l’université ouverte de catalogne ont modifié en profondeur leur façon dévaluer la recherche. Vous pouvez retrouver les vidéos des interventions en ligne sur canal U

 

 

 

 


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search