L’Évaluation est d’actualité avec OSEC22 qui vient d’avoir lieu le 5 et 6 février 2022. En attente de la publication des débats en ligne j’ai lu le rapport 2022 ISE Centrality of Researchers in Reforming Research Assesment, ce que mon google traduction a traduit par : “Centralité des chercheurs dans la réforme de l’évaluation de la recherche : Pistes pour améliorer la recherche en alignant les récompenses sur les pratiques de la science ouverte”. La science ouverte bouge beaucoup avec la présidence du Conseil de l’Union Européenne par la République Française. Il faut dire que ca bouge aussi beaucoup dans certains laboratoires et organisations représentatives des chercheurs. Pour preuve, l’article du Monde du mardi 11 janvier 2022 intitulé La bureaucratie nuit gravement à la Recherche.
Il y est question de la nouvelle évaluation Hcéres Les chercheurs se plaignent de manquer de temps pour s’en occuper ont peu de personnels administratifs pour s’en charger dans un contexte d’économies drastiques. Ils réclament une simplification de la nouvelle procédure d’évaluation. Dans ce même sens, la publication suivante : Le Hcéres doit simplifier la procédure d’évaluation des unités de recherche de la vague C, communiqué ADL CP-CNU, CoNRS du 21 février 2022. Les chercheurs demandent le retour des visites du Hcéres sur site alors que celles-ci ont été supprimées pour les sites évalués lors de la vague C (2023-2023) ainsi qu’une suppression drastique du nombre d’indicateurs demandés. La nouvelle procédure d’évaluation prend en compte une partie de leurs demandes en introduisant la rédaction d’un portfolio en texte libre concernant leur unité de recherche. Ils doivent aussi indiquer la position des doctorants dans les publications. Ces derniers sont avant tout l’avenir de la Science Ouverte car ils sont en priorité formés en école doctorale sur les nouvelles pratiques en SO. Il est normal qu’ils apparaissent sur les nouveaux rapports. Etant eux-mêmes formés, ils formeront les chercheurs de demain.
Dans ce contexte, l’on peut néanmoins déplorer qu’il ne soit jamais fait mention dans aucun des deux textes sus-cités des formations ou sensibilisations des chercheurs à la science ouverte. Il est fait mention des personnels administratifs, qui en laboratoire, gèrent le plus souvent les publications des chercheurs en les déposant à leur place sur archive ouverte. Mais avec la Science Ouverte, il ne s’agit plus simplement de déposer des publications en accès ouvert mais aussi de choisir des revues qui respectent les bonne pratiques : privilégier l’open access diamant ou doré avec APC en voie de transformation, respecter les prérogatives de Coalition S avec le dépôt du postprint ou du pdf éditeur sur une archive ouverte, connaitre les Créatives Commons, les licences libres et les droits d’auteur liés à la diffusion du texte intégral de leurs articles, savoir utiliser la base Sherpa / Roméo pour vérifier la politique éditoriale de la revue dans laquelle ils veulent publier, aller sur le JCT pour vérifier si la revue choisie pour leur publication est bien en accord avec les bonnes pratiques, éviter les éditeurs prédateurs, privilégier des revues de qualité sans faire du Facteur d’Impact un élément essentiel de leur choix, s’impliquer dans des formations ou des communications sur le libre accès etc. La liste n’est bien sûr pas exhaustive.
Il ne s’agit pas seulement de rentrer des données dans une archive ouverte ou de fournir des statistiques sous forme de tableurs avec les quartiles, les facteur d’impact et h-Index de chaque chercheur. La bibliométrie a fait son temps et elle doit intelligemment et progressivement laisser la place à une évaluation de qualité.
Quand on a dit ca, on comprend que l’administratif ou gestionnaire de données du laboratoire ne va plus être le pilier des données. Le chercheur va devoir s’impliquer, se former, apprendre à connaître de nouveaux outils pour les utiliser à bon escient dans son travail de publication. Il se constituera alors un profil d’ouverture caractérisant son attitude face la Science Ouverte. On comprend alors mieux ce rejet. Le manque de temps pour pouvoir exercer cette nouvelle activité est un élément important à prendre en compte. Le chercheur voyage, communique sur son travail, écrit, publie, enseigne. Mais s’il veut bénéficier d”une meilleure évaluation, mieux centrée sur le contenu, il doit collaborer avec la Science Ouverte, la connaître et la pratiquer. Elle est son alliée et n’a pas été inventée par des “bureaucrates” qui ne connaissent rien à la Science et à ses pratiques. Pour arriver à une meilleure compréhension et collaboration entre tous les professionnels concernés, de nombreux rapports existent. Certains sont très concrêts. Nous avons repris les points les plus importants de trois d’entre eux dont les références exactes sont en note.
PREMIÈRE ÉTUDE
PRINCIPES ESSENTIELS DE LA RÉFORME DE L’ÉVALUATION DE LA RECHERCHE¹
- Impliquer les chercheurs dans toutes les décisions concernant les modifications de l’évaluation de la recherche
- Mettre fin à l’utilisation de métriques inappropriées
- S’accorder sur les moyens appropriés d’évaluer la recherche et les chercheurs. Établir un équilibre approprié entre l’évaluation qualitative et quantitative pour différentes disciplines et dans différents contextes d’évaluation. Évaluez quels paramètres ou indicateurs, le cas échéant, sont adaptés à quels contextes.
- Reconnaître que la réforme de l’évaluation nécessite des ressources humaines et financières

DÉFINIR LA POLITIQUE LES CHERCHEURS
- Les chercheurs pourraient donner la priorité aux sites dotés de solides politiques de science ouverte
- Les chercheurs pourraient plaider stratégiquement pour l’adoption de pratiques spécifiques de la science ouverte dans le cadre de la conception, de la conduite et du partage de bonnes recherches
- Les chercheurs établis pourraient modéliser les bonnes pratiques et soutenir leurs stagiaires, chercheurs postdoctoraux et autres personnels
- Les sociétés savantes pourraient sensibiliser leurs membres aux avantages de la science ouverte et transmettre les points de vue de leurs communautés aux décideurs
- Les chercheurs faisant partie de comités d’évaluation de l’embauche, de la promotion ou du financement pourraient dénoncer l’utilisation inappropriée des mesures.

LES BAILLEURS DE FONDS
- Les bailleurs de fonds pourraient fournir un ensemble de critères spécifiques au domaine, y compris les pratiques de la science ouverte, qui devraient être pris en compte dans le processus d’évaluation.
- Les bailleurs de fonds pourraient former les examinateurs des propositions de subventions à l’évaluation de la science ouverte.
- Les bailleurs de fonds pourraient explicitement récompenser les pratiques de la science ouverte dans le cadre de la normalisation de leur utilisation dans la recherche.
- Les gouvernements qui financent les institutions de recherche en fonction des résultats de la recherche pourraient cesser d’utiliser des tableaux de classement biaisés et subjectifs et d’autres mesures inappropriées pour allouer les fonds.

LES ORGANISMES OFFICIELS
- Les gouvernements fournissant un soutien financier aux instituts de recherche pourraient inclure des récompenses pour l’utilisation des pratiques de la science ouverte au niveau institutionnel.
- Les établissements pourraient établir des politiques d’embauche et de promotion qui évaluent la recherche selon ses propres mérites.
- Les institutions qui décernent des doctorats pourraient inciter les doctorants à pratiquer la science ouverte
- Les institutions pourraient explicitement récompenser les pratiques de science ouverte en coordination les unes avec les autres.

LES ÉDITEURS
- Les éditeurs pourraient élaborer des politiques pour soutenir les pratiques de la science ouverte.
- Les éditeurs pourraient former les comités de rédaction et le personnel des revues aux pratiques de la science ouverte.
- Les éditeurs pourraient proposer des options pour l’examen ouvert par les pairs et d’autres pratiques
- Les éditeurs pourraient aider à développer des outils pour mettre en évidence avec précision les contributions à la recherche, à la fois pour les articles de revues et plus généralement.
- Les éditeurs pourraient adhérer aux normes Open Science pour être indexés dans Open Research Central.

CADRES D’INDICATEURS DE CONNAISSANCES OUVERTES
Un cadre d’indicateurs favorisant la science ouverte devrait se concentrer sur les pratiques de connaissances ouvertes plutôt que sur les résultats. Une suite d’indicateurs choisis par un cadrage explicite des pratiques attendues dans une discipline ou une communauté spécifique.
- Objectif du suivi/évaluation
- Mission de recherche.
- Niveau d’évaluation façon de fournir une vue d’ensemble du portefeuille du chercheur.
- Structures disciplinaires, cultures épistémiques et approches de recherche.
- Parties prenantes, publics et bénéficiaires.
- Environnement de recherche.
BOÎTES À OUTILS D’INDICATEURS POUR LA SCIENCE OUVERTE
- Indicateurs d’infrastructure orientés vers le système scientifique au niveau national, niveaux internationaux et disciplinaire.
- Indicateurs des capacités de connaissance ouvertes dans les communautés de recherche.
- Indicateurs de pratiques pionnières en matière de connaissances ouvertes.
- Indicateurs de niveau individuel pour les carrières.
L’OADO
Suggestion d’un nouvel indicateur pour l’évaluation de la recherche. Enfin du concrêt au 20/09/2023. Un article sur Frontiers qui met en avant un nouvel indicateur ouvert pour l’évaluation des chercheurs : l’OADO. Développé dans des universités du Danemark, il reprend des facteurs d’évaluation qualitative concernant l’activité du chercheur : le degré d’ouverture de ses publications, son comportement vis-à-vis des bonnes pratiques de science ouverte (valorisation des résultats de la recherche, activités de communication de ses publications).
L’indicateur est composé de deux facteurs : le facteur de recherche indiquant le degré d’articles en OA et en OD dans la recherche (Open Access (OA), Open Data (OD) ; et le facteur de communication indiquant le degré d’OO (Open Outreach : sensibilisation ouverte) dans les activités de communication auxquelles un chercheur a participé.
https://www.frontiersin.org/articles/10.3389/frma.2023.1218213/full
Cet indicateur a été développé pour répondre à un besoin d’Elsevier concernant son système de gestion de l’information de recherche. Il est donc malheureusement adapté à un éditeur faisant partie de l’oligopole des éditeurs scientifiques et l’on peut craindre qu’il ne soit applicable qu’aux publications de cet éditeur, prenant ainsi en otage les chercheurs s’il se développe plus avant. Pour bénéficier d’un OADO, ils seront obligés de publier dans les revues d’Elsevier. Il ne peut donc pas se généraliser sans danger pour la liberté et l’indépendance de la recherche.

LES INDICATEURS²
Indicateur | typologie |
Nbre de non-académiques | Ouverture aux non-académiques |
Nb de conférence non-acad | Ouverture aux non-académiques |
Nb de jours passés à l’extérieur | Ouverture aux non-académiques |
Nb d’étudiants en alternance | Ouverture aux non-académiques |
Nb des publications avec comité de lecture rédigées avec des non-académique | Ouverture aux non-académiques |
Nb d’invitations à des comités consultatifs d’organismes non universitaires | Ouverture aux non-académiques |
Accessibilité des données ouvertes | Accessibilité des données |
Nombre de bailleurs de fonds OA | Adoption du libre accès |
% OA | Scopus | Adoption du libre accès |
% OA | WoS | Adoption du libre accès |
P GoldOA | Scopus | Adoption du libre accès |
P Vert OA | Scopus | Adoption du libre accès |
Nr. Revues OA | Adoption du libre accès |
Nombre d’équipes de recherche utilisant référentiels OA | Adoption du libre accès |
% de chercheurs utilisant des référentiels OA | Adoption du libre accès |
ETP investis dans les référentiels OA dans le laboratoire | Adoption du libre accès |
Nb d’archives de prépublication | Adoption du libre accès |
Bailleurs de fonds OA | Adoption du libre accès |
Nb Revues avec politiques OA | Adoption du libre accès |
% de projets financés intégrant des coûts de compilation, de publication et de maintenance des données | Adoption du libre accès |
Nombre de services de réseaux sociaux utilisés (ResearchGate; Academic.edu) | Collaboration scientifique |
Participation des chercheurs aux services de réseaux sociaux | Collaboration scientifique |
Nb de recommandation sociale services en sciences (PubPeer, Publons, etc,) | communication scientifique |
Nombre de fois où le chercheur est mentionné dans les journaux en raison de ses recherches | Communication scientifique |
Nombre de publications non évaluées par des pairs (hors livres et chapitres de livres) | Communication scientifique |
Nb utilisateurs Zotero dans le laboratoire | Communication scientifique |
Nb mentions dans les blogs | Visibilité sur les réseaux sociaux |
Nb publications mentionnées dans les tweets | Visibilité sur les réseaux sociaux |
% de publications mentionnées dans les tweets | Visibilité sur les réseaux sociaux |
% de chercheurs du labo ayant un compte sur les réseaux sociaux | Visibilité sur les réseaux sociaux |
Nombre de tweets vers une publication donnée contenant des commentaires, des hashtags ou des remarques des utilisateurs | Visibilité sur les réseaux sociaux |
Nombre de tweets vers une publication donnée avec un certain degré d’engagement | Visibilité sur les réseaux sociaux |
Nombre de tweeters retweetant la publication | Visibilité sur les réseaux sociaux |
Nb de tweets appartenant à différents domaines scientifiques | Visibilité sur les réseaux sociaux |
Nombre de tweets vers des publications d’utilisateurs de médias sociaux de différents pays | Visibilité sur les réseaux sociaux |
Nb de participants du labo aux réseaux sociaux | Visibilité sur les réseaux sociaux |
% de chercheurs actifs sur les réseaux | Visibilité sur les réseaux sociaux |
La disponibilité (à long terme) des données garantie ? (disponibilité d’un plan de pérennisation, oui/non) | conservation des données |
% de données/métadonnées lisibles par machine | usage des données |
Enseigner la science ouverte | Enseignement |
Nb formations OA pour les chercheurs dans le laboratoire | formations |
Littératie scientifique | culture de la SO |
% de chercheurs prenant des mesures pour gérer leurs données de recherche | gestion des données |
Financement (national) Infrastructure scientifique ouverte | Infrastructure |
Nb d’API | gestion des données |
Nouvelles formes d’évaluation par les pairs | Nouvelles formes d’examen par les pairs |
Partage de données | pratique de la SO |
Nombre de référentiels de données ouvertes | pratique de la SO |
pratique des données FAIR | pratique de la SO |
% de chercheurs qui partagent des données | pratique de la SO |
% Publications avec données | pratique de la SO |
% de chercheurs ayant partagé les données de leur dernier projet | pratique de la SO |
Utilisation des données ouvertes | pratique de la SO |
Examen des demandes de subvention | pratique de la SO |
Part du budget du labo pour l’OA | pratique de la SO |
Nombre de laboratoires bénéficiant d’un financement pour la mise en œuvre de la science ouverte | pratique de la SO |
Nb de publications dans Openaire | pratique de la SO |
Nb Hybrid OA Publications | pratique de la SO |
Élaboration de curriculum | pratique de la SO |
Effort requis pour rendre les données aptes au partage | pratique de la SO |
Politique de métriques responsables | pratique de la SO |
% de revues avec une politique de code ouvert | Partage des pratiques de code |
Nb de citations de logiciels | Partage des pratiques de code |
Nb projets de code dans Zenodo | Partage des pratiques de code |
Nb logiciels déposés sous licence approuvée par l’OSI | Partage des pratiques de code |
Nombre de projets de code avec DOI | Partage des pratiques de code |
Nombre de projets dans Open Hardware Sharing hardware | Partage des pratiques de code |
Qualité des métadonnées (versioning, volume, format des données, description des champs, etc.) | Qualité des métadonnées |
Nb de laboratoires récompensés en OA | Récompenses de la science ouverte |
Répartition disciplinaire des archives de pré-publications | répartition disciplinaire des prépublications |
Nombre d’utilisateurs sites de reproductibilité | reproductibilité |
% de recherche abordant les problèmes identifiés par les citoyens | Sciences citoyennes |
Nb articles co-écrits avec des acteurs de la société civile | Sciences citoyennes |
Nombre de projets de science citoyenne | Sciences citoyennes |
Nb projets dans Zooniverse et Scistarter | Sciences citoyennes |
Nombre de sites de science citoyenne | Sciences citoyennes |
Nb de laboratoires avec collaboration citoyens | Sciences citoyennes |
Nb événements organisés et organisés pour le grand public | Sciences citoyennes |
Nombre d’apparitions d’universitaires à la télévision ou à la radio régionale, nationale ou internationale | Sciences citoyennes |
% de chercheurs impliqués en science citoyenne | Sciences citoyennes |
Nombre de sites de données CC-0 | Sites de données CC-0 |
Durée moyenne des embargos pour OA (en mois) | Transition vers OA dans l’édition |
Nombre d’éditeurs avec examen transparent par les pairs | Transparence dans l’examen par les pairs |
Ouverture sur la contribution | Transparence sur la paternité |
Publication du co-auteur | Transparence sur la paternité |
Services de données présent à l’université ou au labo | pratique de la SO |
Nombre de publications pouvant être suivies par les différentes sources altmétriques (par exemple avec un DOI) | usage des Altmétriques “ |

DEUXIÈME ÉTUDE :
CRITÈRES D’ÉVALUATION DU CHERCHEUR OPEN SCIENCE
Autre exemple d’évaluation open science, Bernard Rentier, a repris la CAM : Career Assessment Matrix et propose ci-dessous, un tableau d’évaluation du chercheur selon les pratiques de science ouverte. Il l’a aussi abordé dans Science ouverte, le défi de la transparence³ p. 36 à 39.


ACTIVITÉS DE RECHERCHE
- Repousser les limites de la science ouverte comme sujet de recherche.
- Publication dans des revues en libre accès.
- Auto-archivage dans les référentiels en libre accès.
- Ensembles de données et résultats de recherche.
- Utilisation des principes de données FAIR.
- Adopter des normes de qualité dans la gestion des données ouverte.
Jeux de données
- Utiliser les données ouvertes d’autres chercheurs.
Open source
- Utilisation de logiciels open source et d’autres outils ouverts.
- Développer de nouveaux logiciels et outils ouverts aux autres utilisateurs.
Financement
- Obtenir du financement pour des activités scientifiques ouvertes.
PROCESSUS DE RECHERCHE
Partie prenante
- engagement / citoyen.
Science
- Impliquer activement la société et les utilisateurs de la recherche dans le processus de recherche.
- Partager les résultats provisoires de la recherche avec les parties prenantes via plates-formes (par exemple Arxiv, Figshare).
- Impliquer les parties prenantes dans les processus d’examen par les pairs.
Collaboration et Interdisciplinarité
- Élargir la participation à la recherche grâce à une collaboration ouverte.
Projets
- S’engager dans la science d’équipe grâce à diverses équipes interdisciplinaires
Intégrité de la recherche
- Surveillance, être attentif aux plagiats, suivi d’un cahier de laboratoire sur l’avancée du sujet de recherche en cours.
- Cahier mis à jour régulièrement et contresigné par le directeur de l’unité de Recherche.
- Consciente des enjeux éthiques et juridiques liés au partage de données, confidentialité, attribution et impact environnemental de la science ouverte.
Activités
- Reconnaissant pleinement la contribution des autres aux projets de recherche, y compris collaborateurs, co-auteurs, citoyens, fournisseurs de données ouvertes.
Gestion des risques
- Prise en compte des risques liés à la science ouverte.
SERVICE ET LEADERSHIP
Leadership
- Développer une vision et une stratégie sur la façon d’intégrer les pratiques de la pratique normale de la recherche.
- Piloter les politiques et les pratiques en science ouverte.
- Être un modèle dans la pratique de la science ouverte.
Niveau académique
Développer un profil international ou national pour la science ouverte.
Activités
- Contribuer en tant que rédacteur ou conseiller pour des revues ou organismes scientifiques ouverts.
Examen par les pairs
- Contribuer à ouvrir les processus d’examen par les pairs.
- Examiner ou évaluer la recherche ouverte.
Réseautage
Participer à des réseaux nationaux et internationaux relatifs à l’ouverture de la science.
IMPACT DE RECHERCHE
Communication et Dissémination
- Participer aux activités d’engagement du public.
- Partager les résultats de la recherche grâce à une diffusion non académique.
Canaux
- Traduire la recherche dans une langue adaptée au public.
Propriété intellectuelle (brevets, licences)
- Connaissance des questions juridiques et éthiques relatives aux DPI.
- Transférer la propriété intellectuelle à l’économie au sens large.
Impact sociétal
- Preuve d’utilisation de la recherche par les groupes sociétaux.
- Reconnaissance des groupes sociétaux ou des activités sociétales.
Échange de connaissances
- S’engager dans l’innovation ouverte avec des partenaires au-delà du milieu universitaire.
ENSEIGNEMENT ET SUPERVISION
Enseignement
- Former d’autres chercheurs aux principes et méthodes de la science ouverte.
- Encourager au dépôt en archive ouverte : méthodes, curricula et programmes : y compris la gestion des données scientifiques ouvertes.
- Élever les consciences à la compréhension dans de la science ouverte dans les programmes de premier cycle et de maîtrise.
Le mentorat
- Mentorer et encourager les autres à développer leur pratiques en science ouverte.
- De bonne heure étape encourager les chercheurs a adopter une stratégie de dépôt en acces ouvert .
EXPÉRIENCE PROFESSIONNELLE
En continu
Investir dans son propre développement professionnel pour construire une science ouverte professionnelle
Gestion des projets
Réalisation réussie de projets scientifiques ouverts impliquant divers équipes de recherche.
Qualités personnelles
Démontrer les qualités personnelles pour engager la société et la recherche.
Utilisateurs avec la science ouverte
- Montrer de la flexibilité et de la persévérance pour répondre aux défis de de la science ouverte
TROISIÈME ÉTUDE :
LE PROFIL D’OUVERTURE DE KNOWLEDGE EXCHANGE⁴
Le dernier exemple d’évaluation est peut-être le plus intéressant. Il suggère un PO, profil d’ouverture du chercheur accolé à on ORCID qui évalue sa pratique de la science ouverte
Depuis 2017 et 2018, dates auxquelles ont été publiées ces suggestions pour une nouvelle évaluation du chercheur, des structures officielles ont fait leur apparition et le dernier baromètre de la Science Ouverte nous indique que le dépôt en archive ouverte est en constante progression. Nous sommes aujourd’hui à 68% d’accès ouvert en 2022. Mais si l’on veut faire de l’accès ouvert une réussite totale, à l’image de l’imprimerie au 16e qui fut à l’origine d’ une très large diffusion du Savoir, étendue à une démocratisation et un accès à tous à la connaissance, il est nécessaire que les chercheurs se placent au premier rang des personnels impliqués. Et pour celà, ils doivent comprendre que la Science Ouverte n’est pas là pour les ennuyer mais l’outil qui leur apportera l’indépendance et la liberté vis-à-vis d’éditeurs scientifiques qui exploitent le Savoir pour garantir et pérenniser leur monopole capitalistique. Ils en seront récompensés par des Prix, des avancées de carrière et une diffusion des découvertes beaucoup plus rapides grâce à des collaborations favorisées, ainsi qu’un profil ouvert clairement défini.
ÉTUDE SUR LE CV NARRATIF
Des débats et de fortes oppositions se font jour entre les scientomètres et Coara, accusé de négationnisme bibliométrique. Coara s’en défend dans son blog et met en avant une étude sur le cv narratif traduite ici :
Notes Mise à jour du 06/09/2024
¹ In ISE Centrality for researchers in reforming research assesment / Toma Susi • Monica Heinz • Eva Hnatkova • Wolfram Koch • Maria Leptin • Martin Andler, rapport 2022 en ligne ouvrir la science (traduction)
² In Idicator framework for forstering ope knowledge practices in science and scholarship / European Commission. Written by Paul Wouters, Ismael Rafols, Alice Oancea, Shina Caroline Lynn Kamerlin, J. Britt. Holbrook and Merle Jacob, July 2019
³ Science ouverte, le défi de la transparence, Préface de Philippe Busquin, publié par L’ Académie Royale de Belgique, Collection L’Académie en poche, Volume 114, Sous la responsabilité académique de Didier Viviers, © 2018, Académie royale de Belgique, ISBN 978-2-8031-0659-2, Dépôt légal : 2018/0092/
⁴ Profil d’ouverture : Modélisation de l’évaluation de la recherche pour l’érudition ouverte in Knowledge-Exchange. Info, 31 mars 2021.
Le 5 et 6 février 2022 ont eu lieu à Paris les journées européennes de la science ouverte. A cette occasion, les spécialistes de l’évaluation scientifiques étaient réuni et on échangé sur le sujet. Plusieurs universités dont l’université d’Utrecht ou l’université ouverte de catalogne ont modifié en profondeur leur façon dévaluer la recherche. Vous pouvez retrouver les vidéos des interventions en ligne sur canal U