LE TEMPS EST A L’EVALUATION

image du facilitateur graphique Philippe-Elie KASSABI

Comme le titre de l’article le précise, le temps est à l’évaluation et il y a beaucoup à dire.

Evaluations des chercheurs, d’une unité, d’une structure, d’une université il n’y a qu’à se pencher pour faire son marché.

Avec l’apparition et l’avènement de l’open access ainsi qu’une politique publique orientée vers la mise à disposition des résultats de la Recherche pour le grand public, l’évaluation du chercheur doit évoluer et prendre en compte ce facteur.

Dans cet article, nous allons nous intéresser à deux points :

  • l”évaluation d’une unité de Recherche dans une université
  • l’évaluation du chercheur lambda dans une université française.

Pour ce faire, nous allons nous appuyer un document officiel à savoir :

“Le référentiel d’évaluation d’une unité de Recherche, vague B 2020-2021” publié par “Le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur” (Hcéres)

Nous ferons aussi appel au site du CoopIST, destiné aux chercheurs et professionnels de l’information, et outil appartenant au CIRAD, organisme français de recherche agronomique.


ordianteur. image libre de droit
ordinateur. Image libre de droit

Le référentiel d’évaluation du HCERES est très clair et se veut objectif et pertinent. Il présente tout d’abord le processus global d’évaluation

PROCESSUS GLOBAL D’EVALUATION

D’abord, les chercheurs de l’entité doivent effectuer une auto-évaluation de leur laboratoire puis celle -ci est complétée par un évaluation externe , indépendante et collégiale par des pairs dans le domaine de recherche de l’unité.

Depuis 2014, la notation a disparu au profit d’une appréciation par critère sous forme textuelle.

Chaque année, l’évaluation est actualisée, l’objectif principal étant l’identification de pistes d’amélioration concernant 3 points

  • Les pratiques de politique scientifique (production de connaissances, interaction avec l’environnement soci-économique, implication dans la formation aux chercheurs, master, doctorat)
  • L’organisation interne (la vie en unité, le respect de la parité etc…)
  • Les objectifs stratégiques ( les projets à 5 ans)

Les résultats du rapport rédigé par les experts du HCERES se retrouvent en ligne sur le site du Haut comité. Ils peuvent ainsi être lus par tous. L’information se veut transparente et permet à tout un chacun, chercheur, étudiant, public quel qu’il soit, de prendre connaissance des activités et du positionnement de l’unité

Après la présentation du processus global d’évaluation par lequel va passer l’unité, le HCERES rentre dans le détail et définit sa méthodologie en trois points.

Laboratoire d'analyse. Image libre de droits
Laboratoire d’analyse. Image libre de droits

METHODOLOGIE

L’Evaluation de chaque point s’appuie sur des éléments concrêts. A partir de faits observables, les experts dégagent des indices de qualité.

Pour évaluer par exemple les pratiques de politique scientifique, les experts vont par exemple s’intéresser aux faits observables suivants :

  • Résultats de la recherche du laboratoire: a-t-il fait des découvertes ? Lesquelles ? Sont-elles importantes pour la société ? Quel impact ?
  • Activités du laboratoire : Est-il dynamique ? Ses membres participent-t-ils a des consortiums, des colloques ?
  • Notoriété du laboratoire : partenariat avec les entreprises locales, nationale internationales, est-il connu et visible ? Est-il attractif dans son domaine de compétence ?
  • Diffusion de l’information et transparence Publie-t-il vers le grand public ? Comment, fréquence, avec quel outil ?
  • Implication dans la formation : l’unité produit-elle des documents à usage pédagogique pour ses étudiants ? Participe-t-elle a des programmes éducatifs ?

La notorité du laboratoire, son implication dans la formation vont être des indices dits “de qualité”.

Le rapport insiste sur le fait qu’il utilise aussi des indices quantitatifs mais que ceux ci ne peuvent fournir qu’une information incomplète à l’évaluation et que l’appréciation qualitative prime avant tout.

il existe des indicateurs quantitatifs, ceux-ci ne peuvent fournir qu’une aide à l’évaluation pratiquée par les pairs à l’HCERES. En effet, la qualité d’une activité, d’une production ou d’un résultat ne sauraient se réduire à des éléments quantitatifs

Cette citation indique un désir officiel et explicite d’aller vers une évaluation qualitative plus que quantitative.

Ce référentiel fait aussi apparaître un critère important concernant la communication des résultats de la Recherche. Comment l’unité communique-t-elle les résultats de son travail ? Apparaît ainsi une exigence de visibilité, que ce soit auprès du grand public mais aussi auprès des communautés d’autres chercheurs pour faire connaître ses activités et travailler en collaboration pour avoir une plus grande efficacité quand celà se révèle possible et nécessaire.

L’Access ouvert des données avec la publication des données de la Recherche en archive ouverte n’est certes pas explicitement cité mais est bien présent :

Il est écrit en bas de la page 7:

Le comité d’experts apprécie les différentes activités et réalisations par lesquelles la recherche contribue au processus d’innovation et conduit à des impacts sur l’économie, la société, la culture, la santé, diffusion de l’information scientifique vers le grand public.

Reste à savoir comment évaluer l’activité des chercheurs qui publient en archive ouvertes. Et là, je ne vois pas trop comment éviter les indicateurs quantitatifs même s’ils doivent être interprétés à l’aune d’ autres éléments pour nuancer les chiffres.

Il n’en reste pas moins que faire d’un chiffre un critère de qualité reste dangereux.

Je n’ai rien contre Guillaume Musso mais la quantité de livres qu’il a vendu signifie-t-elle qu’il est un écrivain de grande qualité littéraire ?

Bon, ok, Guillaume MUSSO n’est pas chercheur et mon exemple est un peu discutable mais quand même, il est parlant.

Pour répondre au problème posé, Bernard RENTIER a fait une proposition :

Il propose d’abandonner le h-index et de s’appuyer sur les critères de l’Open science and researcher carreer progression puis les adapter au domaine de recherche du chercheur à évaluer.

Déverouillage. image libre de droits

Il écrit ainsi :

1. Utilisez toujours un canevas à critères multiples tels que l’OS-CAM (Open Science Career Assessment Matrix) inclus dans l’Open Science Toolbox de la Commission Européenne). Veillez à adapter cette grille matricielle aux spécificités du domaine de recherche (comme expliqué ici, au chapitre 6),

2. Classez les critères par ordre d’importance en fonction de vos objectifs spécifiques (compétences attendues, mérites, réalisations), et veillez à favoriser les objectifs de la Science Ouverte.

3. N’utilisez jamais d’indicateurs indirects et/ou peu pertinents tels que le nombre absolu de publications, les facteurs d’impact des revues ni leurs produits dérivés. En règle générale, n’utilisez pas de chiffres ou de mesures numériques.

4. Demandez à la personne évaluée de sélectionner au maximum une publication par an qu’elle considère comme la meilleure.

5. Veillez à ce que la personne évaluée remplisse d’abord elle-même la grille. Vérifiez que toutes les notes d’évaluation sont justifiées. Si ce n’est pas le cas, faites une enquête auprès de l’entourage proche de la personne évaluée.”*

Goutte d’eau. Image libre de droits

Ainsi, pour faire une évaluation qualitative d’un chercheur, il existe des solutions et des grilles établies par des spécialistes qui ont réfléchi au sujet. Pourquoi ne pas tout simplement s’inspirer de ces grilles pour revoir les critères d’évaluation du chercheur ? Plus de h-index et autres indicateurs Citescore ou altmétrics mais des critères de qualité qui demandent bien sûr un plus long travail d’analyse qui s’attache sur le contenu et non plus sur de simples chiffres déconnectés de la réalité ou ne traduisant pas la totalité de cette réalité. A vrai dire, ce billet est plus long que les autres mais l’évaluation du chercheur est en cours de révision et est sujet à multiples débats vifs entre chercheurs et spécialistes. Celà reste un sujet primordial pour la science ouverte car si les critères d’évaluation ne prennent pas en compte cette pratique, à quoi bon l’encourager auprès des chercheurs ? Et si les critères quantitatifs prennent encore aujourd’hui une place primordiale dans la notation du chercheur au détriment d’une évaluation qualitative du contenu, à quoi bon faire une évaluation qui n’évaluera pas la pertinence et la qualité de la recherche française ?

émoticône yeux. Image libre de droit

Mise à jour le 10/10/2020

Licence Creative Commons
Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale 4.0 International.

Le DATA MINING

cube figurant le data mining

Cette semaine, je me suis intéressée à la fouille de textes à partir d’un corpus donné.

Ce service proposé par l’INIST-CNRS m’a paru pratique et utile pour les chercheurs.

Ca semble compliqué mais il faut juste essayer et des formations existent dans le but d’aider à la prise en main des outils en question.

L’INIST, Institut National de l’Information Scientifique et Technique propose des formations au Data Mining ou DTM à partir d’un corpus donné, extrait d’ISTEX.

Istex, quezaco encore ? Un nouvel acronyme pour bibliothécaire…

ISTEX est une plateforme sur laquelle le chercheur et l’étudiant peuvent retrouver un ensemble de ressources documentaires acquises pour l’enseignement supérieur sous forme de Licences nationales.

Ces ressources rétrospectives d’e-books et de revues éléctroniques ont été négociées auprès des éditeurs par le MESRI pour toute la communauté universitaire et sont accessibles via le portail ISTEX. Petit à petit, en fonction des négociations avec les éditeurs, le portail s’étoffe de nouvelles ressources acquises dans le cadre de ces Licences nationales.

ISTEX prend plus largement place dans le vaste projet BSN (bibliothèque scientifique numérique) en 10 points avec 10 équipes projet, qui avaient pour but de rénover l’accès à l’information scientifique et technique à travers divers éléments à réorganiser et moderniser en fonction des pratiques actuelles. Ex : Les pratiques anciennes telles le PEB (prêt entre bibliothèque) devenaient obsolètes et ne répondaient plus aux besoins de la communauté universitaire.

BSN a finalement évolué vers le CoSO (comité pour la science ouverte). Ce dernier est composé d’experts chargés d’accompagner les initiatives pour la science ouverte. L’objectif est de mettre à disposition de tous et rapidement les résultats des données de la Recherche.

Istex répond à cet objectif. L’Agence bibliographique de l’enseignement supérieur, le CNRS, l’Université de Lorraine et Couperin ont participé à l’élaboration d’Istex. Il s’agit d’une initiative d’excellence faisant partie des investissements d’avenir du MESRI.

Cette plateforme donne accès à du texte intégral et permet, grâce à des services qui se développent aujourd’hui, de faire de la fouille de texte ou data mining


ISTEX mode d’emploi:

Tout d’abord, après avoir défini son champs d’étude, aller sur Istex-dl , plateforme qui a permis de faciliter l’extraction de corpus d’Istex

Ex de recherche sur ISTEX:

Space and Planetary Science“,

  • choisir ensuite la langue voulue
  • le format d’extraction voulu
  • puis télécharger.

Une fois le corpus téléchargé, utiliser Lodex à télécharger sur Gitub. C’est un outil open source.

Une fois téléchargé et installé, voici des tutos pour l’utiliser.

Vous trouverez aussi le wiki de Lodex en anglais pour de plus amples renseignements ainsi que la page de Lodex pour l’utilisateur, réalisée par l’INIST-CNRS

A partir de là, vous pouvez par exemple transformer un jeu de données en site web. L’outil peut générer des graphiques, des statistiques, des cartes avec vos données. Il est adapté au web sémantique et génère automatiquement des URI, adresses web pérennes par opposition aux URL basées sur la localisation de vos données.

Via le format ARK, il génère aussi des identifiants perennes

Sur le site de l’INIST-CNRS, vous avez toutes les infos ainsi qu’un ensemble de tutoriels.


graphisme

AUTRES OUTILS : GARGANTEX et CILLEX

Ces outils sont conçus pour vous fournir :

  • GARGANTEX Des cartes évolutives et dynamiques au fur et à mesure que vous travaillez :
  • CILLEX Des cartes en fonction des métadonnées récupérées lors d’une requête dans l’API ISTEX. Ces cartes aident à la sélection de métadonnées pertinentes liées à un choix de recherche.
dandelion

Bon, voilà . On a fait le tour. C’est rapide mais l’essentiel y est. A tester maintenant pour ceux qui veulent. Voir cet exemple. Sympa non les graphiques !

Licence Creative Commons
Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale 4.0 International.