Concours 2020 du volet Exploration – Rapport des coprésidentes et coprésidents du comité d’évaluation multidisciplinaire

Le rapport des coprésidentes et coprésidents du comité d’évaluation multidisciplinaire du concours 2020 du volet Exploration est soumis au comité directeur du fonds Nouvelles frontières en recherche aux fins d’examen.

Coprésidentes et coprésidents

Déroulement du concours

Le volet Exploration du fonds Nouvelles frontières en recherche promeut la recherche interdisciplinaire à haut risque et à haut rendement.

Le concours a généré 607 demandes complètes, dont 214 (35 p. 100) par des chercheurs en début de carrière. Un projet est considéré comme étant dirigé par des chercheurs en début de carrière lorsque le chercheur principal désigné et le cochercheur principal, s’il y a lieu, correspondent à la définition établie pour le programme.

Des spécialistes recrutés à titre d’évaluateurs externes ont mené un processus à double insu, sans aucun renseignement permettant d’identifier les candidats. Leurs évaluations s’appuyaient sur les critères de haut risque, de haut rendement et d’interdisciplinarité, ainsi que de faisabilité en ce qui a trait au seul plan de la recherche. Elles ont ensuite été présentées aux cinq membres du comité d’évaluation multidisciplinaire affectés à chacune des demandes. Pour chaque demande, les critères de haut risque (40 p. 100), de haut rendement (40 p. 100) et de faisabilité (20 p. 100) étaient évalués sur une échelle de sept points, tandis que les critères d’interdisciplinarité/conformité avec les critères du programme et d’équité, de diversité et d’inclusion recevaient une mention d’échec ou de réussite.

Les demandes ont ensuite été classées en fonction de la note qui leur a été attribuée par les cinq membres : 32 étaient recommandées, 429 ne l’étaient pas et 146 devaient être débattues par le comité d’évaluation multidisciplinaire. Les 162 membres du comité ont discuté des demandes lors de réunions virtuelles, qui se sont déroulées du 8 au 12 mars 2021. Réparties dans six salles virtuelles, ces réunions étaient présidées par trois coprésidents représentant chacun des trois organismes de financement de la recherche. Au terme des discussions, les membres des comités de sélection étaient invités à modifier les notes attribuées, au besoin.

À la fin de la semaine de délibérations, les coprésidents responsables des six réunions se sont réunis pour rédiger leurs recommandations finales : 117 demandes ont été recommandées pour un financement; de ce nombre, 41 (35 p. 100) étaient dirigées par des chercheurs en début de carrière.

Observations

Une fois le processus d’évaluation terminé, chacun des six groupes virtuels a tenu une discussion stratégique. Une autre discussion du même genre a ensuite eu lieu avec l’ensemble des coprésidents. En général, comme pour les années antérieures, les membres avaient une vision positive du programme et du déroulement du concours. Vous trouverez ci-dessous le résumé des discussions et des suggestions.

Processus de sélection en une étape

• L’étape des lettres d’intention, introduite lors du concours de 2019, a été éliminée dans l’édition 2020 afin d’alléger le processus pour le milieu de la recherche, tant pour les candidats que pour les membres des comités de sélection. Comme ce changement a entraîné une hausse du nombre de demandes détaillées à examiner, il a fallu ajouter des membres au comité d’évaluation multidisciplinaire et leur donner une charge plus élevée (de 20 à 25 demandes par membre) que lors du concours de 2019.
• Certains membres proposent de simplifier encore le processus en procédant à l’examen préalable des critères d’équité, de diversité et d’inclusion et d’interdisciplinarité des demandes, afin de réduire le nombre de demandes nécessitant un examen exhaustif. Or, les coprésidents sont d’avis que l’examen de ces critères en parallèle avec le reste de la proposition est essentiel à la cohérence du déroulement du concours et de l’évaluation scientifique des demandes et des équipes de recherche.

Évaluations externes à double insu

• Les membres estiment que le rapport des évaluateurs externes est très pertinent, surtout lorsque la proposition se trouve hors du champ d’expertise des membres, tout comme le processus à double insu, dont ils recommandent le maintien.
• Ils notent par ailleurs que l’évaluation du critère d’interdisciplinarité par les évaluateurs externes était en général peu informative, et que bon nombre des évaluateurs comprennent mal ce critère et ce qui constitue de la recherche interdisciplinaire pour le fonds Nouvelles frontières en recherche. Ils notent aussi que certains évaluateurs interprètent le concept de « haut risque » comme une caractéristique négative, ce qui rend leurs évaluations contre-productives pour les membres. Par conséquent, ils estiment que les conclusions des évaluateurs externes seraient plus utiles si on leur demandait de résumer précisément les points forts et les points faibles de chaque demande.
• Les membres notent enfin une difficulté à recruter assez d’évaluateurs externes pour le nombre de demandes. Sur ce point, certains croient que l’idéal serait d’avoir au moins deux rapports de personnes estimant avoir une grande expertise pour chaque demande, tandis que d’autres croient qu’un rapport externe ne devrait être nécessaire que lorsque les membres n’ont pas l’expertise nécessaire.

Équité, diversité et inclusion

• Les membres notent une amélioration de la qualité de certains plans d’équité, de diversité et d’inclusion par rapport au concours de 2019. Il est clair que certains des candidats ont fait des apprentissages (par exemple formation), ce qui donne des plans solides en la matière. Les demandes qui répondaient bien à ce critère indiquaient clairement les mesures qui seraient mises en place et la façon de mesurer les résultats.
• Malgré les améliorations constatées, certains membres notent qu’on peut faire encore mieux. Certaines demandes ne répondaient pas au critère d’équité, de diversité et d’inclusion, et plusieurs de celles qui n’obtenaient que la note de passage (évaluation générale « mitigée ») présentaient les mêmes points faibles : énoncés génériques en matière d’équité, de diversité et d’inclusion, peu ou pas de mesures ou de procédés d’évaluation des résultats. Plusieurs demandes semblaient s’inspirer du plan de l’établissement, être peu adaptées au contexte particulier de l’équipe de recherche et démontrer une faible compréhension des préjugés structuraux et de leurs répercussions sur les groupes sous-représentés.
• Les membres estiment aussi qu’une restructuration de la section équité, diversité et inclusion pourrait améliorer la qualité des demandes. En effet, si on aidait les candidats à mieux expliquer et préciser leur contexte et leur plan d’équité, de diversité et d’inclusion, l’évaluation du critère en serait plus solide. Ils suggèrent aussi de demander aux candidats d’intégrer leur plan à l’ensemble de la proposition plutôt que d’en faire une section distincte, afin de démontrer l’intégration de bonnes pratiques en matière d’équité, de diversité et d’inclusion dans l’ensemble du projet de recherche proposé.
• Certains membres notent à nouveau qu’il serait important d’instaurer un mécanisme de reddition de comptes en matière d’équité, de diversité et d’inclusion pour les candidats retenus, surtout à l’étape de l’établissement des rapports. En effet, ces derniers devraient avoir à rendre compte des résultats de leur plan d’équité, de diversité et d’inclusion afin de favoriser la mise en place de pratiques efficaces en la matière.
• Enfin, il est proposé d’intégrer une grille d’évaluation non binaire plus nuancée pour le critère d’équité, de diversité et d’inclusion.

Recherche autochtone

• Les membres du comité d’évaluation multidisciplinaire soutiennent les efforts déployés dans le cadre du fonds Nouvelles frontières en recherche pour accroître le nombre de propositions de recherche dirigées par des chercheurs autochtones, ainsi que la représentation des Autochtones en général. Comme lors des concours précédents, certains candidats ont omis de signaler la composante autochtone de projets comportant un élément de recherche autochtone ou ayant un impact sur les communautés autochtones.
• Les membres proposent de prendre des mesures pour renforcer et mettre de l’avant la recherche autochtone inclusive et attirer les chercheurs autochtones en quête d’occasions de financement novatrices, mais dont les travaux ne satisfont pas aux critères du programme.

Haut risque, haut rendement et faisabilité

• Les membres du comité d’évaluation multidisciplinaire qui ont participé aux concours précédents ont l’impression que les idées présentées dans les demandes étaient moins audacieuses que par le passé. Ils notent aussi un plus grand nombre de propositions de mauvaise qualité. Selon eux, cela pourrait s’expliquer en partie par les obstaclesstructurels et les disparités dans le milieu de la recherche attribuables à la pandémie de COVID-19 ainsi que par le processus de sélection en une étape, qui implique d’évaluer les propositions à l’étape de la demande détaillée alors qu’elles étaient auparavant soumises et évaluées en deux temps.
• Les membres ont trouvé les demandes contenant des sections distinctes sur le risque élevé et le rendement élevé plus faciles à comprendre et à évaluer. Certains membres proposent d’exiger une structuration précise et uniforme des propositions, en utilisant des intitulés pour les sections, qui seraient limitées à un nombre de pages précis. Ils proposent aussi de demander clairement aux candidats de rédiger leur proposition pour un public multidisciplinaire, soit pour des spécialistes et des non-spécialistes. Les membres constatent par ailleurs un usage fréquent de jargon et d’acronymes, ainsi qu’une écriture « en vase clos » ne permettant pas de contextualiser le projet de recherche.
• De nombreuses demandes ont été jugées trop ambitieuses quant aux échéanciers. Les subventions pour le volet Exploration sont d’une durée de deux ans, ce que devrait refléter la portée des projets et des résultats attendus. De plus, les membres notent que, par rapport au concours de 2019, les demandes proposaient moins d’échéanciers, de plans d’intervention en cas de résultats imprévus ou de plans de développement pour la période suivant ces deux années.
• Les membres notent enfin que le nombre de demandes dans les domaines des sciences humaines est toujours plus bas que dans les domaines des sciences de la santé et des sciences naturelles et du génie. L’explication pourrait se trouver dans la différence entre la valeur et la durée de la subvention du volet Exploration et celles du programme Savoir du CRSH, ce dernier étant ouvert à la recherche interdisciplinaire et ayant un taux de succès beaucoup plus élevé que le premier. Il faudrait revoir la définition de haut risque et de haut rendement pour éviter que la formulation ne décourage les candidats de ces disciplines.

Interdisciplinarité et conformité avec les critères du programme

• Il faudra expliquer plus en détail les attentes relatives à la recherche interdisciplinaire et comment elles se traduisent dans le volet Exploration. Le fait de souligner les différences entre les approches multidisciplinaires, interdisciplinaires et transdisciplinaires permettrait de réduire le nombre de demandes qui ne satisfont pas aux exigences du programme. Il faudrait aussi clarifier l’importance pour les membres de l’équipe d’avoir des perspectives et des expertises variées. En effet, certains candidats croient que, parce qu’ils travaillent dans un domaine interdisciplinaire ou ont reçu une formation interdisciplinaire, leur projet entre nécessairement dans cette catégorie.
• Les équipes dont les membres ont déjà collaboré par le passé doivent souligner le caractère novateur de l’approche interdisciplinaire de leur proposition et indiquer comment elle se distingue de leurs projets antérieurs et en quoi cette approche est nécessaire.
• Il est proposé d’intégrer une grille d’évaluation non binaire plus nuancée pour le critère d’interdisciplinarité.

Réunion et processus d’évaluation

• Les membres du comité d’évaluation multidisciplinaire comprennent pourquoi il était nécessaire de faire des réunions d’évaluation virtuelles, mais croient avoir perdu la richesse et la profondeur des discussions en personne. Le fait d’assister aux échanges sur les demandes qui ne leur avaient pas été assignées les aidait à établir et à maintenir le calibrage des notes. Les membres souhaitent à tout le moins discuter des demandes ayant obtenu les meilleurs résultats. Il faudrait donc, autant que possible, les cibler et les rendre accessibles aux membres avant la réunion (en tenant compte des possibles conflits d’intérêts) afin de faciliter le calibrage.
• Il est proposé de faire tout le processus d’évaluation à double insu, y compris les évaluations par les membres, si les critères d’équité, de diversité et d’inclusion et d’interdisciplinarité sont évalués séparément. L’un des risques associés à cette approche est que les plans d’équité, de diversité et d’inclusion ne soient pas intégrés à l’ensemble de la proposition ou ne se reflètent pas dans le plan du projet, sans compter que l’expérience et l’expertise des membres de l’équipe de recherche ne seraient pas considérées dans l’évaluation du critère de faisabilité.
• Les membres recommandent d’augmenter le nombre limite de pages pour les demandes en français.