Concours 2021 du volet Exploration – Rapport des coprésidentes et coprésidents du comité d’évaluation multidisciplinaire

Le rapport des coprésidentes et coprésidents du comité d’évaluation multidisciplinaire du concours 2021 du volet Exploration du fonds Nouvelles frontières en recherche est soumis au comité directeur du Fonds aux fins d’examen.

Coprésidentes et coprésidents

Déroulement du concours

Le volet Exploration du fonds Nouvelles frontières en recherche promeut la recherche interdisciplinaire à haut risque et à haut rendement.

Le concours a reçu 444 demandes complètes, dont 170 (384 p.4 100) par des chercheures et chercheurs en début de carrière. Un projet est considéré comme étant dirigé par des chercheures et chercheurs en début de carrière lorsque la chercheure principale désignée ou le chercheur principal désigné et la cochercheure principale ou le cochercheur principal, s’il y a lieu, correspondent à la définition de chercheurs en début de carrière établie pour le Fonds. Des spécialistes recrutés à titre d’évaluatrices et évaluateurs externes ont mené un processus à double anonymat, sans aucun renseignement permettant d’identifier les candidates et candidats. Leurs évaluations s’appuyaient sur les critères de haut risque, de haut rendement et d’interdisciplinarité, ainsi que de faisabilité en ce qui a trait au seul plan de la recherche. Elles ont ensuite été présentées aux cinq membres du comité d’évaluation multidisciplinaire attitrés à chacune des demandes. Pour chaque demande, les critères de haut risque (40 p. 100), de haut rendement (404 p.4 100) et de faisabilité (20 p. 100) étaient évalués sur une échelle de sept points, tandis que les critères d’interdisciplinarité de concordance avec le Fonds ainsi que d’équité, de diversité et d’inclusion recevaient une mention d’échec ou de réussite.

Les demandes ont ensuite été classées en fonction de la note qui leur a été attribuée par les cinq membres : 184 devaient être débattues par le comité d’évaluation multidisciplinaire et 260 n’ont pas été prises en compte pour du financement. Les 138 membres du comité ont discuté des demandes lors de réunions virtuelles, qui se sont déroulées du 7 au 11 mars 2022. Réparties dans six salles virtuelles, ces réunions étaient présidées par trois coprésidentes et coprésidents représentant chacun des trois organismes de financement de la recherche. Au terme des discussions, les membres étaient invités à modifier les notes attribuées, au besoin.

À la fin de la semaine de délibérations, les coprésidentes et coprésidents responsables des six réunions se sont réunis pour rédiger leurs recommandations finales.

Observations

Une fois le processus d’évaluation terminé, chacun des six groupes virtuels a tenu une discussion stratégique. Une autre discussion du même genre a ensuite eu lieu avec l’ensemble des coprésidentes et coprésidents. En général, comme pour les années antérieures, les membres avaient une vision positive du programme et du déroulement du concours. Vous trouverez ci-dessous le résumé des discussions et des suggestions.

Équité, diversité et inclusion

• La qualité de certains plans en matière d’équité, de diversité et d’inclusion s’améliore. Les candidates et candidats semblent continuer à suivre des formations et à acquérir des apprentissages, ce qui se reflète dans de solides plans en matière d’équité, de diversité et d’inclusion. Les demandes qui ont obtenu de bons résultats sur le critère de l’équité, de la diversité et de l’inclusion expliquaient leur contexte particulier de même que les actions qui seraient mises en œuvre et la façon dont leurs impacts seront mesurés.
• Les membres ont observé qu’il y a encore de la place pour l’amélioration car de nombreuses candidates et de nombreux candidats ont été très génériques dans leurs énoncés sur l’équité, la diversité et l’inclusion, plusieurs se basant largement sur les plans institutionnels, malgré les instructions indiquant clairement que ceux-ci peuvent être utilisés mais doivent être adaptés au contexte particulier des domaines et des équipes concernés.
• Certains membres ont fait écho à la suggestion de 2020 d’intégrer le plan en matière d’équité, de diversité et d’inclusion dans la demande dans le but de s’assurer que les candidates et candidats intègrent les pratiques de mise en œuvre de l’équité, de la diversité et de l’inclusion dans leur recherche plutôt que comme une activité distincte. Les membres reconnaissent que cette approche nécessiterait une orientation supplémentaire pour les candidates et candidats, en particulier en ce qui concerne la différenciation entre les considérations pour l’environnement de recherche (équipe) et celles pour la conception de la recherche (analyse comparative entre les sexes plus), qui est actuellement évaluée dans le cadre du critère de faisabilité.
• Les membres ont été invités à commenter une suggestion du comité d’évaluation multidisciplinaire de 2020 visant à mettre en œuvre une matrice d’évaluation non binaire et plus nuancée pour le critère de l’équité, de la diversité et de l’inclusion (Réussite solide/Réussite mitigée/Échec). Bien que certains membres aient soutenu cette approche, estimant que l’utilisation d'une échelle plus granulaire enverrait un message plus fort aux candidates et candidats, il y avait un certain nombre de points de vue opposés. Les membres ont fait remarquer que l'échelle binaire réussite/échec envoie un message important à la communauté et ne veulent pas que les propositions ayant une « réussite mitigée » soient considérées comme finançables. Certains ont suggéré que l’utilisation d’une échelle plus granulaire pourrait servir uniquement à faciliter les discussions des membres, l’échelle binaire réussite/échec continuant à être utilisée pour les candidates et candidats, tandis que d’autres ont estimé que cela pourrait compliquer l’évaluation. Une suggestion intéressante a été faite : si des évaluations plus nuancées sont adoptées, les catégories devraient être : Réussite solide/Réussite mitigée/Échec, avec le raisonnement qu’une Réussite mitigée ne favoriserait pas un réel changement, alors qu’un Échec mitigé, considéré comme un Échec du point de vue du Fonds, informerait les candidates et candidats qu’elles et ils sont sur la bonne voie.

Interdisciplinarité et concordance avec les critères du Fonds

• Certains membres ont suggéré que le critère de l’interdisciplinarité, y compris le sous-critère « Concordance avec le programme », fasse l'objet d’un espace dédié dans la demande, similaire au critère de l’équité, de la diversité et de l’inclusion, pour que les candidates et candidats puissent justifier la façon dont leur proposition s’inscrit dans le volet Exploration. Les membres ont eu l’impression que cette année, dans une plus grande proportion que lors des concours précédents, les demandes soumises au fonds Nouvelles frontières en recherche auraient pu être financées par les programmes d’autres organismes fédéraux. Dans de nombreux cas, on avait l’impression que les demandes avaient été recyclées après avoir échoué à d’autres concours.
• Il a été suggéré que la présentation de projets financés par le volet Exploration pourrait être un moyen efficace de souligner davantage les attentes en matière de recherche interdisciplinaire et la différence entre la recherche multidisciplinaire et la recherche interdisciplinaire.
• Les équipes qui ont l’habitude de collaborer devraient souligner la nouveauté de l’approche interdisciplinaire dans la proposition, en quoi elle diffère des autres projets sur lesquels elles ont travaillé ou travaillent actuellement, et pourquoi cette approche est nécessaire.

Haut risque, haut rendement et faisabilité

• Les membres continuent d’être surpris par le nombre de demandes qui ne traitent pas clairement et distinctement de la nature à haut risque et à haute rendement. Il a été suggéré d’exiger que la structure des demandes soit plus uniforme (utilisation d’en-têtes spécifiques dans l’ordre) et de rappeler à nouveau aux candidates et candidats que les demandes doivent être rédigées dans un langage qui peut être évalué par un comité multidisciplinaire possédant une vaste expertise.
• Certains membres ont suggéré que les demandes soient élargies afin de laisser plus d’espace aux candidates et candidats pour aborder les éléments requis pour démontrer la faisabilité du projet (p. ex., discuter de l’état de l’art, de l’approche proposée).
• Les membres ont fourni des commentaires utiles sur la façon de décrire le haut rendement, en ce qui a trait aux sciences humaines. Étant donné que les relations sociales évoluent très lentement, l’impact d’une innovation (le rendement d’une innovation résultant d’un projet de recherche risqué) peut n'être compris que plusieurs années plus tard. Par conséquent, il peut être difficile, dans le domaine des sciences humaines, d’affirmer qu’un projet est à la fois très risqué et très rentable.

Réunion et processus d’évaluation

• Tout en comprenant la nécessité des réunions virtuelles et en reconnaissant qu’elles étaient efficaces et agréables, les membres se sont ennuyés des réunions en personne. Elles et ils estiment que le fait de pouvoir écouter les discussions sur les demandes qui ne leur sont pas assignées aide à établir et à maintenir l’étalonnage entre les comités et à assurer une compréhension commune de ce qui constitue « l’excellence » pour chaque critère. Cependant, il a également été noté que les réunions virtuelles sont plus accessibles. Un retour aux réunions en personne devrait permettre la participation de certains membres virtuellement (modèle hybride) et être plus compact afin de réduire la durée des réunions.