Concours 2018 du volet Exploration du fonds Nouvelles frontières en recherche – Concours du volet Exploration : Rapport des coprésidents

Le rapport des coprésidents du comité d’évaluation multidisciplinaire du fonds Nouvelles frontières en recherche portant sur le concours inaugural de 2018 du volet Exploration du fonds est soumis au Comité de coordination de la recherche au Canada.

Coprésidents

Déroulement du concours

Le comité d’évaluation multidisciplinaire s’est réuni pendant deux journées complètes (les 26 et 27 mars 2019) afin de discuter des 321 demandes ayant obtenu les meilleures cotes parmi les 1 315 propositions admissibles soumises dans le cadre du concours. Les demandes avaient été sélectionnées en fonction des classements établis par les évaluateurs avant la réunion. Lors de la réunion, chacune a fait l’objet d’une discussion au sein de l’un des cinq sous-comités établis. Les conflits d’intérêts ont été gérés conformément aux politiques interorganismes régissant les processus d’évaluation par les pairs.

Après la discussion sur les demandes, les membres étaient invités à choisir celles qui, à leur avis, étaient les plus méritoires; ils pouvaient retenir jusqu’à 50 % des demandes qui atteignaient le seuil d’excellence. Les votes des membres ont été compilés, et un classement a été dressé pour chacun des sous-comités. Les coprésidents des cinq sous-comités (15 au total) se sont ensuite réunis pour dresser le classement final et préparer la recommandation du comité d’évaluation multidisciplinaire. Après avoir discuté avec les membres et pris en considération leurs points de vue divers, les coprésidents ont recommandé de financer 157 demandes, soit environ 31 par sous-comité, pour un budget total de 38,43 millions de dollars sur deux ans. Les coprésidents ont convenu à l’unanimité de ne pas excéder le seuil de financement établi pour les demandes les plus méritoires.

Observations

Au terme du déroulement du concours, des discussions ont eu lieu dans les salles de réunion et une discussion finale s’est tenue par la suite en présence de tous les coprésidents. En général, les membres avaient une opinion très positive du programme et du déroulement du concours, tout en reconnaissant que ses caractéristiques et les délais serrés ont causé de nombreuses difficultés aux candidats, au personnel et aux membres eux-mêmes. Leurs suggestions pour les concours à venir sont présentées ci-dessous.

Évaluation multidisciplinaire

• Le comité d’évaluation multidisciplinaire était composé de personnes possédant de l’expérience et de l’expertise en réalisation ou en évaluation de projets multidisciplinaires, ou ayant contribué à ces types de projets. L’étendue des thèmes abordés dans les demandes, couvrant les mandats des trois organismes, a constitué pour plusieurs membres un exercice d’évaluation d’un degré inédit de multidisciplinarité. Les discussions ont été fertiles et approfondies, et les membres ont apprécié l’expérience : à leur avis, cette approche convient bien au programme.
• Certains membres ont suggéré l’ajout d’un examen par des experts externes au processus d’évaluation des futurs concours, tout en concédant que cette approche pourrait mener à l’élimination de projets de recherche plus audacieux.
• Les membres ont par ailleurs souligné l’importance de l’utilisation, dans les demandes, d’un langage clair et simple, compréhensible pour un public diversifié. Celles qui se démarquaient par la densité du propos ou par leur jargon technique étaient aussi difficiles à lire qu’à comprendre.
• Les comités bénéficieraient de l’ajout d’un plus grand nombre de chercheurs en début de carrière.

Haut risque, haut rendement et faisabilité

• Le comité a discuté des notions de haut risque et de faisabilité des projets. Les membres ont l’habitude de considérer le projet proposé (méthodologie, etc.) et sa faisabilité comme des composantes de l’évaluation globale d’une proposition de recherche. Selon eux, les lignes directrices doivent être clarifiées, le critère de haut risque s’appliquant à l’approche proposée, celui de faisabilité s’appliquant à la capacité des chercheurs d’exécuter les travaux (ce qui comprend une méthodologie raisonnable, une expérience suffisante au sein de l’équipe, l’accès à l’équipement et à l’infrastructure essentiels, etc.).
• Les membres ont aussi eu l’impression que certains candidats semblaient confondre la notion de nouveauté avec celle de risque. Bien que les projets innovants soient souvent plus risqués, une approche innovante n’est pas forcément à haut risque. Les membres ont suggéré de clarifier la différence dans la documentation du programme en expliquant, par exemple, qu’un projet à haut risque 1) peut échouer ou 2) est fondé sur une proposition si innovante qu’il est impossible d’en prévoir les résultats. Afin d’encourager un plus grand nombre de chercheurs à concevoir et à proposer des projets à haut risque, il a aussi été recommandé que la documentation du programme indique que l’on s’attend à ce que certains projets échouent.
• Les membres ont relevé le nombre relativement faible de demandes issues des sciences sociales et des sciences humaines. Ils ont suggéré de revoir la documentation du programme, afin que les spécialistes des sciences sociales et des sciences humaines voient clairement où est leur place au sein du programme (p. ex. définir les projets à haut rendement en tant que projets produisant des résultats ayant une « portée profonde »).
• Les termes en français n’ont pas la même signification qu’en anglais. Rendement (en anglais « high reward ») peut avoir une connotation financière et décourager certains candidats de soumettre une demande s’ils estiment que l’incidence possible de leur recherche n’entraîne pas de retombées économiques.

Interdisciplinarité

• Le concours inaugural du volet Exploration définissait l’interdisciplinarité au moyen des nouveaux codes de la Classification canadienne de la recherche et du développement, en fonction desquels sont réparties les diverses disciplines scientifiques. La souplesse de la définition a permis à certains candidats de proposer des projets de recherche recoupant des disciplines déjà liées par une longue tradition de collaboration. Les demandes qui ont fait l’objet de discussions et qui ont été retenues ont été celles qui repoussaient les limites de l’interdisciplinarité.
• Certains membres ont suggéré de modifier la définition de l’interdisciplinarité pour n’admettre que les propositions dont la portée englobe plus d’un organisme; d’autres membres étaient en désaccord avec cette idée. Les membres ont convenu que les candidats devraient expliquer en quoi leur projet satisfait aux critères du programme.

Equité, diversité et inclusion

• Les membres ont discuté des défis associés à l’évaluation du critère d’équité, de diversité et d’inclusion (EDI). Bien que plusieurs membres étaient d’avis que l’accent mis sur ce critère est approprié et que la section à ce sujet devrait apparaître d’entrée de jeu dans la demande, afin de souligner son importance, d’autres ont jugé particulièrement difficile d’évaluer les demandes à l’aune de ce critère.
• La conséquence d’un « échec » dans l’évaluation du critère d’EDI a également fait l’objet de discussion. Une fois de plus, certains membres étaient pleinement en accord avec cette approche et suggéraient même d’appliquer plus sévèrement ce critère, alors que d’autres remettaient en question les conséquences d’un échec sur le plan de l’EDI, rendant la demande non admissible au financement. Pour résoudre cette divergence d’opinions, l’un des membres a suggéré de passer d’une évaluation limitée à l’alternative réussite/échec à une échelle de notation.
• Le processus d’évaluation du critère d’EDI a également suscité des divergences d’opinions. Certains membres estimaient ne pas posséder l’expertise requise pour évaluer ce critère et ont suggéré de déléguer cette responsabilité à un comité d’évaluation interorganismes interne ou à un comité composé de personnes plus expérimentées en la matière.
• En plus d’établir les pratiques exemplaires en gestion de l’EDI dans l’environnement de recherche d’un projet, les membres ont également suggéré de demander aux candidats de déterminer les défis relatifs à l’EDI propres à leur projet (en partant du principe que tout projet pose des défis à cet égard) et de présenter leur plan pour les relever. Cette approche permettrait aux candidats d’examiner le contexte particulier de leur recherche et d’établir les mesures concrètes prises ou à prendre pour renforcer l’EDI.

Recherche Autochtone

• Les membres ont remarqué que plusieurs demandes ayant trait à la recherche autochtone n’étaient pas incluses dans cette catégorie (en cochant la case prévue à cette fin) par les candidats.
• Pour pallier ce problème, les membres ont suggéré de faire appel à un comité distinct d’experts en recherche autochtone pour passer en revue toutes les demandes concernées avant la réunion du comité d’évaluation multidisciplinaire, ou d’inclure des experts dans chacun des sous-comités.

Processus d’évaluation

• Les membres étaient d’accord avec l’idée de trier les demandes plus tôt dans le processus, afin que cela représente moins de travail pour les candidats comme pour les membres du comité.
• Les membres ont jugé par ailleurs que la longueur des demandes était appropriée, mais certains ont suggéré de donner des directives plus précises quant à la longueur de chaque section et de recueillir plus d’information sur les membres des équipes.