Manuel de l’évaluateur : 2019 Exploration

Objet

Ce manuel est un guide destiné aux évaluateurs du concours 2019 du volet Exploration du fonds Nouvelles frontières en recherche. Il décrit les activités  que devront mener les évaluateurs externes ainsi que les membres et les coprésidents du comité, et il fait état des politiques, des lignes directrices et des résultats attendus eu égard à ces activités. Les candidats qui consultent ce manuel dans le site Web doivent noter qu’il a été conçu de manière à orienter les évaluateurs et à mettre l’accent sur des principes, plutôt qu’à fournir un ensemble de règles.

Mot de remerciement

Au nom du Comité de coordination de la recherche au Canada (CCRC), nous souhaitons vous remercier d’avoir accepté de participer au processus d’évaluation du concours 2019 du volet Exploration du fonds Nouvelles frontières en recherche. Le processus d’évaluation ne peut réussir que grâce à des personnes dévouées comme vous, qui offrent généreusement leur temps et leur expertise. Le CCRC et le milieu de la recherche apprécient énormément vos efforts.

Il est essentiel que les membres du comité et les évaluateurs externes lisent au complet les sections pertinentes de ce document avant d’évaluer les demandes qui leur ont été attribuées. Il est possible d’obtenir des éclaircissements à tout moment auprès du personnel du fonds Nouvelles frontières en recherche.

Aperçu du concours 2019 du volet Exploration

Le volet Exploration du fonds Nouvelles frontières en recherche vient appuyer la recherche interdisciplinaire à haut risque et à haut rendement qui repousse les limites de ce qui est actuellement soutenu par l’entremise des occasions de financement offertes par les trois organismes subventionnaires fédéraux. Il vise à susciter la réalisation de projets qui réunissent diverses disciplines en allant au-delà des approches disciplinaires classiques ou des approches interdisciplinaires courantes Et qui sont menés par des équipes de recherche  capables d’explorer de nouvelles avenues et dont les travaux, qui pourraient déboucher sur un échec, sont susceptibles d’avoir des répercussions considérables. Les subventions accordées au titre du volet Exploration appuient des projets qui ont un impact, notamment sur le plan social, économique, environnemental, scientifique, artistique ou culturel. Cette liste n’est pas exhaustive, et des projets qui pourraient avoir d’autres types d’impacts sont également soutenus.

Pour plus de précisions sur le concours 2019, y compris sur les exigences en matière d’admissibilité, on peut consulter la page Concours 2019 du volet Exploration. Les instructions relatives à l’avis d'intention de présenter une demande, à la lettre d'intention de présenter une demande et à la présentation d'une demande fournissent plus de détails sur les renseignements exigés à chaque étape du concours.

Principes de l’évaluation du mérite

Équité

Le succès du système d’évaluation du mérite du fonds dépend de la volonté et de la capacité de tous les participants au processus d’évaluation d’être impartiaux et raisonnables, de faire preuve d’un jugement rigoureux, de comprendre le contexte propre à chaque demande et d’en tenir compte de manière équitable.

Préjugés

Les membres sont tenus d’éviter en tout temps des laisser des préjugés inconscients influencer le processus décisionnel, qu’ils soient fondés sur une quelconque école de pensée, sur l’opposition entre la recherche fondamentale et la recherche appliquée, sur certaines sous-disciplines, sur des domaines ou des méthodes de recherche (y compris les nouveaux domaines et les nouvelles méthodes), sur la taille ou la réputation d’un établissement, sur l’âge, le sexe ou le genre d’un candidat ou d’autres facteurs personnels. Les membres sont mis en garde contre toute évaluation d’une demande qui serait fondée sur de tels facteurs. Avant de pouvoir examiner la moindre demande, les membres doivent d’abord suivre en ligne le module de formation portant sur les préjugés inconscients.

Confidentialité et conflits d’intérêts

La Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche assure la gestion efficace des conflits d’intérêts de tout participant au processus d’évaluation et garantit, au cours du processus d’évaluation, la confidentialité des renseignements personnels et de l’information commerciale communiqués au fonds.

Conflit d’intérêts

Il incombe aux membres d’évaluer les mérites des demandes qui leur ont été confiées, à l’exception de celles qui présentent un conflit d’intérêts.

Il y a conflit d’intérêts quand il y a conflit entre les obligations et les responsabilités d’un participant à un processus d’évaluation et ses intérêts privés, professionnels, d’affaires ou publics. Il peut y avoir un conflit d’intérêts réel, apparent ou potentiel lorsqu’un membre du comité d’évaluation, un évaluateur externe, un répondant ou un observateur :

• pourrait tirer un avantage professionnel ou personnel du fait de l’évaluation de la demande;
• entretient une relation professionnelle ou personnelle avec un candidat (cela comprend les chercheurs principaux, les cochercheurs principaux, les cocandidats et les collaborateurs) ou l’établissement d’un candidat;
• a un intérêt financier direct ou indirect lié à la demande évaluée.

Il peut y avoir un conflit d’intérêts réel, apparent ou potentiel lorsqu’un membre du comité, un évaluateur externe ou un observateur se trouve dans l’une des situations suivantes :

• il est parent ou ami avec l’un des candidats ou entretient avec lui une relation personnelle;
• il pourrait obtenir ou perdre un avantage financier ou matériel par suite du financement de la demande;
• il a des différends scientifiques ou personnels de longue date avec l’un des candidats;
• il est affilié à l’établissement, l’organisme ou l’entreprise d’un candidat, ce qui comprend les hôpitaux de recherche et les instituts de recherche;
• il est affilié sur le plan professionnel avec l’un des candidats si, au cours des six dernières années,
  • il a eu des interactions fréquentes et régulières avec l’un des candidats dans le cadre de fonctions exercées au sein d’un même service, d’un même établissement, d’un même organisme ou d’une même entreprise;
  • il a été le superviseur ou le stagiaire de l’un des candidats;
  • il a collaboré, publié ou partagé des fonds avec l’un des candidats ou prévoit le faire dans un proche avenir;
  • il a été à l’emploi de l’établissement de l’un des candidats;
• il estime, pour quelque raison que ce soit, être incapable de faire une évaluation impartiale de la demande.

Tous les membres sont assujettis aux mêmes lignes directrices en matière de conflits d’intérêts. Tout membre qui se trouve dans l’une de ces situations doit déclarer qu’il est en conflit d’intérêts et quitter la pièce lorsque la discussion porte sur la demande en cause. Le personnel du fonds et les coprésidents trancheront en cas d’incertitude.

Confidentialité

Les renseignements fournis par les candidats dans leur demande sont protégés en vertu de la Loi sur la protection des renseignements personnels et ne sont communiqués qu’aux fins de l’évaluation. Les détails de la demande, les notes, les discussions du comité et les recommandations ayant trait à une demande donnée sont des renseignements confidentiels et ne doivent jamais être divulgués. Seul le personnel du fonds peut communiquer l’information. Quelles que soient les circonstances, les membres du comité ne doivent jamais communiquer à quiconque les recommandations émanant des réunions d’évaluation du mérite; ceci s’applique aussi quand le concours est terminé et que l’on annonce à qui sont attribués les fonds.

Les recommandations de financement que fait le comité d’évaluation sont soumises à l’approbation du Comité de coordination de la recherche au Canada et peuvent être modifiées pour des raisons liées au budget, à une erreur administrative ou à un manquement aux politiques.

Les membres du comité ne doivent pas dévoiler aux candidats, ni à aucune autre personne ne faisant pas partie du comité, quelque renseignement que ce soit se rapportant à l’évaluation d’une demande donnée, ni formuler d’opinions quant aux probabilités de réussite ou d’échec d’un candidat. De leur côté, les candidats ne doivent pas communiquer avec les membres du comité au sujet de l’état de leur demande (notes, classement, etc.). La loi garantit aux candidats l’accès à leur dossier de candidature. Par conséquent, tous les documents écrits ayant servi à l’évaluation d’une demande sont mis à la disposition du candidat quand il est informé de la décision prise. Cela comprend les observations écrites des évaluateurs externes, mais exclut toute note et toute observation d’un membre du comité qui n’ont pas été communiquées par écrit aux autres membres.

Rôles et responsabilités

Comité directeur

Pour tous les concours, le comité directeur est le Comité de coordination de la recherche au Canada. Il veille à ce que le processus d’évaluation se déroule avec rigueur, objectivité et transparence, dans le respect des normes d’excellence des organismes subventionnaires et en conformité avec les objectifs du programme. Le comité prend aussi les décisions concernant les demandes qui seront financées, ceci en fonction des recommandations du comité d’évaluation.

Comité d’évaluation multidisciplinaire

Composition du comité

Le Comité d’évaluation multidisciplinaire est formé d’experts représentant les diverses disciplines de recherche des trois organismes qui subventionnent la recherche, à savoir et le Conseil de recherche en sciences humaines (CRSH), le Conseil de recherches en sciences naturelles et en génie (CRSNG) et les Instituts de recherche en santé du Canada (IRSC). Pour obtenir une répartition équilibrée des membres, on tient compte de facteurs tels que le champ d’expertise, la langue, l’appartenance aux quatre groupes désignés – femmes, Autochtones, personnes handicapées et personnes de minorités visibles. On tient aussi compte de la région, de la taille de l’établissement, de l’étape à laquelle le candidat est parvenu dans sa carrière, de la connaissance des pratiques exemplaires en matière d’équité, de diversité et d’inclusion, de l’expérience de la recherche avec des Autochtones, ainsi que de l’inclusion de personnes qui ne font pas partie du milieu universitaire. Les membres sont choisis de façon à ce que le comité puisse être en mesure d’évaluer des propositions présentées dans les deux langues officielles du Canada.

Les membres évaluent les demandes qui leur sont attribuées et, collectivement, présentent au comité directeur leurs recommandations quant à celles qui doivent être financées.

Coprésidents

À l’étape de la demande, il incombe aux coprésidents du Comité d’évaluation multidisciplinaire de faire en sorte que le Comité fonctionne de manière harmonieuse, efficace et objective, et qu’il respecte les politiques du fonds. Les coprésidents instaurent un climat positif, constructif et équitable en vue de l’évaluation des demandes. Ils assument un rôle de supervision générale et participent aussi à l’évaluation des demandes.

Les responsabilités des coprésidents consistent à :

• veiller à ce que la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche soit respectée avant, pendant et après la réunion;
• assurer l’intégrité et la qualité du processus d’évaluation du mérite et veiller à ce que chaque demande fasse l’objet d’une évaluation équitable (que le processus d’évaluation du mérite se déroule de façon impartiale et soit équitable envers tous les candidats) en fonction de tous les critères;
• s’assurer que les demandes ayant trait à la recherche autochtone sont évaluées conformément aux Lignes directrices pour l’évaluation du mérite de la recherche autochtone;
• suivre le module de formation en ligne sur les préjugés inconscients et le processus d’évaluation par les pairs;
• participer à des réunions ou à des discussions préparatoires et à des séances d’information avant la réunion d’évaluation du mérite;
• faire participer tous les membres du comité à l’évaluation des demandes;
• veiller à ce que les membres du comité tiennent compte de tous les documents dans l’évaluation des demandes;
• guider les membres du comité vers l’atteinte d’une recommandation consensuelle, le cas échéant;
• aider à préparer les observations qui seront transmises aux candidats, le cas échéant;
• participer aux discussions sur les questions ayant trait aux politiques du fonds;
• participer aux discussions portant sur la composition du comité d’évaluation multidisciplinaire pour les prochains concours;
• s’assurer que tous les documents confidentiels qui leur ont été remis sont traités en toute sécurité et éliminés conformément aux politiques du fonds.

Membres du Comité d’évaluation multidisciplinaire

Les membres évaluent les demandes et formulent des recommandations au comité directeur en fonction de leur évaluation. Ils doivent en particulier :

• s’assurer de respecter la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche avant, pendant et après les évaluations et la réunion;
• assurer l’intégrité et la qualité du processus d’évaluation du mérite et veiller à ce que chaque demande fasse l’objet d’une évaluation équitable (que le processus d’évaluation du mérite se déroule de façon impartiale et soit équitable envers tous les candidats) en fonction de tous les critères;
• s’assurer que les demandes ayant trait à la recherche autochtone sont évaluées conformément aux Lignes directrices pour l’évaluation du mérite de la recherche autochtone;
• suivre le module de formation en ligne sur les préjugés inconscients et le processus d’évaluation par les pairs;
• participer à des réunions ou à des discussions préparatoires et à des séances d’information avant les évaluations et la réunion d’évaluation du mérite, le cas échéant;
• procéder à l’évaluation approfondie des demandes qui leur sont attribuées;
• attribuer des notes aux demandes qu’ils ont évaluées avant l’échéance et avant la réunion d’évaluation du mérite, le cas échéant;
• tenir compte de tous les documents dans l’évaluation des demandes;
• participer à l’examen des demandes qui leur ont été attribuées en faisant part de vive voix de leur évaluation à tous les membres du comité pendant la réunion, le cas échéant;
• aider à préparer les observations qui seront transmises aux candidats, le cas échéant;
• participer à la discussion portant sur toutes les demandes pertinentes et à leur examen, selon leur rôle, le cas échéant;
• s’assurer que tous les documents qui leur ont été remis sont traités en toute sécurité et éliminés conformément aux politiques du fonds.

Personnel du fonds Nouvelle frontières en recherche

Le personnel du fonds est habituellement représenté au cours des réunions d’évaluation du mérite par le directeur, le directeur adjoint ou le gestionnaire et les agents de programme. Ils doivent notamment :

• s’assurer que le comité respecte la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche avant, pendant et après la réunion;
• assurer l’intégrité et la qualité du processus d’évaluation du mérite et veiller à ce que chaque demande fasse l’objet d’une évaluation équitable (que le processus d’évaluation du mérite se déroule de façon impartiale et soit équitable envers tous les candidats) en fonction de tous les critères;
• attribuer les demandes aux membres du comité;
• donner des conseils et des consignes au comité au sujet des politiques du fonds;
• veiller à ce que les membres du comité tiennent compte de tous les documents dans l’évaluation des demandes;
• prendre des notes sur les aspects procéduraux des fonctions du comité;
• consigner les observations des membres du comité au sujet de chacune des demandes, le cas échéant;
• de concert avec les coprésidents, gérer les conflits d’intérêts, le cas échéant;
• consigner les préoccupations exprimées par le comité au sujet de questions auxquelles le personnel devra prêter attention par la suite;
• s’assurer que tous les documents fournis aux fins de l’évaluation sont traités en toute sécurité et éliminés conformément aux politiques du fonds;
• faciliter l’approbation finale des demandes recommandées par le comité directeur.

Demandes et documents d’évaluation

Demande incomplète ou non conforme

Il incombe aux candidats de fournir des renseignements complets et suffisants, conformément aux Normes de présentation et présentation des pièces jointes du portail Convergence, aux instructions du Guide de soumission de l’avis d’intention de présenter une demande, du Guide de soumission de la lettre d’intention de présenter une demande et du Guide de présentation d’une demande. Tout problème concernant le contenu de la demande doit être signalé au personnel. Afin d’assurer l’équité dans le déroulement du concours, les candidats doivent respecter les lignes directrices régissant la préparation des documents qui accompagnent la demande. Si le personnel détermine que les renseignements fournis sont incomplets ou qu’ils ne sont pas conformes aux lignes directrices ou aux instructions, la demande peut être rejetée.

Admissibilité des candidats

Le personnel du programme du fonds est responsable des décisions concernant l’admissibilité. Les membres qui éprouvent des doutes quant à l’admissibilité d’un chercheur doivent évaluer sa demande de la même manière que les autres et, dès que possible, aviser le personnel du fonds de problèmes possibles. On peut consulter les critères servant à déterminer l’admissibilité des candidats à la section Admissibilité de la description de l’occasion de financement.

Recherche  autochtone

Si un membre du comité ou un évaluateur externe reçoit une proposition dans laquelle la réponse à la question « Votre proposition est-elle liée à la recherche autochtone telle que le CRSH la définit? » est « Oui », l’ Énoncé de principes en matière de recherche autochtone et les Lignes directrices pour l’évaluation du mérite de la recherche autochtone doivent être utilisés comme références pour l’évaluation de cette demande qui a trait à la recherche autochtone ou comporte de la recherche autochtone. Ces lignes directrices sont fournies pour aider les évaluateurs à mieux comprendre la recherche autochtone et les activités qui y sont reliées et à interpréter les critères d’évaluation propres au contexte de recherche autochtone.

Indicateurs de mérite

Les indicateurs de mérite sont présentés dans une grille qualitative qui énonce les principales caractéristiques dont les membres doivent tenir compte pour attribuer une cote à chaque critère. Bien que quatre cotes seulement soient décrites pour les critères de sélection (exception faite de l’interdisciplinarité/concordance avec les critères du programme et en matière d’équité, diversité et inclusion), les membres peuvent choisir une cote située entre chacune de celles qui sont décrites, ce qui donne un barème de sept cotes :

Toutes les demandes sont évaluées en fonction des mêmes indicateurs de mérite. On incite les membres à utiliser toute la gamme de cotes prévues, selon les besoins, afin d’assurer une répartition des cotes qui reflète la qualité des demandes évaluées. On s’attend à ce que les membres discutent des cotes et les justifient (ou les rajustent) à l’étape de la lettre d’intention et à celle de la demande.

Types de risques

Il est demandé aux évaluateurs de recueillir, à des fins d’analyse, de l’information sur tous les types de risques présents dans les projets de recherche proposés en se servant de la liste suivante :

• la remise en question des perspectives ou des paradigmes de recherche actuels;
• l’utilisation d’équipement, de techniques ou d’approches qui se sont avérés – ou sont présumés – être extrêmement difficiles;
• le recours à une association sans précédent de disciplines ayant des points de vue différents;
• le fait d’aborder le  projet d’un point de vue interdisciplinaire inhabituel en vue d’utiliser des approches novatrices pour résoudre des problèmes existants;
• les autres risques (indiquer chacun d’eux dans une zone de texte);
• pas de risques.

Sources de préoccupation

Il est demandé aux évaluateurs d’identifier les sources de préoccupation (« autres considérations » dans le cas des évaluateurs externes) dont ils perçoivent l’existence dans le projet de recherche proposé à partir d’une liste qui, selon l’étape et les types d’évaluation, pourrait comprendre un ou plusieurs des éléments suivants :

• budget;
• équité, diversité et inclusion;
• interdisciplinarité/concordance avec les critères du programme;
• ACS+ / ACSG (analyse comparative entre les sexes plus / analyse comparative fondée sur le sexe et le genre);
• autres préoccupations;
• pas de préoccupations;
• précisions sur les sources de préoccupation indiquées.

Budget

Le budget proposé ne constitue pas un critère de sélection et n’est habituellement pas abordé, sauf s’il peut avoir une incidence sur l’évaluation de la faisabilité du projet, en ce qui a trait à la possibilité de mener à bien la recherche avec les ressources proposées. Toutefois, si un membre constate une dépense qui n’est pas admissible selon le Guide des subventions du fonds Nouvelles frontières en recherche – volet Exploration ou qui est largement surestimée, il doit porter ce fait à l’attention du personnel du fonds.

Comment avoir accès aux demandes à évaluer

Tous les membres du comité et les évaluateurs externes ont accès aux demandes à évaluer par l’entremise du portail Convergence. Cet accès ne leur est accordé que pour les demandes qui leur ont été attribuées.

Membres du Comité d’évaluation multidisciplinaire

Les membres reçoivent un courriel contenant des instructions détaillées leur demandant d’ouvrir une session dans le portail Convergence et d’entrer leurs renseignements biographiques, y compris leurs champs de recherche, dans leur profil personnel. À la suite de cette étape, ils reçoivent un courriel leur demandant d’accepter les Modalités du portail Convergence. Ils ne peuvent poursuivre le processus d’évaluation qu’après avoir accepté les Modalités. Une fois celles-ci acceptées, deux nouveaux onglets apparaissent dans l’écran d’accueil après l’ouverture de la session dans le portail Convergence : Comités – Conflits et Comités – Attributions. Si les Modalités ont été acceptées avant que les demandes n’aient été attribuées, les deux onglets sont vides.

Évaluateurs externes

Les évaluateurs externes reçoivent un courriel contenant des instructions détaillées leur demandant d’ouvrir une session dans le portail Convergence et d’entrer leurs renseignements biographiques, y compris leurs champs de recherche, dans leur profil personnel. À la suite de cette étape, ils reçoivent un courriel leur demandant d’accepter les Modalités du portail Convergence. Ils ne peuvent poursuivre le processus d’évaluation qu’après avoir accepté les Modalités. Une fois celles-ci acceptées, un nouvel onglet apparaît dans l’écran d’accueil après l’ouverture de la session dans le portail Convergence : Évaluateur – Attributions. Si les Modalités ont été acceptées avant que les demandes ne soient prêtes pour l’évaluation, cet onglet est vide.

Peu après la date limite, les évaluateurs externes reçoivent un courriel les informant que les demandes qui leur ont été attribuées sont prêtes sous l’onglet Évaluateur – Attributions. Tout problème ayant trait à l’attribution des demandes doit être signalé au personnel du fonds le plus rapidement possible et quelle que soit l’étape où en est le processus.

Processus d’évaluation

Étape de la lettre d’intention

L’objectif de l’étape de la lettre d’intention est de déterminer les candidats qui sont les plus méritoires et qui seront invités à passer à l’étape de la demande.

Calendrier

Évaluation par le Comité d’évaluation multidisciplinaire (étape de la lettre d’intention)

Attribution des lettres d’intention à évaluer

Chaque lettre d’intention est attribuée à trois membres aux fins d’évaluation. Deux des trois membres se voient attribuer les demandes en fonction de points communs entre leurs champs de recherche et le sujet de la proposition, conformément à la Classification canadienne de la recherche et du développement. Le troisième membre n’aura pas d’expertise disciplinaire et fournira ainsi une évaluation d’un point de vue interdisciplinaire ou non expert. Les capacités linguistiques et les conflits d’intérêts institutionnels sont pris en compte pour l’attribution des lettres d’intention aux membres.

Vérification des conflits d’intérêt

Peu après la date limite fixée pour la présentation des lettres d’intention, les membres reçoivent un courriel les informant que la liste des demandes qui leur sont attribuées est prête. Ils doivent ouvrir une session dans le portail Convergence, prendre connaissance du sommaire de chacune des lettres d’intention qui leur est attribuée et signaler tout conflit d’intérêts. Une fois qu’un membre a coché toutes les lettres d’intention qui lui sont attribuées et pour lesquelles il y a conflit d’intérêts, il a immédiatement accès aux lettres d’intention pour lesquelles il n’a pas signalé de conflit d’intérêts. Des changements mineurs peuvent être apportés à l’attribution des lettres d’intention quand des conflits d’intérêts sont signalés par les membres. Tous les problèmes doivent être signalés au personnel du fonds le plus rapidement possible et à toute étape du processus.

Évaluation

Toutes les lettres d’intention admissibles doivent être évaluées et cotées conformément aux grilles d’évaluation pour trois critères de sélection :

• haut risque : 50 p. 100 de la cote totale;
• haut rendement : 50 p. 100 de la cote totale;
• interdisciplinarité/concordance avec les critères du programme (réussite/échec).

Les membres attribuent l’une des sept cotes pour le critère de haut risque et font de même pour le critère de haut rendement (voir Indicateurs de mérite).

Les membres font aussi des observations sur :

• les types de risques (voir Types de risques);
• l’interdisciplinarité/la concordance avec les critères du programme (si la cote attribuée est « échec »);
• toute source de préoccupation ou observation relative à la proposition (voir Sources de préoccupation);
• toute information contenue dans les pièces jointes qui permet d’identifier un candidat : à l’étape de la demande, l’évaluation externe se fait à double insu; il est donc important qu’aucun renseignement permettant d’identifier les candidats ne figure dans les sections auxquelles les évaluateurs externes ont accès.

Résultats

Une fois que toutes les cotes ont été rassemblées par le personnel du fonds, la cote moyenne attribuée pour les critères de haut risque, de haut rendement et de faisabilité est établie pour chaque lettre d’intention et une cote d’ensemble est calculée. Cela sert à déterminer les lettres d’intention les mieux classées, dont les auteurs seront invités à présenter une demande. La « cote limite » est établie en fonction de la répartition des cotes et du nombre de lettres d’intention reçues.

• Tous les candidats dont la lettre d’intention aura reçu une cote d’ensemble supérieure à la cote limite et trois cotes « réussite » pour le critère Interdisciplinarité/concordance avec les critères du programme seront invités à soumettre une demande.
• Toutes les lettres d’intention ayant obtenu une cote d’ensemble supérieure à la cote limite et une ou plusieurs cotes « échec » pour le critère Interdisciplinarité/concordance avec les critères du programme font l’objet d’une discussion pour l’attribution de la cote finale. Si, à l’issue de la discussion, les membres jugent qu’une lettre d’intention obtient la cote « réussite » pour ce critère, le candidat sera invité à soumettre une demande.
• Toute lettre d’intention ayant obtenu une cote d’ensemble inférieure à la cote limite mais à laquelle un membre a accordé une cote qui pourrait la placer au-dessus de la cote limite fait l’objet d’une discussion. Si, après discussion, les cotes finales la placent au-dessus de la cote limite (et qu’elle obtient la cote « réussite » pour le critère Interdisciplinarité/concordance avec les critères du programme), le candidat sera invité à soumettre une demande.
• Les auteurs des autres lettres d’intention ne recevront pas d’invitation à soumettre une demande.

La proportion de lettres d’intention de chercheurs en début de carrière est aussi suivie de près au cours de l’étape du tri des lettres. Le CCRC s’est engagé à faire en sorte qu’un pourcentage des subventions soit accordé à des demandes présentées par des chercheurs en début de carrière, ce pourcentage devant être égal à celui que ces demandes représentent par rapport à l’ensemble des lettres d’intention reçues. Pour satisfaire à cet engagement, il est possible que la cote limite pour les projets dirigés par des chercheurs en début de carrière soit différente.

Attribution finale des cotes

Les trois membres ayant évalué une lettre d’intention donnée participent à une téléconférence modérée par le personnel du fonds. Quinze minutes sont consacrées à la discussion de chaque lettre d’intention.

La discussion porte d’abord sur les lettres d’intention ayant obtenu des cotes divergentes pour le critère Interdisciplinarité/concordance avec les critères du programme, afin d’arriver à un consensus sur la cote à attribuer (réussite ou échec), si c’est possible. Les lettres qui reçoivent la cote « échec » ne font pas l’objet d’autres discussions, et des observations seront transmises au candidat.

Les lettres d’intention dont la cote d’ensemble est inférieure à la cote limite font l’objet d’une discussion portant sur les critères de haut risque et de haut rendement. En premier lieu, il est demandé au membre qui a accordé une cote élevée à la lettre d’intention de justifier son évaluation; les autres membres ont ensuite la possibilité de réagir et de présenter leurs propres justifications. À l’issue de la discussion, tous ont l’occasion de réviser leurs cotes et de les soumettre confidentiellement au personnel du fonds. Les cotes révisées sont finales, et elles sont utilisées pour déterminer si le candidat ayant présenté la lettre d’intention sera invité à présenter une demande.

Étape de la demande

Le processus d’évaluation des demandes a pour but de déterminer les demandes les plus solides qui feront l’objet de discussions au cours de la réunion du Comité d’évaluation multidisciplinaire.

Calendrier

Évaluation par les évaluateurs externes (étape de la demande)

Les évaluations externes sont centrées sur les propositions, les évaluateurs devant commenter les critères de haut risque et de haut rendement, ainsi que le critère de faisabilité en ce qui concerne le plan de recherche. L’évaluation externe se fait à double insu : les candidats ignorent l’identité des évaluateurs externes, et ces derniers ne reçoivent pas de renseignements qui leur permettraient d’identifier un candidat ou une équipe de recherche. Par conséquent, les évaluateurs externes ont accès à toutes les sections de la lettre d’intention et de la demande qui ont trait au projet de recherche, mais ils n’ont accès ni à la liste des participants, ni à celle des collaborateurs, ni aux renseignements biographiques des membres de l’équipe de recherche. Ils n’évaluent pas le critère d’Interdisciplinarité/concordance avec les critères du programme, ni le critère d’équité, diversité et inclusion; ils n’ont donc pas accès à ces pièces jointes non plus.

Attribution des demandes

Chaque demande est attribuée à trois évaluateurs externes qui possèdent une expertise dans le champ de recherche sur lequel porte la demande. En général, les évaluateurs externes évaluent une ou deux demandes, mais ils peuvent être invités à en évaluer jusqu’à cinq.

Processus d’évaluation : évaluation externe

Les évaluateurs externes font des observations sur les critères de haut risque, de haut rendement et de faisabilité du projet proposé en se posant les questions suivantes :

• le projet est-il à haut risque? (oui/non)
  • description des points forts et des points faibles
• le projet promet-il un haut rendement? (oui/non)
  • description des points forts et des points faibles
• le projet est-il faisable? (oui/non)
  • description des points forts et des points faibles
• quels types de risques le projet présente-t-il? (voir Types de risques)
• y a-t-il des sources de préoccupation ou des observations au sujet de la proposition (voir Sources de préoccupation)?

Évaluation par le Comité d’évaluation multidisciplinaire (étape de la demande)

Attribution des demandes

Chaque demande est attribuée à cinq membres aux fins d’évaluation. Deux à trois des membres se voient attribuer les demandes en fonction de points communs entre leur expertise et les principaux sujets de recherche de la proposition. Les membres restants n’ont pas d’expertise disciplinaire et fournissent une évaluation d’un point de vue interdisciplinaire ou non expert. Les capacités linguistiques et les conflits d’intérêts institutionnels sont pris en compte pour l’attribution des demandes aux membres.

Vérification des conflits d’intérêt

Peu après la date limite, les membres reçoivent un courriel les informant que la liste des demandes qui leur sont attribuées est prête. Ils doivent ouvrir une session dans le portail Convergence, prendre connaissance du sommaire de chacune des demandes qui leur est attribuée et signaler tout conflit d’intérêts. Une fois qu’un membre a coché toutes les demandes qui lui sont attribuées et pour lesquelles il y a conflit d’intérêts, il a immédiatement accès aux demandes pour lesquelles il n’a pas signalé de conflit d’intérêts. Des changements mineurs peuvent être apportés à l’attribution des demandes quand des conflits d’intérêts sont signalés par les membres. Tous les problèmes doivent être signalés au personnel du fonds le plus rapidement possible ou à toute étape du processus.

Évaluation

Les membres du Comité d’évaluation multidisciplinaire ont accès à tout le contenu de l’avis d’intention de présenter une demande, de la lettre d’intention de présenter une demande et de la demande.

Les membres reçoivent les demandes qui leur sont attribuées et y ont accès avant de recevoir les évaluations des évaluateurs externes. Ils peuvent ainsi commencer à lire et à coter les demandes, en particulier les sections pour lesquelles ils ne recevront pas d’observations des évaluateurs externes. Une fois qu’ils reçoivent les évaluations des évaluateurs externes, les membres ont la possibilité de réviser leurs cotes au vu de ces évaluations.

Toutes les demandes admissibles doivent être évaluées et cotées conformément aux grilles d'évaluation pour quatre critères de sélection :

• haut risque : 40 p. 100 de cote totale;
• haut rendement : 40 p. 100 de la cote totale;
• faisabilité : 20 p. 100 de la cote totale;
• équité, diversité et inclusion (réussite/échec)

Les membres attribuent l’une des sept cotes pour les critères de haut risque, de haut rendement et de faisabilité (voir Indicateurs de mérite). En évaluant le critère de faisabilité, les membres doivent prendre en considération l’approche adoptée en matière de recherche autochtone (le cas échéant) ainsi que les aspects ayant trait à l’analyse comparative entre les sexes plus (ACS+)/analyse comparative fondée sur le sexe et le genre (ACFSG) dans la conception de la recherche.

Les membres doivent en outre :

• fournir des observations pour le critère équité, diversité et inclusion (si la cote attribuée est « échec »);
• faire part de toute source de préoccupation ou observation relative à la proposition (voir Sources de préoccupation);
• indiquer la demande qui se classe première.

Réunion du Comité d’évaluation multidisciplinaire

Les membres du Comité d’évaluation multidisciplinaire se réunissent à Ottawa pour discuter des demandes et déterminer celles dont le financement sera recommandé. Les membres sont répartis en six groupes. Chaque groupe dispose de sa propre salle de réunion et est présidé par trois coprésidents représentant les trois organismes (le CRSH, le CRSNG et les IRSC). Des membres du personnel du fonds sont aussi présents pour aider les coprésidents et répondre aux questions ayant trait aux politiques et au programme.

Discussions

Vingt minutes sont consacrées à la discussion de chaque demande (ainsi qu’il a été défini ci-dessus), l’un des coprésidents faisant office de modérateur. La discussion de la demande se déroule selon les étapes suivantes :

1. le coprésident présente la demande et invite tout membre en conflit d’intérêts à quitter la pièce;
2. le coprésident présente les cinq évaluateurs;
3. comme il s’agit d’une évaluation de réussite ou d’échec, la première discussion porte sur le critère d’équité, diversité et inclusion;
   1. le premier évaluateur donne sa cote (réussite ou échec) et une brève justification; les quatre autres évaluateurs sont invités à présenter toute information supplémentaire ou point de vue différent;
   2. tous les autres membres peuvent prendre part à la discussion;
   3. le coprésident détermine s’il y a consensus ou si un vote est nécessaire. Si un vote est nécessaire, les cinq évaluateurs désignés votent, la décision de la majorité l’emportant;
   4. si le résultat final est une cote « réussite », la discussion se poursuit; si le résultat final est une cote « échec », la discussion cesse;
4. les demandes font ensuite l’objet de discussions quant aux critères de haut risque, de haut rendement et de faisabilité;
   1. le premier évaluateur résume brièvement la proposition et donne ses cotes et de brèves justifications; les quatre autres évaluateurs sont invités à tour de rôle à donner leurs cotes et toute information supplémentaire;
   2. les autres membres peuvent prendre part à la discussion et demander des précisions, si le temps le permet.

Classement final

Une fois que toutes les demandes ont fait l’objet de discussions, tous les membres fournissent une cote pour chaque demande pour laquelle ils ne sont pas en conflit d’intérêts et qu’ils se sentent en mesure d’évaluer. Les membres attribuent l’une des trois cotes suivantes :

• 1  excellente – doit recevoir un financement
• 2 très solide – peut être financée
• 3 est source de quelques préoccupations

Les membres ne peuvent choisir la cote 1 que pour au plus 25 p. 100 des demandes pour lesquelles ils votent.

On procède au décompte pour créer le classement des demandes pour chaque groupe. Les recommandations de financement sont faites par ordre décroissant, en se fondant sur le classement et en tenant compte également de la proportion de demandes présentées par des chercheurs en début de carrière. Tous les coprésidents se réunissent ensuite pour examiner le classement global de toutes les demandes et préparer les recommandations finales du Comité d’évaluation multidisciplinaire.

Observations destinées aux candidats

Des observations succinctes seront préparées pour toutes les demandes qui ne seront pas financées. Les évaluateurs rédigeront les observations pour les demandes qui leur ont été assignées. Un évaluateur sera nommé d’avance pour diriger ce processus.

Guide sur le traitement des documents utilisés dans l’évaluation par les pairs

Les documents relatifs à l’évaluation du mérite contiennent des renseignements personnels ainsi que des renseignements dont la divulgation non autorisée risquerait vraisemblablement de porter un préjudice sérieux (tel qu’un traitement discriminatoire, une perte de réputation ou d’un avantage concurrentiel) à une personne, à un organisme ou au gouvernement. Ces documents sont assujettis à la Loi sur la protection des renseignements personnels, à la Loi sur l’accès à l’information et à la Politique sur la sécurité du gouvernement. Il faut respecter certaines mesures afin de garantir que les renseignements qui se trouvent dans les demandes ainsi que la teneur des évaluations internes et externes et des discussions en groupe demeurent strictement confidentiels. La collecte, l’utilisation, la divulgation, la conservation et (ou) la suppression inappropriées ou non autorisées de ces renseignements peuvent entraîner une violation de la vie privée. Se reporter au Guide sur le traitement des documents utilisés dans le cadre de l’examen par les pairs pour plus de précisions à ce sujet.

Information d’ordre juridique et éthique

Conduite responsable de la recherche

Les organismes fédéraux qui subventionnent la recherche – à savoir le CRSH, les IRSC et le CRSNG – se sont engagés à mettre en place et à maintenir un environnement qui encourage et favorise la conduite responsable de la recherche. Le Cadre de référence des trois organismes sur la conduite responsable de la recherche décrit les responsabilités et les politiques connexes qui s’appliquent aux chercheurs, aux établissements et aux organismes et qui, ensemble, contribuent à la mise en place d’un environnement de recherche favorable.

Confidentialité

Les membres nommés au comité doivent lire l’Accord sur les conflits d’intérêts et la confidentialité pour les membres des comités d’évaluation, les évaluateurs externes et les observateurs, qui décrit les exigences et les attentes, et doivent accepter de le respecter.

Loi sur la protection des renseignements personnels

Le terme « renseignements personnels » s’entend de tout renseignement concernant une personne identifiable.En vertu de la Loi sur la protection des renseignements personnels, les renseignements personnels fournis par les candidats ne doivent servir qu’à évaluer les demandes, à prendre des décisions relativement au financement de celles-ci et à répondre à des fins particulières décrites aux candidats au moment de recueillir leurs renseignements personnels. Il est rappelé aux membres que l’utilisation ou la divulgation de ces renseignements à d’autres fins est illégale. Il est important que les membres du comité respectent strictement les lignes directrices énoncées dans l’Accord sur les conflits d’intérêts et la confidentialité pour les membres des comités d’évaluation, les évaluateurs externes et les observateurs.

Loi canadienne sur les droits de la personne

Les activités du CRSH, du CRSNG et des IRSC sont assujetties à la Loi canadienne sur les droits de la personne. Cette loi a pour objet de compléter la législation canadienne en donnant effet […] au principe suivant : le droit de tous les individus, dans la mesure compatible avec leurs devoirs et obligations au sein de la société, à l’égalité des chances d’épanouissement et à la prise de mesures visant à la satisfaction de leurs besoins, indépendamment des considérations fondées sur la race, l’origine nationale ou ethnique, la couleur, la religion, l’âge, le sexe, l’orientation sexuelle, l’identité ou l’expression de genre, l’état matrimonial, la situation de famille, les caractéristiques génétiques, la déficience ou l’état de personne graciée.

Loi sur les langues officielles

Tous les membres du comité et le personnel du fonds doivent connaître leurs obligations et leurs droits en vertu de la Loi sur les langues officielles.