1. Sommaire

Contexte

Le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) et le Conseil de recherches en sciences humaines du Canada (CRSH)^{Footnote 1}appuient la réalisation de travaux érudits dans les établissements d’enseignement postsecondaire du Canada et relèvent du Parlement par l’entremise du ministre de l’Industrie. Les organismes partagent la Direction des services administratifs communs (DSAC) qui comprend l’équipe de la surveillance financière. Cette équipe, qui compte six employés, relève du vice-président, DSAC (VP, DSAC) par l’entremise du directeur général de la Division des finances et de l’administration des octrois (DG, Finances).

Lorsque des subventions et des bourses (appelées collectivement « octrois ») sont attribuées, les établissements (universités, collèges, etc.) sont responsables d’administrer et de vérifier ces fonds qui sont destinés à des chercheurs et à des étudiants particuliers. Le CRSNG, le CRSH et les Instituts de recherche en santé du Canada (IRSC) réalisent ensemble des examens de surveillance financière (ESF) des établissements, car cette fonction est une composante importante du cadre de contrôle des organismes. Les trois organismes utilisent la même méthode et le même plan pour réaliser ces examens.

En 2010, le CRSNG, le CRSH et les IRSC ont lancé le projet de modernisation de la surveillance financière afin d’améliorer la méthode, d’accroître le nombre d’établissements visés, d’aligner le processus sur les pratiques actuelles de l’industrie qui sont basées sur le risque et les mesures de contrôle, ainsi que de mettre en œuvre une nouvelle technologie pour accroître l’efficacité. En raison de la variété des établissements admissibles qui nécessitent une surveillance, ce projet a été divisé en trois phases : la première phase était axée sur les universités et les hôpitaux traditionnels; la deuxième, sur les collèges; et la troisième englobera tous les autres établissements, par exemple les organismes sans but lucratif, ou les possibilités de financement telles que le Programme des coûts indirects et le fonds d’excellence en recherche Apogée Canada. Les trois organismes ont participé à la première phase, mais les deuxième et troisième phases concernent principalement les établissements liés au CRSH et au CRSNG.

Justification de l’audit

Dans le cadre du processus de planification de l’audit interne basé sur le risque, la Division de l’audit interne (DAI) a déterminé que la fonction de surveillance financière nécessite un examen. La décision d’intégrer cet examen au Plan d’audit axé sur les risques (PAAR) repose sur les facteurs suivants :

• L’équipe de la surveillance financière a élaboré et récemment mis en œuvre une nouvelle méthode d’examen afin d’améliorer la surveillance financière et de viser davantage d’établissements.
• Les politiques et les lignes directrices du Conseil du Trésor décrivent les exigences du cadre de contrôle qui doit assurer la diligence raisonnable et la gestion adéquate des fonds publics.
• Le dernier audit de la surveillance financière a été réalisé en 2004.
• L’audit de la surveillance financière faisait partie à l’origine du PAAR de 2013-2016 qui a été approuvé par le président du CRSNG et le président du CRSH en mars 2013.
• Selon l’audit du Programme de subventions à la découverte (2011-2012) et l’audit du Programme des réseaux de centres d’excellence (2013-2014), certains aspects de la surveillance financière doivent être améliorés.

Objectif et portée de l’audit

Objectif

L’objectif de l’audit est de donner aux deux organismes une certitude quant à l’efficacité et à la pertinence des mesures de contrôle, de gouvernance et de gestion du risque prévues dans le nouveau cadre de surveillance financière qui a été modernisé.

Portée

L’audit a évalué si les organismes ont mis en place un cadre de surveillance financière approprié et efficace, notamment sur les plans suivants :

• la gouvernance des activités de surveillance financière et du projet de modernisation;
• la méthode basée sur le risque prévue dans le nouveau cadre;
• les politiques et les procédures mises en place;
• les mesures de contrôle interne qui sont intégrées aux activités de surveillance financière;
• la déclaration et la communication des constatations relatives à la surveillance.

Les organismes ont prévu la mise en œuvre du nouveau cadre de surveillance financière en trois phases subséquentes. La première phase a été réalisée en mai 2013 et la deuxième, en avril 2014. La phase finale devrait être mise en œuvre d’ici avril 2015. Le présent audit englobe les deux phases terminées et une analyse de la phase finale prévue. Même si le cadre a été élaboré par les trois organismes, la DAI a examiné les activités de surveillance financière administrées et contrôlées par l’équipe de la surveillance financière du CRSNG et du CRSH, mais non celles des IRSC.

Principales constatations de l’audit

La conclusion de l’audit est que le projet de modernisation de la surveillance financière a été bien géré et comportait une solide structure de gouvernance et un plan de travail détaillé et bien exécuté. Cela a abouti à l’élaboration d’un cadre de surveillance financière solide et équilibré. Voici certaines constatations de l’audit :

• Il est évident qu’une surveillance a été exercée du début à la fin des première et deuxième phases du projet de modernisation.
• Il y a eu de nombreuses communications avec les établissements et de nombreuses consultations pendant l’élaboration de la méthode, notamment des exercices pilotes visant à mettre à l’essai le nouveau cadre et à obtenir les commentaires des établissements.
• Le nouveau cadre est basé sur le risque et prévoit une méthode basée sur le contrôle. Il existe de nombreux modèles électroniques et lignes directrices qui appuient la réalisation des examens et qui sont facilement accessibles aux employés.
• Le nouveau cadre vise la totalité des établissements admissibles sur une période d’examen de six ans.
• Les rapports des ESF qui sont remis aux établissements sont maintenant basés sur des critères. Ils sont moins narratifs et contiennent une fiche de rendement qui résume leur rendement en fonction de tous les critères évalués.

L’audit souligne également quelques domaines qui doivent être améliorés pour améliorer le cadre, notamment les suivants :

• clarifier et documenter les rôles et les responsabilités des trois organismes dans l’exécution du plan de surveillance financière de six ans afin d’assurer que les ressources de l’équipe de la surveillance financière du CRSNG et du CRSH pourront être consacrées à la planification et à l’exécution de la troisième phase du projet;
• améliorer la technologie actuellement utilisée pour communiquer et échanger l’information avec les établissements afin d’accroître l’efficacité de tous les examens;
• améliorer les rapports des ESF en utilisant des critères obligatoires pondérés et en formulant mieux les résultats des ESF (c.-à-d. que les critères non respectés pourraient potentiellement influer l’admissibilité de l’établissement).

Conclusion

Compte tenu de la taille relativement petite de l’équipe de la surveillance financière du CRSNG et du CRSH, la progression de l’élaboration, de la mise en œuvre et de l’exécution des deux premières phases du cadre modernisé d’ESF est impressionnante. Le nouveau cadre et les processus qu’il prévoit pour les ESF sont indubitablement plus efficaces à de nombreux égards et permettent de viser la totalité des établissements, une augmentation importante comparativement au cadre précédent. Il a été noté qu’il serait possible d’accroître l’efficacité en clarifiant les rôles, les responsabilités et les obligations en matière de reddition de comptes des trois organismes et que les outils de communication pourraient être améliorés pour appuyer les processus de surveillance déjà solides.

---

2. Contexte

Le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) et le Conseil de recherches en sciences humaines du Canada (CRSH) appuient la réalisation de travaux érudits dans les établissements d’enseignement postsecondaire du Canada et relèvent du Parlement par l’entremise du ministre de l’Industrie. Le CRSNG aide les étudiants des établissements d’enseignement postsecondaire à réaliser des études supérieures, encourage et finance la recherche axée sur la découverte et favorise l’innovation en invitant les entreprises canadiennes à participer et à contribuer à des projets de recherche postsecondaire réalisés dans les domaines des sciences et du génie. De même, le CRSH encourage et finance la recherche et la formation dans les domaines des sciences humaines. Les organismes partagent la Direction des services administratifs communs (DSAC) qui comprend l’équipe de la surveillance financière. Cette équipe, qui compte six employés, relève du vice-président, DSAC (VP, DSAC) par l’entremise du directeur général de la Division des finances et de l’administration des octrois (DG, Finances).

La fonction de surveillance financière est une composante importante du cadre de contrôle des organismes. Lorsque des subventions et des bourses (appelées collectivement « octrois ») sont attribuées, les établissements admissibles (universités, collèges, etc.) sont responsables d’administrer et de vérifier ces fonds qui sont destinés à des chercheurs et à des étudiants particuliers. Pour qu’un établissement soit admissible à administrer les fonds au nom du CRSNG, du CRSH ou des IRSC^{Footnote 2}il doit élaborer et mettre en œuvre des politiques, des systèmes administratifs, des procédures et d’autres mesures de contrôle efficaces pour s’assurer que les fonds sont utilisés aussi efficacement que possible; que leur utilisation, leur attribution et les résultats obtenus sont communiqués à la population du Canada; et que les activités financées sont réalisées conformément aux normes éthiques et financières les plus élevées. Le rôle de l’équipe de la surveillance financière est de réaliser des examens des cadres de contrôle financier utilisés par les établissements admissibles qui administrent des fonds au nom des organismes.

En 2010, le CRSNG, le CRSH et les IRSC ont lancé le projet de modernisation des ESF pour améliorer la méthode, accroître le nombre d’établissements visés, aligner le processus sur les pratiques actuelles de l’industrie qui sont basées sur le risque et les mesures de contrôle et mettre en œuvre une nouvelle technologie pour accroître l’efficacité. Comme les organismes versent des fonds à une gamme d’établissements qui ont mis en place des cadres de contrôle financier différents, ce projet a été divisé en trois phases : la première phase portait sur les exigences en matière de surveillance des cadres de contrôle financier communs aux universités et aux hôpitaux traditionnels; la deuxième phase visait à surveiller les cadres de contrôle financier communs aux collèges; et la troisième phase est élaborée dans le but de viser tous les autres établissements qui reçoivent des fonds des organismes, par exemple les organisations sans but lucratif, ou les possibilités de financement telles que le Programme des coûts indirects ou le fonds d’excellence en recherche Apogée Canada^{Footnote 3}. La première phase visait les trois organismes, mais les deuxième et troisième phases concernent principalement les fonds fournis aux établissements par le CRSH et le CRSNG.

---

3. Justification de l'audit

Dans le cadre du processus de planification de l’audit interne basé sur le risque, la DAI a déterminé que la fonction de surveillance financière nécessite un examen. La décision d’intégrer cet examen au PAAR de 2014-2017 repose sur les facteurs suivants :

• L’équipe de la surveillance financière a élaboré et récemment mis en œuvre deux phases de sa nouvelle méthode d’examen en vue d’améliorer les activités de surveillance financière et de viser davantage d’établissements.
• Les politiques et les lignes directrices du Conseil du Trésor décrivent les exigences du cadre de contrôle qui doit assurer la diligence raisonnable et la gestion adéquate des fonds publics.
• Le dernier audit de la surveillance financière a été réalisé en 2004.
• L’audit de la surveillance financière faisait partie à l’origine du PAAR de 2013-2016 qui a été approuvé par le président du CRSNG et le président du CRSH en mars 2013.
• Selon l’audit du Programme de subventions à la découverte (2011-2012) et l’audit du Programme des réseaux de centres d’excellence (2013-2014), certains aspects de la surveillance financière doivent être améliorés.

---

4. Objectif et portée de l'audit

Objectif

L’objectif de l’audit est de donner aux deux organismes une certitude quant à l’efficacité et à la pertinence des mesures de contrôle, de gouvernance et de gestion du risque prévues dans le nouveau cadre de surveillance financière qui a été modernisé.

Portée

L’audit a évalué si les organismes ont mis en place un cadre de surveillance financière approprié et efficace, notamment sur les plans suivants :

• la gouvernance des activités de surveillance financière et du projet de modernisation;
• la méthode basée sur le risque prévue dans le nouveau cadre;
• les politiques et les procédures mises en place;
• les mesures de contrôle interne qui sont intégrées aux activités de surveillance financière;
• la déclaration et la communication des constatations relatives à la surveillance.

Les organismes ont prévu la mise en œuvre du nouveau cadre de surveillance financière en trois phases subséquentes. La première phase a été réalisée en mai 2013 et la deuxième, en avril 2014. La phase finale devrait être mise en œuvre d’ici avril 2015. Le présent audit englobe les deux phases terminées et une analyse de la phase finale. Même si le cadre a été élaboré par les trois organismes, la DAI a examiné les activités de surveillance financière administrées et contrôlées par l’équipe de la surveillance financière du CRSNG et du CRSH, mais non les activités connexes des IRSC.

---

5. Méthode de l'audit

L’audit a été réalisé conformément au cadre international de référence des pratiques professionnelles de l’Institut des vérificateurs internes (IVI), à la Politique sur la vérification interne du Conseil du Trésor et aux Normes relatives à la vérification interne au sein du gouvernement du Canada.

Pendant la phase de planification de l’audit, l’équipe de l’audit a réalisé des entrevues préliminaires et examiné la documentation pour comprendre la situation actuelle des activités de surveillance financière, du projet de modernisation de la surveillance financière et de la mise en œuvre de la nouvelle méthode de surveillance financière. Le programme de l’audit, notamment les critères et les procédures détaillés de l’audit, était basé sur l’information collectée pendant la phase de planification et axé sur l’objectif susmentionné. Pendant la phase de réalisation de l’audit, l’équipe de l’audit a examiné la documentation pertinente, comparé les méthodes et les cadres utilisés précédemment et actuellement pour la surveillance financière, analysé les mesures de contrôle interne, examiné un échantillon de dossiers et de rapports de surveillance financière et réalisé des entrevues auprès de gestionnaires et d’employés.

Selon l’opinion professionnelle du dirigeant principal de l’audit, les procédures d’audit utilisées et les données collectées sont suffisantes et appropriées pour donner une grande certitude quant aux constatations présentées dans le rapport. Les conclusions sont basées sur une comparaison des situations qui existaient au moment de l’audit avec les critères d’audit. Cet audit interne a été réalisé conformément à la Politique sur la vérification interne du Conseil du Trésor et aux normes décrites dans le cadre international de référence des pratiques professionnelles de l’IVI.

---

6. Principales constatations de l'audit

6.1 Gouvernance du projet de modernisation de la surveillance financière

Les organismes reçoivent leurs fonds par l’entremise de crédits parlementaires et doivent gérer ces fonds publics de façon transparente et efficace. Ils doivent les utiliser aux fins pour lesquelles ils ont été attribués à l’origine, et la façon dont les fonds sont dépensés est assujettie au droit de regard. Le CRSNG et le CRSH attribuent des fonds aux chercheurs par l’entremise des établissements sous forme de subventions et doivent respecter certaines politiques du Conseil du Trésor, notamment la Loi sur la gestion des finances publiques et la Politique sur les paiements de transfert. Celle-ci indique que :

les administrateurs généraux sont responsables de s’assurer que les exigences administratives imposées aux bénéficiaires sont proportionnelles au niveau de risques. Plus particulièrement que la surveillance, la production de rapports et la vérification reflètent les risques particuliers du programme, le niveau de financement en fonction des frais d’administration et le profil de risque du bénéficiaire.

De plus, selon les Lignes directrices sur la vérification de bénéficiaires aux termes de la Politique sur les paiements de transfert et de la Directive sur les paiements de transfert, le CRSNG et le CRSH doivent :

déterminer le moment où il faut procéder à la vérification de bénéficiaires (examens de conformité), ainsi qu’élaborer et mettre en œuvre un plan axé sur le risque.

Comme il a été mentionné, en mai 2010, l’équipe de la surveillance financière des organismes et l’équipe de contrôle interne des IRSC ont reçu de leur dirigeant principal des finances respectif le mandat de moderniser le cadre de surveillance financière afin d’assurer la gestion adéquate des risques liés à l’administration des subventions et des octrois par une tierce partie, de réduire les coûts de déplacement associés aux ESF et d’accroître l’utilité des examens postérieurs à l’octroi pour les organismes et les établissements. Au cours du même mois, le Comité de modernisation de l’examen de surveillance (CMES) a été créé pour assurer la surveillance pendant l’élaboration du projet de modernisation. Un groupe de travail composé du chef de l’équipe de la surveillance financière du CRSNG et du CRSH et du gestionnaire des mesures de contrôle interne des IRSC a également été créé.

6.1.1 Le cadre, le plan de projet et la structure de gouvernance des examens de surveillance financière (ESF) sont actuellement en développement pour la troisième phase

Lorsque le projet de modernisation de la surveillance financière a été lancé en mai 2010, les organismes ont clairement documenté la justification de l’élaboration d’un nouveau cadre d’ESF, analysé le cadre actuel pour en déterminer les points forts et les points faibles, puis utilisé cette information pour élaborer un livre blanc qui décrivait clairement toutes les parties de la première phase du projet. Le livre blanc est devenu le principal document approuvé par la direction pour poursuivre le projet. Le CMES avait un mandat clair et détaillé, et les représentants des trois organismes communiquaient l’information et les décisions à leur organisation respective. De plus, des documents importants tels que la charte et le plan de projet détaillés ont aussi été élaborés et approuvés dès le début de la première phase. Ils contenaient des données essentielles telles que les suivantes : portée; détermination, atténuation et responsabilité des risques; rôles et responsabilités; besoins en ressources; besoins en technologie de l’information et en gestion de l’information; etc. Le plan de projet contenait aussi des liens vers les exigences des politiques et des lois, ainsi que les principales étapes de la première phase de la mise en œuvre du projet (universités). Les organismes ont demandé à une tierce partie indépendante (KPMG) d’examiner le cadre, qui a confirmé qu’il était complet, basé sur le risque, aligné sur les pratiques exemplaires de l’industrie et conforme à toutes les exigences stratégiques obligatoires.

Après la mise en œuvre de la première phase, l’équipe de la surveillance financière s’est servie du cadre utilisé pour les universités pour réaliser la deuxième phase (cadre de surveillance financière des collèges) en l’adaptant pour qu’il puisse s’appliquer aux collèges. La surveillance de la deuxième phase a été assurée par le dirigeant principal des finances du CRSNG et du CRSH, puisque les établissements visés par cette phase reçoivent des fonds principalement du CRSNG. Cette méthode a été efficace pour la réalisation de la deuxième phase, mais l’équipe de la surveillance financière prévoit que l’élaboration du cadre d’ESF pour la troisième phase sera différente et qu’elle pourrait nécessiter une méthode plus particulière et un organe de surveillance plus officiel. L’équipe de l’audit a noté qu’il n’existe pas de structure de gouvernance clairement documentée pour la troisième phase, et qu’aucun plan ou charte clairement documenté n’a été mis en place pour gérer les particularités des autres établissements. Cela pourrait retarder le projet de modernisation de la surveillance financière et donc nuire à l’atteinte de ses objectifs.

Première recommandation : Il est recommandé que les organismes officialisent les exigences du cadre, le plan de projet, la charte et la structure de gouvernance pour la troisième phase du projet de modernisation de la surveillance financière.

6.1.2 Manque de clarté de la définition des rôles et des responsabilités des trois organismes

Le CRSNG, le CRSH et les IRSC ont travaillé ensemble à l’élaboration et à l’exécution de la première phase du nouveau cadre; c’est pourquoi la charge de travail liée à l’exécution du plan d’ESF d’une durée de six ans a été partagée entre les trois organismes. L’équipe de l’audit a noté que les trois organismes n’ont pas mis en place un protocole d’entente pour décrire les responsabilités de chaque partie dans l’exécution des diverses parties de ce plan. En l’absence d’un tel document, il y a un risque qu’ils n’aient pas la même compréhension des rôles et des responsabilités de chacun, ce qui pourrait causer des erreurs ou des retards dans l’exécution du plan d’ESF. En plus de cette lacune, l’équipe de l’audit a constaté que les principales données sur le risque qui permettent d’évaluer le niveau du risque des établissements sont collectées à l’aide du système RechercheNet des IRSC. Si les trois organismes n’ont pas conclu un protocole d’entente clair et une entente bien définie sur les niveaux de service, tous les effets préjudiciables que pourrait subir le système RechercheNet pourraient influer sur la capacité du CRSNG et du CRSH de collecter les données essentielles sur le risque qui sont utilisées pour élaborer le plan d’ESF.

Deuxième recommandation : Il est recommandé que le CRSNG, le CRSH et les IRSC élaborent un protocole d’entente qui définit les rôles et les responsabilités en matière de surveillance financière afin d’assurer la formulation claire des activités et des livrables requis pour exécuter le plan annuel.

6.2 Modernisation du cadre d’examen de surveillance financière

Les buts généraux du projet de modernisation de la surveillance financière incluaient : harmoniser la méthode utilisée par les trois organismes; adopter une méthode basée sur le risque pour établir les priorités et la portée des examens; viser tous les établissements; aligner les pratiques sur les pratiques exemplaires de l’industrie basées sur le risque et les mesures de contrôle; et adopter une nouvelle technologie ou exploiter la technologie existante pour accroître l’efficacité et réduire les coûts de déplacement.

6.2.1 Nombreuses communications et consultations réalisées par les organismes auprès de la communauté de la recherche pendant l’élaboration du nouveau cadre d’ESF

Les ESF peuvent avoir un effet direct sur le cadre de contrôle de l’établissement qui sert à administrer les fonds des subventions et des bourses attribuées par le CRSNG, le CRSH et les IRSC. Ils permettent par exemple de cerner d’éventuels aspects du cadre de contrôle financier de l’établissement qui comportent des points faibles. L’équipe de la surveillance financière travaille alors en collaboration pour surveiller les mesures prises par l’établissement en vue de combler ces lacunes. C’est en raison de cette relation que les organismes ont prévu d’importantes communications aux fins de l’élaboration du cadre d’ESF, qui ont pris notamment les formes suivantes :

• documenter clairement le plan de communication externe;
• communiquer la nouvelle méthode à la communauté en présentant des exposés à l’occasion d’activités organisées par exemple par l’AUCC, l’ACARU, l’ACPAU et l’ADARUQ;
• informer la communauté et envoyer des notes d’information aux dirigeants des établissements après la finalisation du cadre;
• demander des commentaires après les phases pilotes de la mise en œuvre;
• bien avant la conduite des ESF, envoyer aux établissements des outils, des lignes directrices et des processus par voie électronique afin qu’ils aient le temps de poser des questions.

L’équipe de l’audit a constaté que ces mesures ont permis de prendre en compte les commentaires de la communauté et de la mobiliser activement avant l’adoption du nouveau cadre.

6.2.2 Un nouveau cadre basé sur le risque et le contrôle

Selon l’ancien cadre d’ESF, le niveau de financement reçu par un établissement représentait le principal critère pour décider si un ESF était requis ou non. Même si ce critère est un élément important de l’évaluation du niveau de risque d’une organisation, d’autres critères doivent être pris en compte pour obtenir une évaluation complète du risque. L’un des principaux objectifs du projet de modernisation de la surveillance financière était d’assurer que le processus d’attribution d’une cote de risque à un établissement et la nécessité de réaliser un ESF sont basés sur le risque.

L’équipe de l’audit a constaté que le nouveau cadre prévoit l’utilisation d’un questionnaire d’évaluation du risque (QER) pour collecter des données sur le risque associé à un établissement. Ensuite, selon les réponses données, les organismes classent les établissements dans l’une des trois catégories de risque : Élevé, Moyen ou Faible. Les cotes de risque attribuées à l’aide du QER permettent ensuite de fixer la date de l’examen et son ampleur (déterminer les éléments de contrôle qui seront évalués). Ce processus permet une analyse extrêmement rigoureuse des cadres de contrôle des établissements et englobe les principaux domaines de contrôle des universités et des collèges.^{Footnote 4} Pour évaluer les mesures de contrôle, l’équipe de la surveillance financière se procure un échantillon aléatoire d’opérations qu’elle complète par un échantillon discrétionnaire pour s’assurer d’intégrer à l’examen les opérations anormales qui nécessitent un contrôle particulier ou les comptes spéciaux.^{Footnote 5}

6.2.3 Des outils et une technologie appuient le cadre d’ESF, mais il n’y a pas encore de technologie qui permet de pleinement réaliser des ESF virtuels efficaces

L’équipe de la surveillance financière a élaboré un ensemble complet d’outils, de modèles, de lignes directrices et de méthodes d’essai et d’échantillonnage pour appuyer l’élaboration du nouveau cadre d’ESF. Ces outils sont stockés dans le système électronique de gestion des documents des organismes. Ils ont été élaborés avant le lancement du cadre, puis adaptés pendant la phase pilote du projet. L’équipe de la surveillance financière peut consulter ces outils qui donnent des renseignements détaillés sur toutes les étapes requises pour réaliser un ESF. Ainsi, le manuel de l'ESF contient une description des tâches, étape par étape. Il est intégré à TeamMate^{Footnote 6}, le principal outil utilisé par l’équipe de la surveillance financière pour collecter et analyser les données et l’information de l’ESF.

L’équipe de l’audit a noté que même si les besoins opérationnels de l’équipe de la surveillance financière en matière de GI-TI sont définis, ils n’ont pas tous été comblés et qu’il n’existe aucune entente entre cette équipe et la Division des solutions d’information et d’innovation (SII) pour ce faire. C’est pourquoi l’équipe de la surveillance financière n’a utilisé que partiellement les outils de GI-TI actuels des organismes; l’équipe de l’audit a constaté que certains aspects du processus actuel d’ESF virtuel alourdissent la charge de travail des employés de l’établissement, sont inefficaces et témoignent de mauvaises pratiques en matière de gestion de l’information et de sécurité de l’information. Ainsi, selon le processus d’ESF actuel, les établissements doivent fournir à l’équipe de la surveillance financière des documents probants qui sont envoyés par courriel. En raison de leur taille, il faut souvent diviser ces documents et les envoyer dans de multiples courriels, ce qui crée un risque de perte d’information. La plateforme SharePoint^{Footnote 7}qui est souvent utilisée dans les programmes pour échanger l’information, pourrait représenter une solution pour réduire le risque et accroître l’efficacité. De plus, pour atteindre l’objectif de réduire les coûts de déplacement, l’équipe de la surveillance financière a remplacé plusieurs rencontres en personne avec le client par des vidéoconférences. Pendant l’essai pilote de la première phase, la technologie de vidéoconférence actuelle des organismes s’est révélée inadéquate; les téléconférences représentent donc la seule autre méthode disponible et la plus souvent utilisée. Mais les téléconférences ne représentent certainement pas la meilleure expérience de communication pour l’équipe de la surveillance financière et les établissements assujettis à un examen.

Troisième recommandation : Il est recommandé que les organismes améliorent l’efficacité et la qualité des ESF en utilisant les technologies actuelles et modernes, et en envisageant d’offrir à l’équipe de la surveillance financière de nouvelles technologies pour assurer la communication efficace avec les établissements.

6.2.4 Augmentation du nombre d’établissements visés par les ESF comparativement au cadre précédent

Le cadre précédant permettait d’examiner de 10 à 12 établissements par année, et seulement des universités (et des hôpitaux pour les IRSC). Le principal critère de risque utilisé pour choisir les établissements était le montant du financement reçu du CRSNG, du CRSH et des IRSC. L’équipe de l’audit a découvert que le nouveau cadre d’ESF assure que tous les établissements admissibles avec lesquels le CRSNG, le CRSH ou les IRSC ont conclu un protocole d’entente (plus de 200 établissements) feront l’objet d’un examen dans une période de six ans. Cela représente une charge de travail d’environ 30 ESF par année pour l’équipe de la surveillance financière du CRSNG et du CRSH, et de 10 ESF pour l’équipe des IRSC chargée de la surveillance. C’est grâce au nouveau cadre et aux nouveaux outils et processus que l’équipe de la surveillance financière du CRSNG et du CRSH, dont le nombre d’employés n’a pas changé depuis le lancement du nouveau cadre, est capable de réaliser un ESF pour la totalité des universités et des collèges. De plus, cette équipe est en train de planifier et d’élaborer la troisième phase du cadre d’ESF et commencera bientôt à réaliser ces examens.

6.2.5 Les nouveaux rapports d’ESF remis aux établissements sont basés sur des critères et sont moins narratifs qu’auparavant, mais l’efficacité du processus de présentation des rapports pourrait être améliorée

Lorsque l’équipe de la surveillance financière termine un ESF, elle communique directement les conclusions à l’établissement. Avec l’ancienne méthode, cette phase de présentation des résultats comportait de longs rapports narratifs de plusieurs pages qui décrivaient les aspects nécessitant de l’attention. L’équipe de l’audit a constaté que la nouvelle structure de présentation des rapports est plus détaillée, organisée et équilibrée. Les rapports préliminaires qui sont remis aux établissements contiennent une évaluation détaillée et une cote globale (réussite ou échec) pour les critères évalués. L’équipe de l’audit a suggéré certaines améliorations à apporter à ce nouveau processus: 1- le rapport remis aux établissements n’indique pas clairement ce que signifie une cote de réussite ou d’échec; et 2- aucune pondération n’est attribuée aux critères d’examen pour permettre aux établissements de déterminer ceux qui sont les plus importants. Si les établissements disposaient de cette information, ils pourraient non seulement mieux comprendre les résultats, mais aussi mieux interpréter et comprendre l’évaluation globale de leur cadre de contrôle financier.

Quatrième recommandation : Il est recommandé que le nouveau rapport de tableau de bord basé sur les critères indique les principales mesures de contrôle qui sont essentielles au cadre de contrôle financier de tous les établissements afin qu’une pondération soit attribuée aux critères obligatoires plutôt que tous les critères soient considérés comme également importants.

---

7. Conclusion

Compte tenu de la taille relativement petite de l’équipe de la surveillance financière du CRSNG et du CRSH, la progression de l’élaboration, de la mise en œuvre et de l’exécution des deux premières phases du cadre modernisé d’ESF est impressionnante. Pendant l’élaboration du projet, une surveillance a été clairement exercée du début à la fin de la mise en œuvre des première et deuxième phases. De nombreuses communications ont été échangées avec la communauté de la recherche et les établissements pendant le projet de modernisation, et le nouveau cadre qui en est résulté est clairement basé sur le risque et sur une méthode de contrôle exhaustive et rigoureuse. Par rapport au cadre précédent, il est indubitablement plus efficace à de nombreux égards et permet l’examen d’un nombre beaucoup plus grand d’établissements par une équipe de taille similaire. Il a été noté qu’il serait possible d’accroître l’efficacité en clarifiant les rôles, les responsabilités et les obligations en matière de reddition de comptes des trois organismes, en élaborant de meilleurs outils de communication pour traiter avec les établissements et en apportant des améliorations mineures à certains aspects du processus de présentation des résultats.

---

8. Équipe de l'audit

Division de l’audit interne
Dirigeant principal de l’audit :            Phat Do
Responsable de l’audit :                    Benjamin Cyr
Auditrice principale :                         Patricia Morrell

---

9. Réponse de la direction aux recommendations de l'audit

Point	Recommendation	Plan d'action	Date cible	Délai suggéré pour donner suite*
1.	Il est recommandé que les organismes officialisent les exigences du cadre, le plan de projet, la charte et la structure de gouvernance pour la troisième phase du projet de modernisation de la surveillance financière.	Acceptée. La charte du projet est en cours de rédaction et sera approuvée d’ici l’automne. Elle traitera des objectifs, des livrables, de la structure de gouvernance et des échéances.	Mars 2015	rouge : 0 - 6 mois
2.	Il est recommandé que le CRSNG, le CRSH et les IRSC élaborent un protocole d’entente qui définit les rôles et les responsabilités en matière de surveillance financière afin d’assurer la formulation claire des activités et des livrables requis pour exécuter le plan annuel.	Acceptée. Les trois organismes se sont déjà officiellement engagés à exécuter le plan de surveillance triennal initial et ont obtenu l’approbation du comité directeur. Mais compte tenu des différences dans les priorités organisationnelles et l’allocation des ressources, nous convenons qu’il faut officialiser cet engagement permanent et d’autres éléments, particulièrement les rôles et les responsabilités, l’échange d’information, les rapports internes, la communication continue et l’allocation des ressources. À l’automne 2014, une première rencontre des trois organismes sera organisée dans le but de conclure un protocole d’entente d’ici la fin de décembre 2014.	Mars 2015	orange : 7 - 12 mois
3.	Il est recommandé que les organismes améliorent l’efficacité et la qualité des ESF virtuels en utilisant les technologies actuelles et en envisageant d’offrir à l’équipe de la surveillance financière de nouvelles technologies pour assurer la communication efficace avec les établissements.	Acceptée. Des discussions ont eu lieu avec la Division des SII, et une demande officielle de créer un « pigeonnier » sécurisé a été présentée en juillet 2014 dans le but de faciliter l’échange de documents avec les établissements. Le « pigeonnier » sera créé à l’aide de la technologie actuelle des organismes (c.-à-d. Sharepoint). La solution devrait être mise en œuvre et utilisée d’ici la fin de l’exercice 2014-2015. Une discussion sera organisée avec la Division des SII pour trouver une solution en vue d’améliorer la technologie actuellement utilisée pour les vidéoconférences.	Mars 2015 Juin 2015	orange : 7 - 12 mois
4.	Il est recommandé que le nouveau rapport de tableau de bord basé sur les critères indique les principales mesures de contrôle qui sont essentielles au cadre de contrôle financier de tous les établissements afin qu’une pondération soit attribuée aux critères obligatoires plutôt que tous les critères soient considérés comme également importants.	Acceptée. La Division des finances et de l’administration des octrois définira officiellement les critères d’évaluation qui pourraient être une source de préoccupation et les communiquera. Nous examinerons cette question avec nos homologues des IRSC au début de l’automne 2014 dans le but d’avoir révisé les cotes de risque d’ici le début de 2015. Note : Le rapport d’évaluation envoyé aux établissements contient actuellement une cote de priorité pour les constatations (élevée, moyenne ou faible) liées à chaque critère d’évaluation qui n’a pas été satisfait. Nous demandons aux établissements de donner suite immédiatement aux constatations dans les cas de priorité élevée, et nous évaluons la solution proposée par l’établissement dans son plan d’action correctif. Cela nous donne la possibilité de vérifier si la lacune a été bien comprise et si elle sera comblée adéquatement en temps opportun. Comme les examens sont basés sur les mesures de contrôle, la direction a décidé qu’il n’était pas nécessaire de donner aux établissements une « cote » globale. Elle souhaitait plutôt mettre l’accent sur les lacunes individuelles à combler. Pour les cas qui soulèvent des préoccupations, des communications constantes seront échangées avec la haute direction de l’établissement afin de s’assurer que la question est prise au sérieux. Il pourrait y avoir des rapports plus fréquents. Quand la question n’aura pas été réglée, le processus des organismes prévu pour les manquements des établissements sera appliqué et déclaré à l’adjoint au dirigeant principal des finances et au dirigeant principal des finances.	Juin 2015	orange : 7 - 12 mois

Il convient de donner suite à toutes les recommandations dans les deux ans qui suivent l’approbation du rapport d’audit. À cette fin, la DAI utilise un système de couleurs pour aider la direction à connaître la priorité des mesures correctives.

Les codes de couleur présentés ci-dessous tiennent compte des facteurs suivants : la mesure dans laquelle il est urgent de donner suite à la recommandation; la complexité de la recommandation, des questions sous-jacentes et des causes de préoccupation; ainsi que l’ampleur du risque auquel l’organisme est exposé en raison de la question soulevée.

Couleur	Calendrier d’exécution
Rouge	0-6 mois
Orange	7-12 mois
Jaune	13-18 mois

 

---

10. Annexe I – Critères d'audit

Critères d'audit ^{Footnote 8}

Le projet du cadre d’ESF a été réalisé selon les saines pratiques de gestion de projet.	Code des critères
Le lancement du projet du cadre d’ESF était basé sur une justification claire (notamment l’évaluation de l’efficacité), la mise en place d’une structure de gouvernance et de surveillance et des exigences en matière de conformité (politiques et lois).	PEMBOKFootnote 9; CGB G-2, CFS-2, AC-1
La planification du projet du cadre d’ESF était basée sur des documents décrivant clairement la portée, le budget, les besoins en ressources, les risques, les stratégies d’atténuation, les indicateurs de rendement et un plan de mise en œuvre.	PEMBOK; CGB G-7, RP-2, PPL-1; PPL-4; RM-1, ST-1
La mise en œuvre du cadre d’ESF comportait des éléments importants tels que des mesures de contrôle de la gestion du projet, une stratégie de communication, des outils, des lignes directrices et des procédures, ainsi qu’une phase pilote avant la mise en œuvre complète.	PEMBOK; CGB, PP-4, PPL-7, CFS-1, CFS-4, ST-23
La mise en œuvre du cadre d’ESF a été surveillée (tenir compte des risques, du budget, des échéances, etc.) et contrôlée (surveillance de la direction et rapports).	PEMBOK; CGB, RP-2, RP-3, RM-4, ST-4a
L’achèvement de chaque phase de la mise en œuvre du cadre d’ESF a été réalisé selon des pratiques exemplaires (bilan, examen des ressources, établissement de l’horaire de surveillance continue, etc.).	PEMBOK; CGB, ST-7, PPL-1, RP-3
Le nouveau cadre d’ESF est bien en place et ajoute de la valeur pour les organismes et les établissements.
Le cadre d’ESF est clair, documenté et bien communiqué à la communauté (tant à l’interne qu’à l’externe).	CGB G-2, G-5.b, G-6, AC-4, PPL-4, CFS-4
Le cadre d’ESF est conforme aux exigences stratégiques et législatives pertinentes du gouvernement du Canada.	CGB G-5.b, PP-4.a, PP-4.c, ST-7
Les organismes ont élaboré un plan opérationnel documenté (basé sur le risque) pour les ESF.	CGB G-4, PPL-1, CFS-3, RM-7, RP-2
Le cadre d’ESF répond aux besoins des organismes et des établissements.	CGB G-5, CFS-1, PP-4.c