Évaluation du Prix d’auteurs pour l’édition savante (PAES)

Évaluation du Prix d’auteurs pour l’édition savante
Décembre 2020

(PDF, 803 Ko)

Préparé par la Division de l’évaluation du CRSH
Ference & Company Consulting ltée

L’honorable François-Philippe Champagne, C.P., député
Ministre de l’Innovation, des Sciences et de l’Industrie

© Sa Majesté la Reine du chef du Canada,
représentée par le ministre de l’Industrie, 2021

N^o de cat. CR22-120/2021F-PDF
ISSN 978-0-660-38960-8

Liste des acronymes

• CAC – Conseil des arts du Canada
• CCE – Comité consultatif de l’évaluation
• CRSH – Conseil de recherches en sciences humaines
• DORA – Déclaration de San Francisco sur l’évaluation de la recherche
• FLC – Fonds du livre du Canada
• PAES ‒ Prix d’auteurs pour l’édition savante
• PCH - Patrimoine canadien

Glossaire

Chercheur en début de carrière

Chercheur universitaire ayant une expérience de cinq ans tout au plus depuis sa première nomination à un poste universitaire, en tenant compte des postes à temps partiel et des interruptions.

Diffusion de la recherche

Mesures prises pour rendre plus accessibles et mieux faire connaître les résultats de recherche auprès d’utilisateurs potentiels. Partie intégrante de la mobilisation des connaissances, la diffusion de la recherche se situe davantage du côté de l’approvisionnement que de réception et de l’utilisation par le public. Par ailleurs, si la mobilisation des connaissances concerne le savoir dans sa globalité (y compris ses applications pratiques), la diffusion concerne plutôt la circulation de l’information^{Note de bas de page 1}.

Équité, diversité et inclusion

Initiative des trois organismes visant à accroître l’équité dans les milieux de travail pour les groupes sous-représentés, soit les quatre groupes désignés suivants : les femmes, les minorités visibles, les peuples autochtones et les personnes handicapées.

Libre accès

Publication en ligne consultable sans frais pour le lecteur.

Maison d’édition savante canadienne

Dans le contexte du PAES, on considère qu’une maison d’édition savante est canadienne si elle appartient à des intérêts canadiens et est contrôlée par ceux-ci, dans une proportion d’au moins 75 p. 100, et qu’elle a son siège social et au moins 50 p. 100 de son personnel au Canada.

Mobilisation des connaissances

Le CRSH définit ainsi la mobilisation des connaissances : « L’échange et l’intégration réciproques et complémentaires de connaissances issues de la recherche parmi les chercheurs, les courtiers de connaissances et les utilisateurs des connaissances – tant dans le milieu universitaire qu’au-delà de celui-ci – de manière potentiellement avantageuse pour les utilisateurs et de manière à créer des retombées bénéfiques au Canada et à l’échelle internationale et, au bout du compte, qui a le potentiel de rehausser le profil, la portée et l’impact de la recherche en sciences humaines. » (CRSH, 2018)

Ouvrage savant

Texte universitaire d’une certaine longueur qui s’appuie sur un travail de recherche de qualité et qu’on estime représenter une contribution au savoir et à la recherche. Les types d’ouvrages admissibles au financement du PAES sont les monographies, les ouvrages collectifs, les éditions critiques, les bibliographies critiques, les ouvrages de référence et les collections documentaires. Les thèses non révisées, les œuvres de fiction et les manuels, entre autres, ne sont pas admissibles (voir annexe A).

Recherche canadienne

Pour les besoins de la présente évaluation, on entend par « recherche canadienne », dans le contexte du PAES, toute recherche effectuée par des chercheurs affiliés à un établissement canadien ou portant sur un sujet relatif au Canada (par exemple, la géographie, la culture, l’histoire ou les institutions canadiennes).

Remerciements

Nous tenons à remercier les chercheurs canadiens en sciences humaines, les éditeurs et les autres acteurs du secteur qui ont consacré du temps à l’évaluation.

Nous remercions aussi les membres externes du Comité consultatif de l’évaluation pour leur aide et leurs conseils éclairés : Isabelle Bourgeois (Ph. D.) et Stefanie Haustein (Ph. D.), de l’Université d’Ottawa, et Josée Dallaire, Sonia Vani et Gina Hill Birriel, de la Fédération des sciences humaines.

Résumé

À propos du Prix d’auteurs pour l’édition savante

Le Prix d’auteurs pour l’édition savante (PAES) est financé par le Conseil de recherches en sciences humaines (CRSH) et administré par la Fédération des sciences humaines. Il a pour but de soutenir la diffusion de la recherche canadienne en sciences humaines par le financement de la publication de monographies et de livres savants de grande qualité. Le programme du PAES verse actuellement environ 180 subventions de publication et 5 subventions de traduction par année, totalisant annuellement 1,5 million de dollars.

À propos de l’évaluation

L’évaluation porte sur deux occasions de financement : le Prix d’auteurs pour l’édition savante (PAES) et l’Aide aux revues savantes (ARS). Le présent rapport porte sur le PAES.

L’objectif principale était d’évaluer la pertinence et le rendement des programmes, notamment le rôle que joue le modèle même du PAES et de l’ARS dans cette contribution. L’évaluation couvre aussi le rapport coût-efficience, une composante habituelle des évaluations du CRSH. Elle visait avant tout à orienter les décisions des équipes de haute gestion et de gestion des programmes concernant l’avenir de l’ARS et du PAES, dans un environnement en constante évolution.

La Division de l’évaluation du CRSH était responsable de l’évaluation, en collaboration avec le cabinet-conseil Ference & Company. Elle bénéficiait en outre des conseils d’un comité consultatif de l’évaluation (CCE)^{Note de bas de page 2} et de la supervision du Comité d’évaluation organisationnel du CRSH^{Note de bas de page 3}.

Conclusions et recommandations

Pertinence

Le PAES est pertinent pour les chercheurs en sciences humaines, mais cette pertinence est fortement limitée à certains domaines de recherche. Il est aussi grandement pertinent pour les maisons d’édition savante canadiennes; plus particulièrement, il apporte une contribution importante à certaines presses universitaires. On ne retrouve aucun équivalent au financement offert par le PAES au sein des autres programmes fédéraux.

Les objectifs du PAES correspondent de façon générale aux priorités fédérales en matière d’excellence et de diffusion de la recherche. Cependant, ces objectifs sont très généraux. En pratique, la pertinence du PAES repose sur l’adéquation entre le mandat du CRSH et celui des maisons d’édition savante, soit de soutenir la recherche en sciences humaines au pays. Cette adéquation est manifeste en ce qui concerne les priorités du PAES et du CRSH, comme le soutien des auteurs d’un premier ouvrage et de la recherche sur des sujets canadiens. Un certain nombre d’éditeurs disent avoir un mandat en matière d’équité, de diversité et d’inclusion.

Rendement

Selon les conclusions de l’évaluation, le PAES atteint son objectif premier de soutenir la diffusion de la recherche en contribuant au nombre de publications en sciences humaines. Le soutien apporté par le programme permet à des maisons d’édition  d’investir dans des manuscrits savant, de grande valeur, mais dont le potentiel de recouvrement des coûts est faible.

Le PAES n’est pas doté d’un mécanisme de contribution directe ou substantielle à la qualité de la recherche publiée, malgré il impose des critères d’évaluation par les pairs uniformes. Étant donné que les pratiques de recherche et de publication savante comportent déjà des processus d’assurance de la qualité, le programme est sans doute mieux placé pour contribuer de façon indirecte, c’est-à-dire en dirigeant les fonds vers les acteurs dont les normes de qualité sont rigoureuses. Certains éléments témoignent d’une contribution mineure et accessoire du PAES à d’autres égards, par exemple des ressources accrues en matière de marketing et de promotion des maisons d’édition. Le programme ne vise pas pour l’instant l’accessibilité et la découvrabilité qui s’appliquent aux publications numériques et « ouvertes ».

Rapport coût-efficience

Le rapport coût-efficience du PAES est élevé : les dépenses d’exploitation sont de 22 ¢ pour chaque dollar remis en subvention. Ce rapport s’explique par le mécanisme de versement du financement. Pour l’améliorer substantiellement, il faudrait modifier ce mécanisme.

Autres approches possibles

Le modèle de financement du programme présente à la fois des points forts et des points faibles, par exemple : le modèle actuel évite de privilégier la quantité plutôt que la qualité et offre une certaine latitude pour l’utilisation des fonds, ce qui est important étant donnée la grande diversité des ouvrages de sciences humaines et du secteur de l’édition. Ce processus retarde toutefois la publication des manuscrits et offre peu de flexibilité au CRSH pour cibler le financement selon les domaines prioritaires.

Recommandation 1. Continuer à offrir un soutien à la publication de livres savants de la recherche canadienne en sciences humaines. Le programme comble un besoin auquel ne répondent pas les autres sources de financement, il est pertinent pour les chercheurs canadiens et rend possible la publication de recherches importantes pour le domaine des sciences humaines et le Canada.

Recommandation 2. Définir des objectifs clairs et concrets pour le PAES. Les objectifs sont vastes et ambitieux compte tenu de la petite envergure du programme et du fait que la pertinence du financement de la recherche en sciences humaines est concentrée dans certains domaines. Il faut fixer des objectifs plus concrets pour aider les gestionnaires du programme et le CRSH à contextualiser et à orienter cette occasion de financement. Voir les suggestions à la section 6.

Recommandation 3. Trouver des moyens d’améliorer le mécanisme de financement du PAES. De concert avec la Fédération des sciences humaines et l’Association des presses universitaires canadiennes (APUC), le CRSH travaille actuellement à rendre possible la publication en libre accès d’ouvrages savants et à donner plus de place aux langues minoritaires dans le PAES. En plus de ces démarches, le CRSH devrait envisager d’autres mécanismes de financement pour le programme dans le but d’améliorer le rapport coût-efficacité et le rendement. Voir les suggestions à la section 6.

Recommandation 4. Mettre à jour le modèle logique ou la théorie du changement du programme. Il serait profitable de mettre sur pied un modèle logique ou une théorie du changement pour encadrer le PAES. Les résultats présentés ici constituent le fondement empirique pour un nouveau modèle de changement, qui sera utile pour jeter les bases de l’évolution du programme.

1.0 Introduction

Le présent rapport rend compte des constatations de l’évaluation du Prix d’auteurs pour l’édition savante (PAES) réalisée en 2019-2020, ainsi que des conclusions et recommandations qui en découlent.

1.1 Contexte et objectif de l’évaluation

À propos du PAES. Le Prix d’auteurs pour l’édition savante (PAES) est financé par le CRSH et administré par la Fédération des sciences humaines. Il a pour but de soutenir la diffusion de la recherche canadienne en sciences humaines par le financement de la publication de monographies et de livres savants de grande qualité. Ce programme existe depuis 79 ans et accorde chaque année quelque 180 subventions de publication et 5 subventions de traduction, pour un total de 1,5 million de dollars. Une description plus détaillée du PAES est présentée à l’annexe A.

À propos de l’évaluation. L’évaluation porte sur deux occasions de financement : les Prix d’auteurs pour l’édition savante (PAES) et l’Aide aux revues savantes (ARS). Le présent rapport porte sur le PAES.

L’objectif principal était d’évaluer la pertinence le rendement des programmes, notamment le rôle que joue le modèle même du PAES et de l’ARS dans cette contribution. L’évaluation couvre aussi le rapport coût-efficacité, une composante habituelle des évaluations du CRSH. Elle visait avant tout à orienter les décisions des équipes de haute gestion et de gestion des programmes concernant l’avenir de l’ARS et du PAES, dans un contexte en constante évolution.

La Division de l’évaluation du CRSH était responsable de l’évaluation, en collaboration avec le cabinet-conseil Ference & Company. Elle bénéficiait en outre des conseils d’un comité consultatif de l’évaluation^{Note de bas de page 4} et de la supervision du Comité d’évaluation organisationnel du CRSH^{Note de bas de page 5}.

Questions et portée de l’évaluation. Les cinq questions sur lesquelles a porté l’évaluation :

Le volet sur la diffusion, abordé à la question 3, s’attarde surtout à l’accessibilité et à la découvrabilité des publications attribuables aux activités des bénéficiaires d’un financement, étant donné la structure et la petite envergure du PAES. Les effets indirects du comportement des lecteurs (p. ex., les citations) ne faisaient pas l’objet de l’évaluation. La question 5 porte surle financement gouvernemental soutenant les publications en libre accès. Cette portion de l’évaluation portait sur le libre accès, car il constitue l’une des grandes priorités actuelles du CRSH. Pour le PAES, les évaluateurs ont porté attention aux points forts et aux points faibles du modèle de financement actuel, étant donné qu’un certain temps s’est écoulé depuis la dernière évaluation du programme (2004) et que des changements sont survenus depuis dans le milieu de l’édition savante. L’évaluation porte sur la période 2008‑2017 en ce qui a trait à la contribution^{Note de bas de page 6} et sur la période 2008‑2019 pour la question de la pertinence. Le rapport coût-efficience, quant à lui, a été évalué pour les quatre dernières années financières (2014-2019).

Conception de l’évaluation. L’équipe a opté pour une méthode séquentielle mixte en deux phases, dans le cadre d’une approche globale axée sur l’utilisation (Patton, 2008) et la théorie (Chen, 2006). La phase 1 visait à mieux comprendre l’influence et la pertinence potentielles du PAES et prévoyait l’élaboration d’une proposition de théorie du changement. Cette phase était nécessaire en raison des changements apportés au programme depuis la dernière évaluation, ainsi que de l’évolution du contexte et de l’absence de données de référence sur la période précédant le programme. Quant à la phase 2, elle visait à confirmer et à approfondir les résultats de la phase 1 en vue d’arriver aux constatations finales.

Méthodologie. La phase 1 s’appuyait sur les sources de données suivantes :

• entrevues avec des répondants clés (n = 41) : gestionnaires de programme, éditeurs, chercheurs et acteurs du secteur, dont 25 portaient directement sur le PAES;
• analyse longitudinale des données administratives du PAES (2008-2017);
• revue de la littératures savante, des documents de travail et de la documentation du programme, y compris deux études récentes sur le PAES (Fast, 2018; Lobet et Larivière, 2018).

À la phase 2, l’évaluation s’appuyait sur les sources de données suivantes :

• sondage auprès des éditeurs admissibles au PAES (n = 42) et de chercheurs en sciences humaines (n = 993);
• analyses ciblées des données administratives du PAES (2008-2018) et du CRSH, y compris les données financières;
• analyses ciblées des données sur la publication de chercheurs en sciences humaines (n = 1 306);
• analyses ciblées de données des sites Web externes sur les publications (n = 120).

La méthodologie est décrite en détail à l’annexe B

Points forts et limites de la méthodologie. La méthode mixte a pour principal avantage d’exploiter les points forts des méthodes qualitatives et quantitatives. Par exemple, il est possible de pallier le manque de généralisabilité des constatations émanant des entrevues et la difficulté à tenir compte du contexte dans le sondage par la synchronisation. Il existe néanmoins d’importantes limites, notamment en ce qui concerne les sources de données accessibles. En effet, pour le PAES, il n’y a aucun groupe témoin ou de données sur la période précédant le programme. Bien que l’évaluation se soit faite par la triangulation de données issues de différentes sources pour chaque indicateur, les résultats de certains indicateurs dépendent largement de données autodéclarées (p. ex., sondages et entrevues), étant donné qu’il n’existait pas toujours de données administratives comparables ou de source externe. Dans ces situations, les résultats de plusieurs questions et sous-groupes de participants ont été comparés, lorsque possible, pour accroître le degré de confiance. Il est cependant recommandé de faire preuve de prudence dans l’interprétation, étant donné la possibilité d’une déviation systématique des réponses.

Enfin, il est important de souligner que les milieux de l’édition savante et de la recherche en sciences humaines au Canada sont hétérogènes. En effet, les sciences humaines regroupent de nombreuses disciplines, chacune ayant ses propres pratiques de publication ainsi que différentes réalités régionales et linguistiques. Le groupe des maisons d’édition admissibles au PAES se compose d’éditeurs spécialisés et généralistes ainsi que de presses universitaires, de taille très variable, et de maisons d’édition qui publient dans une des deux langues officielles ou les deux. Les résultats agrégés (p. ex., moyennes globales) peuvent masquer des variations importantes au sein des sous-groupes. Lorsque possible, l’analyse a aussi été faite à l’échelle des sous-groupes (p. ex., selon la langue ou la discipline), mais cette analyse était limitée par la petite taille de certains échantillons. Les résultats ne devraient pas être généralisés au-delà des populations visées par l’étude (voir annexe B).

1.2 Structure du rapport

La section 2 présente les résultats concernant la pertinence, la section 3, les résultats sur le rendement. La section 4 traite de rapport coût-efficience, et la section 5 présente les autres approches possibles. Les conclusions générales et recommandations sont présentées à la section 6. Le PAES et la méthodologie et les sources de données sont décrits en annexes.

2.0 Pertinence

La pertinence a été évaluée en fonction de l’importance du PAES pour les chercheurs canadiens en sciences humaines, du caractère essentiel du PAES pour les activités des maisons d’édition savante et de l’adéquation entre les objectifs du programme et les rôles et priorités du gouvernement fédéral.

2.1 Conclusions

Le PAES est pertinent pour les chercheurs en sciences humaines. Toutefois, l’importance de ce financement est concentrée dans certains domaines de recherche et disciplines. Le PAES est aussi pertinent pour les chercheurs qui peuvent tirer avantage d’une collaboration avec une maison d’édition savante canadienne (p. ex., auteurs d’un premier ouvrage, auteurs qui écrivent en français, chercheurs qui travaillent sur un sujet nécessitant une connaissance du contexte canadien).

Le PAES est grandement pertinent pour les maisons d’édition savante canadiennes, en particulier les presses universitaires. Le PAES aide les maisons d’édition à investir dans des livres qui ont une grande valeur scientifique, mais un faible potentiel de recouvrement des coûts (p. ex., en raison du public cible spécialisé ou limité au Canada). Il n’existe aucun équivalent au financement offert par le PAES au sein des autres programmes fédéraux, et ces derniers ne comportent pas de mesures encourageant la publication savante.

Les priorités du PAES correspondent à celles du CRSH. Les objectifs du PAES correspondent de façon générale aux priorités fédérales en matière d’excellence et de diffusion de la recherche. Cependant, ces objectifs sont très généraux^{Note de bas de page 7}. En pratique, la pertinence du programme repose sur l’adéquation entre le mandat du CRSH et des maisons d’édition savante, qui est de soutenir la recherche en sciences humaines au Canada. En effet, le PAES atteint son objectif par l’intermédiaire du travail des maisons d’édition. Bien que le programme soit explicitement destiné aux chercheurs (comme c’est un prix pour les auteurs), plus de 90 p. 100 des demandes sont préparées et soumises par les maisons d’édition : ces dernières sélectionnent les manuscrits à soumettre, coordonnent l’évaluation par les pairs, s’impliquent dans le travail d’édition du manuscrit avant la présentation de la demande, soumettent la demande et reçoivent et gèrent les fonds octroyés.

Les objectifs actuels du PAES ne tiennent pas compte des notions d’équité, de diversité et d’inclusion. Le programme collecte des données de suivi sur la participation des auteurs d’un premier ouvrage et les publications en français. Selon ces données, le PAES est important pour les auteurs d’un premier ouvrage, mais il reste des obstacles systémiques pour les auteurs francophones.

2.2 Constatations détaillées en ce qui concerne la pertinence

Question 1. Le gouvernement fédéral devraitdoit-il offrir une aide financière directe aux maisons d’édition savante pour accroître la diffusion de la recherche canadienne en sciences humaines?

Pertinence de la publication de livres savants pour les chercheurs canadiens en sciences humaines.

Le sondage auprès des chercheurs avait pour objectif de déterminer l’importance des ouvrages savants par rapport aux différents aspects de leur travail de recherche. Les répondants des sciences humaines (n = 69) ont fait état d’une importance substantiellement plus élevée dans tous les domaines que les chercheurs en sciences sociales (n = 183). Les répondants qui travaillent tant dans les sciences humaines que les sciences sociales (n = 29) tendaient à donner des réponses se situant entre les deux (voir figure 1 ci-dessous).

La majorité des répondants ont indiqué que les ouvrages savants sont absolument essentiels ou très importants comme sources d’information (pour l’enseignement et leurs recherches). En ce qui concerne la publication de leurs propres travaux et leur cheminement de carrière, les chercheurs en sciences humaines accordent une importance élevée livres savants, tandis que les réponses des chercheurs en sciences sociales sont partagées : environ le tiers a indiqué que les ouvrages étaient absolument essentiels ou très importants, tandis qu’un autre tiers a répondu que les ouvrages avaient peu ou pas d’importance.

Figure 1. Comparaison de l’importance des ouvrages pour différents aspects de l’enseignement et de la recherche, entre les sciences humaines et les sciences sociales

Les données du sondage ont été analysées pour deux aspects à l’échelle des disciplines, soit la publication des travaux de recherche et le cheminement de carrière, étant donné la variation dans les réponses. Pour les disciplines suffisamment représentées dans le sondage (n > 20), les figures 2 et 3 montrent que les chercheurs en histoire, en langues et littérature, en arts et en science politique faisaient état d’une importance beaucoup plus élevée de la publication des travaux de recherche que les chercheurs en psychologie et en économie et commerce.

Figure 2. Importance des ouvrages pour la publication de ses propres travaux de recherche

Figure 3. Importance des ouvrages dans le cheminement de carrière

Les données sur les demandes présentées au PAES corroborent ce qui précède. L’histoire, l’anthropologie et les études culturelles ainsi que la science politique et l’économie politique sont les disciplines les plus souvent représentées dans les manuscrits soumis au programme de 2008 à 2017, suivies par la littérature, la sociologie et le travail social. L’économie et la psychologie apparaissent au bas de cette liste.

Lorsque les chercheurs répondaient que les ouvrages savants étaient importants pour la publication de leurs résultats de recherche, ils devaient ensuite décrire en quoi ils l’étaient. Près des trois quarts des répondants (72,3 p. 100; n = 227) ont répondu à cette question. Le plus souvent (42 p. 100), ils ont répondu que pour bien articuler le propos, il est nécessaire de rédiger une monographie (un livre), par exemple pour développer des idées complexes ou aborder un sujet avec la profondeur qui s’impose. Dans certaines disciplines, les livres constituent la norme et correspondent le mieux à la façon dont les projets de recherche sont structurés. De plus, ils s’avèrent importants pour les nouveaux domaines de recherche et les nouvelles formes d’analyse. Plusieurs répondants ont aussi mentionné que les livres permettent plus facilement de rejoindre les lecteurs non scientifiques ou d’autres disciplines et les étudiants que les revues savantes.

L’importance des maisons d’édition canadiennes pour les chercheurs en sciences humaines. Selon l’analyse des données issues du CV commun canadien (CVC) (n = 1 306)^{Note de bas de page 8}, environ 31 p. 100 des chercheurs canadiens en sciences humaines ont publié au moins un livre, et 17 p. 100 ont publié chez une maison d’édition canadienne (IC de 95 p. 100 [14,3 à 19,1]). Cela correspond à environ 4 680 chercheurs canadiens en sciences humaines sur un total approximatif de 28 000^{Note de bas de page 9}. À titre comparatif, si l’on inclut les coauteurs, un total de 3 487 auteurs figurent dans les demandes présentées au PAES au cours de la décennie 2008-2017.

Chez les répondants au sondage (n = 314)^{Note de bas de page 10}, les chercheurs en sciences humaines ont été beaucoup plus nombreux (73 p. 100) à indiquer qu’ils ont déjà publié un livre dans une maison d’édition savante canadienne que les chercheurs en sciences sociales (46 p. 100), X2(6, 314), p < 0,001. Les répondants francophones sont légèrement plus nombreux (58 p. 100) à avoir publié chez une maison d’édition canadienne que les répondants anglophones (50 p. 100), mais la différence n’est pas statistiquement significative. Les réponses des répondants étaient semblables, quels que soient le stade de leur carrière (au moment de la publication) et leur genre.

On a demandé aux répondants ayant publié chez une maison d’édition canadienne (n = 163) quel était leur principal critère au moment de choisir une maison d’édition; 153 ont répondu à la question (94 p. 100). Les trois critères les plus souvent mentionnés sont les mêmes, peu importe la langue et le stade de la carrière :

1. Réputation. Près de la moitié (44 p. 100) des répondants ont dit que la réputation de la maison d’édition était importante, car elle confère de la crédibilité au livre. Plusieurs ont répondu que la réputation donnait une idée de la qualité du processus de production, et certains ont mentionné la présence grandissante des « maisons d’édition prédatrices ».
2. Contenu, valeurs et lectorat. Plus du quart des répondants (28 p. 100) ont mentionné la concordance entre leurs travaux et le type de contenu que publie la maison d’édition, son mandat et le lectorat ciblé. Cela aide les chercheurs à s’assurer que l’équipe de rédaction connaît le sujet, que les pairs évaluateurs sont adéquatement sélectionnés, que le livre rejoindra son lectorat et que le manuscrit aura plus de chances d’être accepté. Quelques répondants ont aussi mentionné le mandat de la maison d’édition et son expérience dans la publication de travaux concernant certaines populations, par exemple dans le contexte de la recherche autochtone, qui peut témoigner de son engagement en matière de réconciliation et d’antiracisme.
3. Qualité de la rédaction, relation de travail avec les auteurs. Le quart des répondants (25 p. 100) a indiqué que la qualité de l’équipe de rédaction et de sa relation de travail avec les auteurs contribue grandement au manuscrit, étant donné que la publication d’un livre est un travail colossal qui peut être encore plus difficile si la relation n’est pas solide.

Maisons d’édition canadiennes. On a aussi demandé à ces chercheurs quel était le critère prioritaire au moment de choisir la maison d’édition de leur plus récente publication canadienne. Les réponses les plus fréquentes étaient semblables à ce qui précède et comparables d’un stade de carrière et d’un groupe linguistique à l’autre; toutefois, les répondants francophones ont mentionné le critère de la langue de la maison d’édition aussi souvent que la qualité de son travail.

À la question de savoir s’ils auraient essayé de publier chez une maison d’édition non canadienne s’ils n’avaient pu publier au Canada, 63 p. 100 ont répondu « oui » (n = 102), 18 p. 100 ont répondu « non » (n = 30), et 19 p. 100 ont répondu qu’ils ne le savaient pas. À ceux qui ont répondu « oui » (qu’ils auraient essayé de publier ailleurs qu’au Canada), on a demandé si cela aurait modifié leur projet de livre. La moitié ont répondu « non » (50 p. 100), et 27 p. 100 ont répondu « oui » (n = 28)^{Note de bas de page 11}. Ceux qui ont répondu « oui » ont mentionné qu’il aurait fallu modifier le contenu, par exemple en le rendant moins spécifiquement canadien, ou rédiger le livre en anglais plutôt qu’en français.

Parmi ceux qui ont répondu qu’ils n’essaieraient pas de publier hors Canada (18 p. 100, n = 30), la raison la plus fréquemment citée était que la publication traitait d’un sujet canadien (p. ex., « la littérature québécoise ») ou était destinée à un lectorat canadien. Beaucoup ont affirmé qu’une maison d’édition canadienne serait la mieux placée pour mettre en valeur ce contenu, ou qu’il était peu probable que le sujet intéresse une maison d’édition non canadienne. En plus des sujets canadiens, les répondants ont donné des exemples de sujets relevant de domaines de recherche émergents ou controversés.

Au total, 36 p. 100 (n = 58) des répondants au sondage ayant publié au Canada ont indiqué que leur livre aurait été désavantagé s’ils n’avaient pu le publier au Canada.

En résumé, la pertinence du PAES se concentre dans certains secteurs du milieu de la recherche en sciences humaines. La publication de livres est très importante pour les sciences humaines, mais son importance est moins évidente en sciences sociales. Dans l’ensemble, le pourcentage approximatif de chercheurs en sciences humaines ayant publié un livre chez une maison d’édition canadienne est de moins de 20 p. 100. Chez les personnes sondées, un peu plus du tiers ont indiqué qu’elles seraient désavantagées si elles ne pouvaient publier au Canada.

Pertinence pour les maisons d’édition : l’importance du PAES dans la viabilité des activités de publication de livres

Le financement octroyé par le PAES représente environ 40 à 47 p. 100 des coûts de la publication d’un ouvrage savant (en moyenne). Cette estimation est fondée sur les réponses des éditeurs au sondage effectué aux fins de cette évaluation (n = 19)^{Note de bas de page 12} et concorde avec les données issues d’une récente étude sur le PAES (Fast, 2018). Cela représente un montant considérable à amasser par d’autres moyens si le PAES n’était pas accessible^{Note de bas de page 13}.

“If we didn’t have [ASP], would we go bankrupt? I guess the answer is probably not, but the press would be very, very different from what it is today, in terms of the number of titles published, in terms of the types of titles published, in terms of the standard of marketing that we do, possibly in terms of the staffing that we employ.” (University press representative)

Les résultats tirés de diverses sources de données^{Note de bas de page 14} concordent : bien que le PAES ne soit pas considéré comme essentiel à la survie à court terme de la plupart des maisons d’édition savante, sans ce programme, elles devraient faire des choix de publication différents pour demeurer viables. On indique que le programme est particulièrement important pour permettre aux maisons d’édition d’inclure dans leur catalogue des livres qui coûtent très cher à produire ou ont un faible potentiel de recouvrement des coûts. La contribution additionnelle du PAES à certains types d’auteurs et de livres est décrite plus loin.

À la question de savoir quelle était la conséquence la plus importante de ne pas obtenir un PAES, tous les éditeurs ayant répondu à la question (n = 18) estiment que ce serait la diminution du nombre d’ouvrages savants publiés par leur maison. L’un des répondants a mentionné la survie de la maison d’édition, car elle pourrait éventuellement fermer si la perte du PAES avait un effet domino sur d’autres aspects (y compris sur les autres sources de financement). Lors des entrevues avec les éditeurs et les acteurs du secteur, tous les répondants ont, eux aussi, indiqué que la conséquence la plus importante de la perte du PAES serait la diminution de la capacité à publier des ouvrages savants (n = 14). Ils ont mentionné comme conséquences secondaires, l’affaiblissement de la réputation de la maison d’édition, la diminution de la capacité de prendre des risques et la nécessité de recouvrer les coûts par d’autres moyens (p. ex., en augmentant le prix de vente).

Dans le sondage, on a demandé aux éditeurs de commenter l’incidence de la perte éventuelle du financement du PAES dans différentes sphères de leurs activités. Leurs réponses sont illustrées à la figure 4 ci-dessous, où l’on peut voir que 68 p. 100 des répondants estiment que cela aurait une incidence majeure sur le nombre de projets de livre entrepris chaque année. Environ la moitié (53 p. 100) envisageait une incidence majeure sur le marketing et la promotion. Une portion importante (42 p. 100) soupçonne qu’il y aurait un effet considérable sur leur capacité à progresser vers leurs objectifs stratégiques et à s’adapter à l’évolution du secteur. En revanche, l’assurance de la qualité, l’appui rédactionnel fourni aux auteurs et la publication numérique sont les facettes qui seraient les moins touchées, bien qu’elles aient un lien direct avec le nombre de projets entrepris; autrement dit, on pourrait conserver le même niveau d’appui rédactionnel, mais pour un plus petit nombre de livres.

Figure 4. Incidence, selon les maisons d’édition, de la perte du PAES sur les sphères d’activité (n = 19)

Importance différenciée pour les maisons d’édition. De 2008 à 2017, 43 éditeurs ont participé au programme du PAES^{Note de bas de page 15}. Cependant, 10 d’entre eux ont soumis 93 p. 100 des demandes et reçu 93 p. 100 des fonds^{Note de bas de page 16}. Selon les données sur les prix remis lors des trois dernières années financières (de 2015 à 2019), ces 10 maisons d’édition se divisent en deux groupes :

• Groupe 1. Trois presses universitaires, ayant reçu 71 p. 100 des fonds octroyés dans le cadre du PAES durant cette période, pour une moyenne de 351 111 $ par année chacune (fourchette : 296 000 $ à 410 667 $).
• Groupe 2. Sept presses universitaires, ayant reçu un financement régulier mais moins important que celui du groupe 1, et dont la moyenne est de 46 095 $ par année chacune (fourchette : 18 667 $ à 117 333 $ par année). Deux des presses du groupe 2 sont affiliées à une université francophone.

Un troisième groupe de 33 maisons d’édition a reçu, collectivement, seulement 7 p. 100 des fonds du PAES depuis 2008. Les maisons d’édition de ce groupe n’ont pas reçu de financement chaque année : la moitié (n = 16) n’en ayant reçu aucun lors des trois dernières années financières. Les autres (n = 17) ont chacune reçu en moyenne 6 275 $ par année (fourchette : 2 667 $ à 13 333 $ par année). Toutes les maisons d’édition non universitaires spécialisées et généralistes et la plupart des presses de langue française se trouvent dans ce troisième groupe.

Le nombre de subventions remises dans le cadre du PAES entre 2008 et 2017 est corrélé au nombre de demandes présentées (figure 5). En d’autres mots, le financement octroyé durant cette période est associé à l’ampleur de la participation des maisons d’édition au programme.

Figure 5. Nombre total, par maison d’édition, de demandes présentées au PAES et de prix remis, 2008-2017

Selon les données présentées par Lobet et Larivière (2018), la participation au PAES ne reflète pas toujours la production des maisons d’édition, ce qui laisse croire que certaines maisons d’édition savante soumettent une plus grande proportion de leurs manuscrits que les autres. Cela pourrait s’expliquer, entre autres, par l’accès à d’autres sources de financement et les ressources des maisons d’édition. Par le passé, les maisons d’édition spécialisées ont reçu davantage de financement des autres bailleurs de fonds fédéraux que les presses universitaires, et certaines indiquent qu’elles ont moins de ressources à consacrer au processus de demande du PAES^{Note de bas de page 17}. De plus, la taille et les ressources des presses universitaires sont variables^{Note de bas de page 18}. Par exemple, lors des entrevues, un représentant d’une petite presse universitaire a mentionné que son organisation a accru sa participation au PAES une fois qu’elle avait suffisamment de personnel pour s’assurer de la qualité des demandes et donc des chances de réussite.

En résumé. Le PAES contribue de façon considérable à un petit groupe de presses universitaires. Ses processus correspondent de près à ceux des maisons d’édition, surtout pour des aspects comme l’évaluation par les pairs, où les presses universitaires ont les meilleures ressources : cette adéquation s’est accrue avec le temps (voir section 3.2.2 ci-dessous). Les maisons d’édition savante de tous les types indiquent que le PAES contribue à leur capacité d’investir dans des ouvrages savants au faible potentiel de recouvrement des coûts, et qu’il contribue de façon secondaire à d’autres facettes de leurs activités (comme la réputation).

Relation du PAES avec les autres sources de financement fédérales

Deux autres organismes fédéraux soutiennent financièrement les maisons d’édition canadiennes : Patrimoine canadien (PCH) et le Conseil des arts du Canada (CAC). La raison d’être générale des initiatives de ces organismes est semblable à celle du PAES. Les représentants de PCH et du CAC ont mentionné ces arguments lors des entrevues menées dans le cadre de l’évaluation (n = 2), et ils figurent dans les documents relatifs aux programmes de ces deux organismes : les publications canadiennes sont importantes, mais pas nécessairement rentables vu la petite taille du marché canadien (PCH), et les maisons d’édition peuvent contribuer à l’atteinte des objectifs organisationnels en promouvant le travail des auteurs du domaine visé (CAC).

Les critères de PCH et du CAC et leurs mécanismes de financement diffèrent de ceux du PAES. Bien que les maisons d’édition publiant des livres financés par le PAES aient aussi accès aux fonds du CAC et de PCH, le PAES est le seul programme fédéral qui encourage les maisons d’édition à entreprendre des projets savants en sciences humaines.

Il est à noter que bien qu’on n’observe pas de chevauchement, il y a aussi peu de synergie, et qu’il existe des points de tension dans les initiatives fédérales au niveau des maisons d’édition. Étant donné que le financement de PCH est fondé sur le revenu^{Note de bas de page 19}, quelques éditeurs ayant participé à l’évaluation disent craindre que la publication en libre accès affecte l’aide financière reçue de ce ministère. Pour ce qui est du CAC, Lobet et Larivière (2018) constatent que les nouvelles lignes directrices (2017) risquent de réduire l’accessibilité du financement fédéral pour les maisons d’édition spécialisées, car certains ouvrages documentaires ne répondent ni aux critères du CAC ni à ceux du PAES; ces maisons d’édition sont donc soumises à des pressions financières. Ce point a aussi été soulevé par quatre répondants clés lors des entrevues menées dans le cadre de l’évaluation^{Note de bas de page 20}.

Question 2. Les objectifs du PAES concordent-ils avec le rôle et les priorités du gouvernement fédéral?

Objectifs du PAES

Il se dégage, des entrevues avec les représentants de programmes (n = 4) et de l’analyse des documents, un consensus selon lequel les objectifs du PAES concordent avec les rôles et priorités du gouvernement fédéral. Cela est particulièrement évident en ce qui concerne les priorités liées au développement de l’excellence en recherche, car le PAES vise explicitement à accroître la diffusion de la recherche canadienne en sciences humaines et à favoriser l’excellence de la recherche (voir annexe A). Toutefois, les objectifs du programme sont très généraux, et cela limite l’évaluation réelle de leur adéquation avec les priorités du CRSH et les buts et objectifs du programme qui le chapeaute, le programme Savoir.

Le PAES en pratique

“Though the ASPP views its program in terms of ‘awards,’ its longstanding relationship with Canadian publishers has been far more about making vital contributions to supporting the publishers in our mandates.” (University press representative)

Comme nous l’avons vu, les maisons d’édition préparent plus de 90 p. 100 des demandes présentées au PAES et reçoivent et gèrent les fonds dans tous les cas. En ce sens, le PAES est inhabituel parmi les programmes du CRSH. Bien que le CRSH octroie à l’occasion des fonds à des organisations^{Note de bas de page 21}, la majeure partie de son financement est demandé et obtenu par des chercheurs.

“Nobody publishes a book because someone gave us $8,000. We publish because we think the work is important.” (University press representative)

Le PAES atteint ses objectifs par l’intermédiaire du travail des maisons d’édition, sa pertinence repose donc en grande partie sur l’adéquation entre le mandat du CRSH et des maisons d’édition savante, soit de soutenir la recherche canadienne en sciences humaines. Des éditeurs ayant répondu au sondage (n = 14), 70 p. 100 font état d’un mandat qui prévoit des activités correspondant aux priorités du CRSH ainsi qu’à celles du programme Savoir, qui chapeaute le PAES. La plupart des descriptions de mandats font référence à des populations ou à des régions canadiennes, par exemple : des sujets relatifs à la francophonie canadienne, à l’économie, à la culture ou à la société canadiennes (comme les études sur le genre ou la race, le travail, l’environnement); et les études autochtones. Certaines descriptions mettent l’accent sur les travaux de recherche qui sont aussi pertinents et accessibles pour les non-spécialistes, illustrant un mandat axé sur la mobilisation des connaissances. Enfin, certaines descriptions mentionnent un mandat plus vaste, comme les perspectives canadiennes sur des enjeux mondiaux.

Environ 44 p. 100 des livres financés par le PAES entre 2005 et 2017 portaient sur des sujets canadiens (Lobet et Larivière, 2018), et pour être admissible au programme, l’auteur doit être Canadien. Selon les données du PAES, la moitié des manuscrits retenus entre 2008 et 2017 (50 p. 100) étaient issus de recherches financées par le CRSH, et l’auteur principal de 32 p. 100 de tous les manuscrits retenus en était à son premier ouvrage.

Dans le sondage auprès des éditeurs, la plupart des répondants qui ont décrit leur mandat ont indiqué que la perte du financement du PAES affecterait leur capacité à accomplir ce mandat (71 p. 100, n = 10)^{Note de bas de page 22}. Ces répondants ont tous précisé que cela entraînerait des coupes dans leur programme de publication savante, et toucherait en particulier les titres visant un petit lectorat (p. ex., ceux dont le sujet est canadien ou qui portent sur un domaine de recherche émergent) ou exigeant un plus grand travail éditorial (p. ex., premier ouvrage d’un auteur).

Équité, diversité et inclusion

Actuellement, les objectifs explicites du PAES (annexe A) ne reflètent pas les priorités du CRSH en matière d’équité, de diversité et d’inclusion. Cela s’explique peut-être par le fait que ces objectifs ont été établis avant que le CRSH officialise son engagement en la matière. Le PAES collecte des données de suivi sur deux priorités connexes : la participation au programme des auteurs d’un premier ouvrage et les publications en français.

Auteurs d’un premier ouvrage. Comme nous l’avons vu, environ le tiers des auteurs principaux ayant reçu des fonds du PAES entre 2008 et 2017 en étaient à leur premier ouvrage (32 p. 100). Les auteurs d’un premier ouvrage sont généralement aussi nombreux que les autres, leur taux de succès respectif étant de 68,3 p. 100 et 71,2 p. 100. Le nombre de demandes d’auteurs d’un premier ouvrage a augmenté avec le temps, surtout depuis 2013.

Auteurs francophones. Selon les données du PAES, le nombre de demandes et le taux de succès pour les manuscrits francophones sont inférieurs aux attentes. Cela découle probablement d’obstacles systémiques pour les auteurs francophones.

Demandes. De 2008 à 2017, la plupart des manuscrits soumis au PAES étaient en anglais (85 p. 100), et 15 p. 100 étaient en français. Le pourcentage de demandes en français est inférieur aux attentes, dans la mesure où 23 p. 100 des répondants au sondage auprès des chercheurs déclarent que le français est leur langue principale de travail^{Note de bas de page 23}, et qu’environ 22 p. 100 des Canadiens disent avoir le français comme langue maternelle^{Note de bas de page 24}. Fait intéressant, le pourcentage de demandes au PAES faites en français varie durant la période à l’étude, passant d’un sommet de 21 p. 100 en 2008 à 8 p. 100 en 2013, puis remontant à près de 18 p. 100 en 2017^{Note de bas de page 25}.

Bien que 23 p. 100 des répondants au sondage auprès des chercheurs déclarent que le français est leur langue principale de travail, ils déclarent dans une proportion de 80 p. 100 rédiger tout de même leurs livres et leurs articles en anglais, contre 12 p. 100 qui le font en français, et 8 p. 100 qui répondent que cela dépend de la situation. Toujours dans le cadre du sondage, on a demandé aux chercheurs s’ils avaient rencontré des obstacles linguistiques au moment de publier leurs travaux de recherche. Chez les personnes qui répondaient en français, 61 p. 100 (n = 79) disent avoir rencontré au moins quelques obstacles, contre 9 p. 100 pour les personnes répondant en anglais (n = 235)^{Note de bas de page 26}. À la question de savoir quels sont exactement ces obstacles, les chercheurs francophones disent qu’on accorde une plus faible valeur aux publications en français dans le cheminement de carrière, ce qui les pousse à écrire en anglais; bref, cela concerne les pratiques d’évaluation de la recherche. Les répondants ont fourni divers exemples plus précis, notamment le fait que la rédaction dans une langue seconde diminue la productivité, et le fait qu’on leur ait demandé de ne pas inclure de références en français dans la bibliographie d’une publication en anglais.

Taux de réussite. Les manuscrits en français ont un taux de réussite global au PAES inférieur à celui des manuscrits en anglais. Parmi les manuscrits ayant fait l’objet d’une décision sans appel entre 2008 et 2017, 65,6 p. 100 des textes en français ont obtenu du financement, contre 75,3 p. 100 des textes en anglais.

Il semble que cela soit attribuable au fait que certaines demandes sont soumises par l’auteur, et d’autres, par l’éditeur. Les demandes soumises par l’auteur ont un taux de réussite global inférieur aux autres, peu importe la langue (45,6 p. 100 contre 75,2 p. 100), et les manuscrits en français sont plus souvent soumis par l’auteur que les manuscrits en anglais (21 p. 100 contre 2 p. 100). Si l’on tient compte à la fois du taux de réussite selon la langue et la source des demandes, l’écart entre le français et l’anglais est plus faible, comme l’illustre le tableau 1.

On peut probablement expliquer le taux de réussite supérieur des manuscrits soumis par les éditeurs par le fait que ces derniers y apportent leur contribution avant la présentation de la demande (voir les précisions sur le rendement et la qualité ci-dessous). Cela n’a pas été étudié en profondeur lors de la présente évaluation, mais on pourrait penser que la plus grande proportion de manuscrits en français soumis par l’auteur est le reflet de différences structurelles dans le milieu de l’édition^{Note de bas de page 27} ainsi que de différences dans l’accès aux presses universitaires ou dans la participation des presses universitaires francophones au PAES.

Activités des éditeurs en matière d’équité, de diversité et d’inclusion. Comme mentionné précédemment, le degré d’adéquation entre les priorités des éditeurs et du CRSH est important dans le contexte du PAES. Dans le sondage, on a demandé aux éditeurs si leurs maisons d’édition avaient des activités visant explicitement à accroître l’équité et l’inclusion dans la participation à l’édition savante (p. ex., initiatives pour diversifier le comité de rédaction ou de publication, ou pour favoriser la diversité parmi les sujets ou les auteurs publiés). Un peu plus de la moitié (55 p. 100) ont répondu « oui ». On leur a aussi demandé si de telles activités étaient planifiées dans les 12 prochains mois : près de la moitié (45 p. 100) ont répondu « oui ».

Les descriptions d’activités d’équité, de diversité et d’inclusion étaient variées : énoncés généraux sur l’engagement en matière d’équité, mention de projets de livres en particulier ou encore activités visant explicitement à servir les communautés minoritaires, soit par le mandat de la maison d’édition, soit dans le cadre d’un programme qui le prévoit expressément. Par exemple, des répondants ont mentionné les auteurs francophones et autochtones.

En résumé. Les objectifs du PAES concordent généralement avec les priorités fédérales en matière de diffusion de la recherche. Ces objectifs sont toutefois très généraux, ce qui limite leur comparaison réelle avec les priorités du CRSH ou du programme Savoir. Le mécanisme de financement n’est pas conçu de façon à diriger activement les fonds vers les domaines de recherche pour lesquels le PAES est le plus pertinent, ou qui présentent des possibilités d’amélioration de l’inclusion ou de l’équité, par exemple pour les auteurs francophones^{Note de bas de page 28}. Cependant, en pratique, les données montrent une adéquation avec certaines priorités, par exemple en ce qui concerne le pourcentage de manuscrits retenus portant sur des sujets canadiens ou qui constituent le premier ouvrage de l’auteur. On constate que le financement aide les maisons d’édition à remplir leur mandat au service de la recherche et des chercheurs du Canada.

3.0 Rendement

Question 3. Quelle a été la contribution du financement du PAES à la quantité, à la qualité et à la diffusion des publications ayant trait à la recherche canadienne en sciences humaines?

Les trois aspects de cette question (quantité, qualité et diffusion) sont analysés séparément ci-dessous. L’aspect diffusion englobe les notions d’accessibilité et de découvrabilité, car la présente évaluation a été menée conjointement avec une évaluation de l’ARS, qui encourage activement les initiatives dans ce domaine. Cet aspect n’a pas été étudié en profondeur pour le PAES, mais certains renseignements sont fournis ci-dessous pour mettre en contexte le programme.

3.1 Conclusions

Quantité. Les résultats témoignent d’une contribution à la quantité, essentiellement indirecte, grâce à la capacité des maisons d’édition d’investir dans la publication d’ouvrages savants.

Qualité. Le PAES ne contribue pas directement à la qualité des manuscrits. Toutefois, par sa nature concurrentielle, il peut avoir un effet indirect en incitant les maisons d’édition à tenter d’obtenir de meilleures cotes d’évaluation avant d’envoyer une demande. Le programme impose aussi des lignes directrices d’évaluation par les pairs, ce qui peut favoriser une certaine uniformité entre les demandes.

Diffusion. En termes simples, le PAES entraîne une hausse des publications, ce qui contribue à la diffusion de la recherche. Certains éléments témoignent d’une contribution mineure et accessoire du PAES à d’autres égards, par exemple des ressources accrues en matière de marketing et de promotion des maisons d’édition.

3.2 Constatations détaillées en ce qui concerne la contribution

3.2.1 Contribution à la quantité des publications

L’hypothèse de départ est que le PAES contribue à la quantité des publications des manières suivantes^{Note de bas de page 29} :

1. Contribution directe. La subvention du PAES contribue directement à financer les coûts de publication d’un livre; sans elle, le livre ne serait pas publié.
2. Contribution indirecte. Les éditeurs décident de l’envergure de leur programme de publication en fonction du financement qu’ils prévoient recevoir du PAES.

Contribution directe

Lors de certaines évaluations antérieures^{Note de bas de page 30}, on a vérifié si le PAES contribuait directement au nombre de publications en demandant aux candidats retenus de réfléchir à ce qui serait advenu de leur projet de livre s’ils n’avaient pas reçu de financement; on a aussi demandé aux candidats non retenus ce qu’il est advenu de leur projet de livre non financé^{Note de bas de page 31}. Dans l’ensemble, ces évaluations ont conclu qu’une majorité des livres n’ayant pas reçu de financement du PAES auraient tout de même été publiés. Lobet et Larivière (2018) ont tiré des conclusions semblables.

Ces constatations concordent aussi avec les données des entrevues avec des répondants clés menées dans le cadre de la présente évaluation. La majorité des éditeurs interrogés (81 p. 100, n = 9) indiquent qu’ils essaieraient de publier un livre même s’ils n’obtenaient pas de financement du PAES, en raison des fonds déjà investis dans l’ouvrage. Ils ont toutefois indiqué que l’accès à d’autres sources de financement influe aussi grandement sur la capacité de publier malgré l’absence de financement du PAES. On peut donc supposer qu’une telle absence ne serait pas vécue de la même façon par tous les chercheurs, puisque les ressources disponibles peuvent varier selon la discipline, le stade de la carrière ou l’établissement d’affiliation. La publication d’un livre représente aussi souvent des années de travail pour un chercheur et ne cadre pas nécessairement avec les calendriers de subventions aux chercheurs du CRSH.

Dans le cadre de la présente évaluation, on a suivi la trajectoire de 120 demandes refusées en 2013 pour mieux analyser les effets directs potentiels du financement : sur les 120 manuscrits, 13 ont fait l’objet d’une nouvelle demande au PAES, demande qui a été approuvée. Les 107 autres manuscrits n’ont reçu aucun financement du PAES : 90 p. 100 d’entre eux ont été publiés ultérieurement (n = 96), 83 p. 100 dans les deux années suivant le refus de la demande (2013-2015); dans 79 p. 100 des cas, le manuscrit a été publié par la maison d’édition nommée dans la demande.

Trop peu de livres ont été publiés après plus de deux ans (n = 7) ou par un autre éditeur (n = 9) pour permettre une analyse des répercussions par sous-groupes, par exemple par disciplines ou par stades de carrière des auteurs. Dans l’ensemble, on note toutefois que dans 21 p. 100 des cas (n = 23), la publication a été reportée, la maison d’édition a changé ou l’on a perdu la trace du projet (on présume que le manuscrit n’a pas été publié).

Les éditeurs ont été informés dans le sondage que selon d’autres données, une majorité de livres n’ayant pas obtenu de financement du PAES ont tout de même été publiés. On leur a demandé si c’était le cas pour leur propre maison d’édition : 58 p. 100 ont répondu par l’affirmative (n = 11) et un tiers par la négative (32 p. 100, n = 6).

On a demandé aux éditeurs qui ont répondu par l’affirmative (n = 11) comment ils compensaient généralement l’absence de financement du PAES. Les stratégies sont nombreuses, les plus courantes consistent à financer la publication à même le budget existant de la maison d’édition (83 p. 100) et à demander à l’auteur de trouver d’autres sources de financement (83 p. 100, voir figure 6).

Figure 6. Stratégies utilisées pour compenser l’absence de financement du PAES et permettre la publication d’un manuscrit (pourcentage des éditeurs ayant mentionné chaque stratégie) (n = 11)

On a demandé aux éditeurs si l’absence de financement du PAES avait d’autres conséquences sur les livres refusés. Tous les répondants sauf un ont répondu « oui »(n = 17). Quinze éditeurs ont fourni de l’information sur d’autres types de répercussions, notamment les retards engendrés par la recherche d’autres sources de financement, la restriction des coûts de production (p. ex. moins d’images) et la réduction des dépenses en matière de marketing et de promotion, même si d’autres sources de financement sont trouvées, car le montant peut ne pas être comparable à celui du PAES. Certains éditeurs ont indiqué qu’ils abandonneraient le projet s’il était impossible de trouver d’autres sources de financement.

En résumé. S’il est vrai que certains manuscrits seraient abandonnés en l’absence d’une subvention du PAES, dans la plupart des cas, les manuscrits sont tout de même publiés par la maison d’édition nommée dans la demande; d’autres sont publiés ailleurs (par d’autres maisons d’édition).

Contribution indirecte à la quantité

Les données donnent à penser que le financement du PAES a un effet d’entraînement sur le nombre d’ouvrages savants publiés au Canada. Les maisons d’édition prennent en effet des décisions en fonction de leur historique de financement auprès du PAES et de leurs prévisions quant au financement à venir.

“ASPP funding not only keeps our program going but it allows us to support and champion emerging disciplines, emerging academics’ new works, and critical works that are not yet mainstream…The ASPP not only underwrites the ability to take risks … but also is a backbone to how the press finances itself. It underwrites basically the premise of a university press in Canada, I think.” (University press representative)

Figure 7. Total des projets de livre envisagés par les éditeurs, avec et sans financement du PAES (n = 11)

Figure 7 description détaillée

Figure 7. Total des projets de livre envisagés par les éditeurs, avec et sans financement du PAES (n=11)

Ce graphique à bandes superposées montre le nombre de projets de publication d’ouvrages savants envisagés pour les 12 prochains mois par rapport au nombre qui serait prévu en l’absence de financement du PAES.

Nouveaux projets envisagés avec le financement du PAES = 721

Nouveaux projets envisagés sans le financement du PAES = 406

Dans le cadre du sondage, on a demandé aux éditeurs d’estimer le nombre de projets d’ouvrages savants que leur maison d’édition acceptera au cours des 12 prochains mois; on leur a ensuite demandé combien de projets ils seraient enclins à accepter s’il n’y avait aucune possibilité d’obtenir des subventions du PAES. Au total, 11 éditeurs ont fourni des estimations pour ces deux scénarios^{Note de bas de page 32}. Les réponses variaient entre même nombre de projets, avec ou sans financement du PAES (n = 3), ou aucun ouvrage savant publié sans le PAES (n = 1). Entre les deux, on estimait une réduction de 25 à 61 p. 100 des projets d’ouvrages savants, selon l’éditeur. Collectivement, ces 11 éditeurs prévoyaient d’accepter 721 nouveaux projets à réviser dans les 12 prochains mois; ce nombre chutait à 406 sans le financement du PAES, soit une baisse globale de 45 p. 100 (figure 7).

Les données sur la pertinence citées ci-dessus étayent cette analyse. Les participants aux entrevues avec des répondants clés et les répondants au sondage ont systématiquement indiqué que le PAES contribue au nombre total d’ouvrages savants qu’ils peuvent publier : 68 p. 100 des répondants au sondage (n = 19) ont affirmé que l’absence de financement du PAES aurait une incidence majeure sur le nombre d’ouvrages savants qu’ils publieraient. Les données de Lobet et Larivière (2018) sur 11 presses universitaires pour les années 2008 à 2016 montrent que le PAES a contribué financièrement à 28 p. 100 en moyenne des publications pour cette période, et à 50 p. 100 des publications pour les trois presses qui participent le plus au PAES (groupe 1, figure 5, ci-dessus).

Répercussions par types de livre. Dans le sondage, on a aussi demandé aux éditeurs si l’absence de financement du PAES influencerait leurs décisions quant au type de projets acceptés. Leurs réponses concordaient avec les données de la phase 1 et avec les réponses à d’autres questions du sondage : ce sont les ouvrages présentant le moins de chances de recouvrement des coûts qui seraient les plus touchés, notamment les livres portant sur des sujets canadiens, les œuvres d’auteurs canadiens ou d’auteurs d’un premier ouvrage et les ouvrages portant sur des sujets spécialisés ou de domaines émergents.

“An absence of ASPP funding would mean for my press that we would need to publish fewer Canadian monographs, or monographs [ad]dressing Canadian subjects for which we feel the market is small or uncertain. This will disproportionately and negatively affect emerging scholars and fields of study, diverse populations, and work with a regional focus. It will place a particular challenge to supporting Indigenous scholarship, for example.” (University press representative)

“[B]ooks by first-time authors most often require a greater investment of editorial and production staff resources. Without ASPP funding, we would have to limit, quite severely, the number of first-time authors we publish. Similarly, certain fields sell better than others, sometimes substantially, so again we would almost inevitably have to choose to publish scholars working in more ‘popular’ fields.” (University press representative)

En résumé. Les données indiquent que le PAES entraîne une hausse réelle du nombre d’ouvrages savants publiés, principalement en augmentant la tolérance au risque des maisons d’édition pour les ouvrages de grande valeur scientifique ou conformes à leur mandat, mais non rentables. Même si, pris séparément, la plupart des livres qui n’obtiennent pas de financement du PAES sont tout de même publiés, l’absence complète de ce financement limiterait la capacité de publication d’ouvrages savants au Canada. La disparité des effets sur les chercheurs et les sujets signifie que ceux qui disent avoir des difficultés à publier à l’extérieur du Canada pourraient être davantage touchés. Notons que cette conclusion est en grande partie fondée sur des données autodéclarées provenant de bénéficiaires d’une subvention et qu’en l’absence de données comparatives ou de référence, les résultats ne peuvent être considérés comme définitifs. Toutefois, les données provenant de multiples sources et recueillies par diverses méthodes sont cohérentes et appuient cette conclusion.

3.2.2 Contribution à la qualité

L’évaluation n’a pas permis de déterminer que le PAES contribue directement à la qualité des manuscrits financés. Le programme ne prévoit aucun mécanisme pour contribuer à la qualité des manuscrits, et la plupart de ces derniers sont déjà à un stade avancé lors de leur soumission au PAES.

Tous les éditeurs interrogés dans le cadre de la présente évaluation (n = 11), y compris les maisons d’édition spécialisées et les presses universitaires, ont affirmé que le PAES a aucune incidence sur la qualité des manuscrits, puisque cette dernière découle du travail de recherche et des normes de qualité que les maisons d’édition cherchent à respecter indépendamment du PAES, y compris les normes d’évaluation par les pairs.

Depuis 2014, les maisons d’édition ont la possibilité de joindre à leur demande les deux évaluations par les pairs requises pour un manuscrit; les répondants au sondage confirment qu’ils le font systématiquement^{Note de bas de page 33}. Si la maison d’édition ne fournit pas deux évaluations, le PAES prend les dispositions nécessaires pour l’une d’entre elles. Deux répondants ont indiqué qu’exercer un certain contrôle sur le processus d’évaluation par les pairs permet de réaliser d’importantes tâches de révision et justifie le recrutement d’évaluateurs qualifiés qui contribueront à la qualité du manuscrit. Par ailleurs, la plupart des répondants ont indiqué qu’ils ne soumettent un manuscrit que si ce dernier a reçu d’excellentes évaluations, parce qu’autrement la probabilité de recevoir du financement du PAES est faible. À une autre question, 79 p. 100 des éditeurs ont répondu que les cotes des évaluations par les pairs sont une considération importante ou très importante dans la décision de soumettre une demande au PAES ou non.

On a demandé aux éditeurs combien de temps leur équipe travaille généralement à un projet de livre avant d’envoyer une demande au PAES. Le temps accordé moyen était de 7,6 mois, et le temps accordé médian, de 6 mois.

“There is often a long way between even the best submitted manuscripts and what in our view is publishable. Where we see potential in a manuscript, we give direction to authors, both before and after peer review, in revising their manuscripts. Often, we will engage a re-review by one or more of our original peer reviewers... This process, we have found, improves the odds of a manuscript winning the ASPP lottery. Whether or not this ultimately results in a book that we publish, we see this endeavour as part of the service that we, as a university press, can contribute to the scholarly research process.” (University press representative)

Lorsque la maison d’édition soumet les deux évaluations, le comité de révision du PAES ne lit pas l’entièreté du manuscrit. Il prend connaissance des évaluations par les pairs soumises, des chapitres d’introduction et de conclusion, de la table des matières et de la bibliographie. Les auteurs peuvent envoyer leur manuscrit directement au PAES, qui fera les démarches nécessaires pour les deux évaluations par les pairs requises, mais le taux de réussite moyen des demandes soumises par les auteurs est 25 p. 100 inférieur à celui des manuscrits soumis par les maisons d’édition (voir la section sur la pertinence ci-dessus). C’est l’une des principales raisons pour lesquelles le PAES encourage plutôt les auteurs à soumettre leur manuscrit par l’entremise d’une maison d’édition^{Note de bas de page 34}.

Le financement du PAES pourrait contribuer indirectement à la qualité en renforçant la capacité des maisons d’édition à maintenir leurs processus d’assurance de la qualité. Lorsqu’on leur a demandé d’estimer les répercussions potentielles d’une perte de financement du PAES, 58 p. 100 des éditeurs sondés (n = 11) ont affirmé qu’elle aurait au moins certaines conséquences sur leur capacité à appliquer des processus d’assurance de la qualité et sur le soutien qu’ils offrent aux auteurs; toutefois, un tiers des répondants (n = 6) ont indiqué qu’il n’y aurait aucune incidence sur ces deux aspects.

Le PAES exige une évaluation par les pairs à simple insu et le respect de lignes directrices sur les conflits d’intérêts, ce qui fait office d’audit. Un formulaire d’évaluation par les pairs obligatoire est également fourni aux maisons d’édition, ce qui peut contribuer à une certaine uniformité des évaluations. Dans le sondage et les entrevues, la plupart des répondants ont décrit les processus d’évaluation par les pairs de leur maison d’édition, souvent plus rigoureux que ce qu’exige le PAES; quelques répondants ont plutôt affirmé que les exigences du PAES sont excessives.

3.2.3 Contribution à la diffusion

L’incidence sur le nombre d’études publiées est l’exemple le plus probant d’une contribution du PAES à la diffusion de la recherche. Le programme a été conçu dans ce but et ne comprend par ailleurs aucune mesure incitative visant l’accessibilité et la découvrabilité. Les données semblent signaler une faible contribution accessoire du PAES dans d’autres domaines. Elles sont présentées ci-dessous avec les autres données recueillies sur le PAES.

Ressources en matière de marketing et de promotion. Selon les réponses au sondage, 45 p. 100 des éditeurs (n = 9) soutiennent que le PAES a eu une incidence importante ou très importante sur leur capacité à assurer la promotion et le marketing d’ouvrages savants. Environ la moitié des éditeurs (53 p. 100) estimaient aussi que la disparition du programme aurait des répercussions majeures sur ces activités, par exemple la promotion lors d’événements, la publicité, l’inscription à des prix littéraires, l’envoi de services de presse, l’inscription dans des catalogues et la promotion sur les réseaux sociaux. Quelques répondants ont souligné l’importance des réseaux de distribution pour permettre aux lecteurs de découvrir les livres (partenariats entre les agrégateurs, les diffuseurs, les distributeurs, les grossistes et le personnel de vente des maisons d’édition). Un des répondants a indiqué que les pratiques actuelles visant à augmenter la découvrabilité reflètent les méthodes employées par les universitaires pour trouver de nouveaux livres dans leur champ d’études.

Traduction. Le PAES offre des subventions à la traduction pour améliorer l’accès aux connaissances dans différentes langues, mais seulement cinq sont octroyées chaque année. Ces subventions ont connu un taux de participation plus faible que prévu, ce qui a été attribué au faible montant de la subvention par rapport aux coûts de traduction et de publication (Lobet et Larivière, 2018). Des éditeurs ayant participé au sondage, 84 p. 100 (n = 16) indiquent connaître la subvention, et la moitié (53 p. 100) ont soumis une demande pour cette subvention.

Publication numérique. Dans le sondage, les éditeurs ont indiqué que la plupart des livres sont publiés à la fois en version numérique et imprimée (76 p. 100); le pourcentage est légèrement plus élevé pour les livres financés par le PAES (81 p. 100). Une minorité de livres est encore publiée en version imprimée seulement (23 p. 100 au total et 19 p. 100 chez les bénéficiaires du PAES). Lors des entrevues avec des répondants clés, les éditeurs participants (n = 11) n’attribuaient pas leur virage numérique au PAES. Les données d’analyse documentaire appuient cette affirmation, ce qui laisse croire que le programme n’a pas une portée suffisante pour changer les pratiques du secteur. Les participants constatent encore une préférence marquée des lecteurs pour les livres en version imprimée et un faible intérêt pour les livres en version numérique. Par conséquent, les maisons d’édition ayant pris le virage numérique continuent de publier en version imprimée.

Découvrabilité. Les éditeurs devaient indiquer si, au cours des 12 derniers mois, leur maison d’édition avait employé l’une des pratiques de découvrabilité répertoriées à la phase 1, dans le cadre mis au point par la Scholarly Publishing and Academic Resources Coalition (SPARC) et la Public Library of Science (PLOS)^{Note de bas de page 35} et lors de consultations avec des éditeurs participant au sondage pilote. La plupart des éditeurs indiquent avoir procédé à l’indexation des livres publiés (85 p. 100) et avoir rendu les métadonnées lisibles par machine (65 p. 100). Un quart (25 p. 100) des répondants ne savaient pas s’ils avaient utilisé des notices MARC ou un identifiant de publication ou d’auteur international normalisé, mais l’un des éditeurs a mentionné que ces pratiques relèvent généralement des diffuseurs, des distributeurs et des grossistes. Un autre répondant a signalé l’utilisation d’autres normes de métadonnées propres au secteur du livre (p. ex., ONIX).

Les éditeurs devaient aussi indiquer quelle était l’incidence du financement du PAES sur leur capacité à perpétuer les pratiques de découvrabilité mentionnées : 44 p. 100 des éditeurs qui indexent les livres publiés ont répondu que le financement du PAES a eu une très grande ou une grande incidence sur leur capacité à maintenir cette pratique (n = 7), mais 37 p. 100 d’entre eux affirment que le programme n’a eu que peu ou pas d’incidence. Parmi les éditeurs qui ont indiqué que leur maison d’édition a adopté d’autres pratiques (p. ex., des métadonnées lisibles par machine), 40 p. 100 ont répondu que le financement du PAES a eu une très grande ou une grande incidence en la matière (n = 6), mais 47 p. 100 ont répondu qu’il avait eu peu ou pas d’incidence.

Libre accès. Les éditeurs devaient également indiquer dans le sondage le pourcentage des ouvrages savants publiés, ainsi que le pourcentage pour les livres financés par le PAES qui sont actuellement disponibles en libre accès. Ceux qui ont répondu à cette question ont indiqué que 14,6 p. 100 de l’ensemble des ouvrages savants publiés au cours des 12 derniers mois étaient disponibles en libre accès (16 répondants) et 16,6 p. 100 pour les livres financés par le PAES (13 répondants). Les éditeurs ont précisé que 10 p. 100 de leurs ouvrages disponibles en libre accès étaient d’abord publiés sans libre accès, puis rendus disponibles en libre accès. Des 20 éditeurs ayant répondu au sondage, 3 ont dit avoir l’intention de publier davantage d’ouvrages en libre accès au cours des 2 prochaines années, 10 ne prévoient pas de le faire et 6 n’étaient pas certains.

Facteurs favorisant ou entravant le libre accès. Les éditeurs ont nommé les facteurs qui favorisent ou entravent la publication en libre accès pour leur maison d’édition. Tous ceux qui ont répondu à cette question (n = 8) ont parlé de l’importance du financement. De plus, deux presses universitaires ont mentionné l’appui moral de leur établissement d’attache, et un répondant a parlé d’une meilleure connaissance et d’une crédibilité accrue du libre accès, ainsi que de l’amélioration de l’usage des métadonnées, des réseaux sociaux et d’autres tactiques de promotion pour contrer les obstacles structurels du réseau de distribution.

Les éditeurs devaient indiquer les sources de revenus ou de financement qui les ont aidés à compenser les coûts de publication en libre accès. Les réponses qui revenaient le plus souvent étaient le financement externe provenant du gouvernement ou de fondations (63 p. 100), le soutien d’un établissement universitaire (50 p. 100) et les fonds récoltés par les auteurs (50 p. 100, voir la figure 8).

Figure 8. Sources de revenus ou de financement compensant les coûts de publication en libre accès selon les éditeurs (n = 8)

Les mêmes répondants (n = 8) ont aussi nommé des obstacles à la publication en libre accès. Ils ont presque unanimement nommé en premier lieu le manque de financement ou les répercussions financières. Un des répondants a fait remarquer que ce type de publication ne convient pas aux livres ayant un bon potentiel commercial, puisque les recettes tirées des ventes financent d’autres aspects du processus éditorial. Trois répondants ont aussi cité comme obstacle les conséquences possibles sur d’autres sources de financement (fondées sur les revenus); deux d’entre eux ont nommé le Fonds du livre du Canada.

Réseau de distribution. Plusieurs répondants ont nommé comme deuxième obstacle le réseau de distribution qui ne favorise pas la publication en libre accès, car la plupart des agrégateurs n’hébergent pas ce type de livres, et les bibliothèques ne donnent pas de visibilité à ces ouvrages. Selon l’un des répondants : « La découvrabilité représente un défi, puisque les entreprises qui fournissent des renseignements sur les publications à la plupart des établissements ne précisent pas, naturellement, qu’il existe une version gratuite [du livre] dans les données transmises. L’amélioration des métadonnées, le marketing sur les réseaux sociaux et d’autres outils de promotion nous ont aidés à contrer ce phénomène. » (Représentant d’une presse universitaire)

Parmi les autres obstacles mentionnés, on trouve le désintérêt des auteurs et les droits à la propriété intellectuelle, ainsi que des restrictions à la circulation du savoir et des objets culturels dans certaines communautés (p. ex., dans les communautés autochtones). En ce qui concerne l’intérêt des auteurs pour le libre accès, on a demandé aux chercheurs ayant publié un livre chez une maison d’édition canadienne(n = 164), lors du sondage, si l’offre d’options de publication en libre accès avait une incidence sur le choix de la maison d’édition. Près de la moitié des répondants (46 p. 100) ont indiqué que les options de libre accès ont peu ou pas d’importance (figure 9). Les résultats étaient semblables, quels que soient le groupe linguistique, la discipline ou le stade de carrière^{Note de bas de page 36}.

Figure 9. Importance des options de publication en libre accès sur le choix d’une maison d’édition chez les auteurs ayant publié un livre au Canada (n = 164)

Ces résultats semblent indiquer que l’intérêt pour la publication en libre accès est moindre pour les livres que pour les revues. On a posé à tous les chercheurs participant au sondage (n = 314) une question semblable sur l’importance du libre accès dans le choix d’une maison d’édition de revue savante; 19 p. 100 ont répondu que les options de libre accès étaient importantes ou essentielles, et 25 p. 100, qu’elles étaient peu ou pas importantes. Cette différence pourrait s’expliquer en partie par le fait qu’à ce jour, le libre accès s’est davantage imposé dans le domaine de la publication de revues que dans celui des livres.

En résumé. Bien que le PAES n’ait pas été conçu pour favoriser les activités d’accessibilité et de découvrabilité, les éditeurs laissent entendre qu’il y a contribué de manière accessoire, surtout en renforçant les ressources en marketing et promotion. Les maisons d’édition savante font état d’une faible capacité à faire face au risque que représente la transition vers la publication en libre accès ou à remplacer les revenus qui seraient ainsi perdus. Elles signalent également des obstacles structuraux au libre accès et une faible demande du milieu de la recherche.

4.0 Rapport coût-efficacité

Question 4. La prestation du PAES présente-t-elle un bon rapport coût-efficacité?

4.1 Conclusion

Le rapport coût-efficience du PAES est beaucoup plus élevé que celui de la moyenne des subventions et des partenariats de recherche. Deux caractéristiques du PAES expliquent cette différence :

1. Le mécanisme de financement, qui requiert un investissement en ressources substantiel pour chaque demande.
2. Le peu de place laissé pour les économies d’échelle. Le PAES repose sur un modèle de financement exigeant beaucoup de ressources, mais dispose de deux fois moins de fonds que l’ARS (par exemple). Et contrairement à l’ARS, le PAES n’est pas en mesure de partager les coûts indirects avec d’autres programmes du CRSH (TI, comptabilité, etc.).

En d’autres mots, si le rapport coût-efficience du PAES est élevé, c’est pour des raisons structurelles, et non à cause d’un mode de prestation inefficace. Pour améliorer ce rapport de façon substantielle, il faudrait modifier le mécanisme de financement.

4.2 Constatations détaillées en ce qui concerne le rapport coût-effiience

Le CRSH évalue habituellement le rapport coût-efficience d’un programme en calculant le ratio entre les dépenses d’exploitation et les fonds octroyés en subventions (le coefficient d’exploitation). Les données utilisées pour cette analyse ont été fournies par l’Unité de responsabilisation, de conformité et de gestion des octrois du CRSH. Puisque le PAES est administré par la Fédération des sciences humaines, d’autres données ont été recueillies dans les rapports publics de la Fédération sur les subventions octroyées afin de distinguer les fonds versés des dépenses d’exploitation. Une analyse des résultats quantitatifs a également été menée lors d’une entrevue de groupe d’une heure avec deux représentants de la direction de la Fédération dans le but de les contextualiser et d’en savoir plus sur les principaux facteurs de coûts du programme.

Le tableau 2 présente les rapports coût-efficacité du PAES pour quatre années financières (de 2015-2016 à 2018-2019).

Au cours de cette période, les coûts d’administration du PAES étaient de 19,5 à 25 ¢ pour chaque dollar versé, la moyenne étant de 22,4 ¢ par dollar. Les dépenses d’exploitation du programme représentaient de 16,3 à 20 p. 100 des dépenses totales, avec une moyenne de 18,3 p. 100. Le coefficient d’exploitation du PAES est demeuré assez constant. Fait à noter, selon une évaluation du programme réalisée en 2004, les coûts d’administration représentaient environ 22 p. 100 du budget (Goss Gilroy inc., 2004), ce qui signifie que ces coûts ont légèrement diminué au cours des 15 dernières années, et ce malgré l’inflation.

Le CRSH n’offre pas d’autres occasions de financement qui suivent un modèle similaire. Il a donc été impossible de comparer directement les rapports coût-efficience du PAES avec ceux d’un autre programme. La moyenne pour les Portefeuilles des subventions de recherche et des partenariats, dont fait partie le PAES, s’élevait à 38,4 ¢ par dollar lors de l’exercice 2018-2019. On a demandé aux représentants de la Fédération des sciences humaines quels étaient les principaux coûts associés à la prestation du programme; ceux-ci peuvent être regroupés en trois grandes catégories :

1. Ressources humaines. Cette catégorie comprend le salaire d’une personne bilingue occupant à temps plein le poste d’agent de programme, qui assure la coordination générale du PAES et de l’évaluation des manuscrits et de quatre autres membres du personnel de la Fédération qui consacrent une partie de leur temps au PAES, ainsi que des coûts ponctuels normaux pour une organisation, par exemple les frais de formation et d’intégration de nouveaux membres du personnel.
2. Promotion. Cette catégorie comprend la promotion du PAES auprès des chercheurs, par exemple par des communications sur le site Web de la Fédération, des événements pour les chercheurs émergents lors du Congrès des sciences humaines et la participation à des lancements d’ouvrage en français pour mieux faire connaître le programme aux universitaires et aux maisons d’édition francophones.
3. Infrastructure et immobilisations. La base de données du PAES représente une partie des coûts de cette catégorie.

5.0 Autres approches possibles

Question 5. Le CRSH peut-il envisager d’autres approches viables pour accroître la diffusion des résultats originaux de la recherche canadienne en sciences humaines?

En consultation avec le Comité consultatif de l’évaluation, il y a eu examen des interventions gouvernementales employées pour encourager la publication en libre accès, telles que décrites dans la littérature évaluée par les pairs. Cette littérature porte presque entièrement sur la publication de revues, et les constatations de cette analyse sont donc présentées dans le rapport sur l’ARS. Un résumé est présenté ci-dessous. On a aussi recueilli des données sur les points forts et les points faibles du mécanisme de financement actuel du PAES, compte tenu du contexte changeant et du temps écoulé depuis la dernière évaluation.

Points forts et points faibles du modèle du PAES. Le PAES repose sur un modèle de réception des demandes en continu et de petites subventions individuelles (par livre). Environ 250 demandes sont traitées chaque année et les fonds octroyés sont versés après la publication de chaque livre, dès réception des renseignements requis (annexe A). Les participants aux entrevues (éditeurs, acteurs du secteur, gestionnaires de programme) et au sondage auprès des éditeurs ont donné leur point de vue sur les points forts et les points faibles du modèle de financement du programme :

Points forts :

• Avec son modèle fondé sur le mérite, le PAES évite de privilégier la quantité plutôt que la qualité et permet de reconnaître le travail des auteurs et des éditeurs.
• Il rassemble efficacement les auteurs et les maisons d’édition et contribue à la production de chaque livre. Les manuscrits sont à un stade avancé lorsque le financement est approuvé.
• Les milieux de la recherche et de l’édition ont le sentiment d’être partie prenante du programme, entre autres grâce à leur participation à titre d’évaluateurs, d’auteurs et d’éditeurs.
• Les auteurs peuvent attribuer la subvention à la maison d’édition de leur choix, pourvu que cette dernière soit admissible au programme^{Note de bas de page 37}; toutefois, puisque la plupart des demandes sont présentées par les éditeurs, ce cas de figure est rare.
• Les maisons d’édition jouissent d’une certaine latitude pour l’utilisation des fonds, ce qui est important étant donnée la grande diversité de livres, de lecteurs et de maisons d’édition.
• Puisque le PAES ne tient pas compte des revenus, il ne dissuade donc pas la publication en libre accès.
• Dans le sondage, la plupart des éditeurs (79 p. 100, n = 13) étaient « en grande partie » d’accord pour dire que le modèle du PAES est une mesure incitative supplémentaire à la publication d’ouvrages de grande valeur scientifique, même s’ils ne sont pas rentables. Selon une majorité d’éditeurs, le modèle garantit aussi « en grande partie » que les fonds publics soutiennent directement les ouvrages savants (77 p. 100) et financent les livres qui apportent une contribution importante à la discipline ou au domaine en question (71 p. 100).
• Environ la moitié des répondants au sondage (53 p. 100) étaient « en grande partie » d’accord pour dire que le processus est équitable pour différents types d’auteurs.

Points faibles :

• Le PAES exige beaucoup de ressources du CRSH et de la Fédération des sciences humaines. Le rapport entre les dépenses d’exploitation et les fonds octroyés est très élevé.
• Le processus de sélection individuel retarde la publication des manuscrits, qu’ils obtiennent du financement ou non.
• Les demandes exigent beaucoup de ressources des maisons d’édition, ce qui pourrait avantager certaines d’entre elles, mieux outillées pour participer au programme.
• L’ambiguïté entourant les destinataires du programme (auteurs ou maisons d’édition) nuit à la compréhension des parties prenantes et à la planification du programme.
• Le PAES poursuit des objectifs vastes et ambitieux, mais dispose de peu de fonds.
• À cause du manque de flexibilité, il est difficile de cibler les domaines prioritaires ou ceux qui sont pertinents pour le milieu de la recherche.
• Selon le sondage, les opinions des éditeurs divergent quant à l’équitabilité du processus pour divers types d’auteurs (40 p. 100 étaient en grande partie d’accord; 40 p. 100 étaient en partie d’accord; 20 p. 100 n’étaient pas d’accord).
• La plupart des répondants au sondage n’étaient pas d’accord ou n’étaient qu’en partie d’accord avec les énoncés voulant que le PAES fournit une rétroaction importante aux auteurs (35 p. 100 n’étaient pas d’accord; 41 p. 100 étaient en partie d’accord) et améliore la qualité de l’évaluation par les pairs (47 p. 100 n’étaient pas d’accord; 42 p. 100 étaient en partie d’accord).

En résumé. Le modèle de financement du PAES exige beaucoup de ressources des différents acteurs, mais il présente certains avantages à considérer si l’on explore d’autres mécanismes de prestation.

Interventions gouvernementales soutenant la publication en libre accès. On a relevé dans la littérature quatre grandes catégories d’interventions gouvernementales en matière de financement visant à encourager la publication en libre accès^{Note de bas de page 38} : financement des chercheurs (p. ex., pour couvrir les frais de traitement); financement des établissements (p. ex., subventions globales versées aux établissements universitaires pour couvrir les frais de publication en libre accès des chercheurs affiliés); financement des maisons d’édition ou des revues (p. ex., pour leur permettre d’offrir des options gratuites ou à peu de frais aux auteurs); financement systémique des infrastructures de publication en libre accès (p. ex., portails, logiciels de flux de travail, consortiums de financement).

On a dressé la liste des avantages et des inconvénients pour chaque approche répertoriée dans la littérature. Des grands thèmes de cette analyse, il faut retenir l’influence majeure des mécanismes incitatifs – dont les pratiques d’évaluation des publications de recherche des universités – sur l’adoption des modèles de libre accès. Il conviendrait donc de considérer soigneusement les mécanismes incitatifs et les méthodes d’évaluation de la recherche^{Note de bas de page 39} dans toute stratégie visant à encourager la transition à la publication en libre accès. Autre thème récurrent, les interventions des bailleurs de fonds ont parfois des effets inattendus, ce qui témoigne du caractère changeant du contexte et des limites au contrôle direct qu’exercent les bailleurs de fonds sur les résultats. Des consultations et un suivi régulier seraient donc nécessaires pour atténuer les effets indésirables. Enfin, deux derniers points ressortent de la littérature : l’importance d’harmoniser les politiques des bailleurs de fonds et la nécessité d’encourager l’établissement de normes communes et de bonnes pratiques en matière de découvrabilité.

6.0 Conclusions et recommandations

6.1 Conclusions

Pertinence

Le PAES est pertinent pour les chercheurs; toutefois, son importance se concentre surtout dans des disciplines et des domaines de recherches précis des sciences humaines. Les chercheurs participant au programme proviennent d’un vaste éventail de disciplines, mais le programme connaît davantage de succès auprès de certaines spécialités des sciences humaines (histoire, langues et littérature, etc.) et des sciences sociales (science politique). La majorité des chercheurs de ces disciplines ont indiqué que le livre est un format de choix pour la publication, les sources et l’avancement professionnel. Le PAES est aussi pertinent pour les chercheurs qui disent tirer une valeur ajoutée de leur collaboration avec des maisons d’édition canadiennes (auteurs d’un premier ouvrage, auteurs qui publient en français, chercheurs dont le sujet d’étude nécessite une connaissance du contexte canadien, etc.). Dans l’ensemble, environ 16,7 p. 100 des chercheurs canadiens en sciences humaines ont publié chez un éditeur canadien. Environ un tiers d’entre eux disent qu’ils seraient désavantagés si leur livre ne pouvait être publié au Canada.

Le PAES est grandement pertinent pour les maisons d’édition savante canadiennes, en particulier les presses universitaires. Le PAES aide les maisons d’édition à investir dans des livres qui ont une grande valeur scientifique, mais un faible potentiel de recouvrement des coûts (p. ex., en raison du public cible spécialisé ou limité au Canada). Il n’existe aucun équivalent au financement offert par le PAES au sein des autres programmes fédéraux, et ces derniers ne comportent aucune mesure encourageant la publication savante. Pour la période à l’étude, plus de 90 p. 100 des subventions du PAES ont été octroyées à un petit groupe de 10 presses universitaires.

Les priorités du PAES correspondent à celles du CRSH. Comme les objectifs du PAES sont très généraux, il est difficile d’évaluer de manière concrète leur concordance avec les priorités du CRSH ou du programme Savoir. Le mécanisme de financement n’est pas conçu pour cibler certains domaines prioritaires ou ceux pour lesquels le PAES semble le plus pertinent. Les données suggèrent néanmoins une certaine adéquation dans la pratique : par exemple, environ 50 p. 100 des subventions du PAES sont octroyées à des projets de recherche financés par le CRSH, 44 p. 100 à des manuscrits portant sur des sujets canadiens, et 32 p. 100 à des auteurs d’un premier ouvrage.

En pratique, la pertinence du PAES repose sur l’adéquation entre le mandat du CRSH et celui des maisons d’édition savante, soit de soutenir la recherche en sciences humaines au pays. En effet, le PAES atteint ses objectifs par l’intermédiaire du travail des maisons d’édition. Bien que le programme vise explicitement les chercheurs (il s’agit d’un prix pour les auteurs), plus de 90 p. 100 des demandes sont préparées et envoyées par les maisons d’édition qui sélectionnent les manuscrits à soumettre, coordonnent l’évaluation par les pairs, participent à la rédaction du manuscrit avant la présentation de la demande, soumettent la demande et reçoivent et gèrent les fonds octroyés.

Les objectifs actuels du PAES ne tiennent pas compte des notions d’équité, de diversité et d’inclusion. Le programme recueille toutefois des données de suivi sur deux aspects connexes : le pourcentage d’auteurs d’un premier ouvrage et de publications francophones. Ces données indiquent que le PAES est important pour les nouveaux auteurs et que les auteurs francophones sont confrontés à des obstacles systémiques.

Rendement

Selon les constatations de l’évaluation, le PAES atteint son objectif premier de soutenir la diffusion de la recherche en contribuant au nombre de publications en sciences humaines. En l’absence de données de référence ou de comparaison, les résultats ne sont pas définitifs. Cependant, plusieurs sources confirment que le programme renforce la capacité des maisons d’édition à prendre des risques en publiant des ouvrages de grande valeur scientifique ou correspondant à leur mandat, mais non rentables. La disparition du PAES affaiblirait le milieu de l’édition savante au Canada et toucherait de manière disproportionnée certains chercheurs et sujets d’étude.

L’évaluation n’a pas permis de déterminer si le PAES contribue directement à la qualité des manuscrits financés. Le programme ne comprend pas de mécanisme agissant directement sur cet aspect, malgré qu’il impose un processus d’évaluation par les pairs standardisé pour chaque demande. Puisque les processus d’assurance de la qualité sont déjà intégrés en amont aux pratiques de recherche et de publication savante, le PAES est peut-être mieux adapté pour apporter un soutien indirect, notamment par l’attribution de fonds où les normes de qualité sont visiblement rigoureuses.

Le PAES n’est pas conçu pour favoriser les initiatives visant l’accessibilité et la découvrabilité des livres. Les maisons d’édition témoignent toutefois d’une contribution mineure et accessoire du programme, principalement par des ressources accrues en matière de marketing et de promotion. Les maisons d’édition savante font état d’une faible capacité à faire face au risque que représente la transition vers la publication en libre accès ou à remplacer les revenus qui seraient ainsi perdus. Elles signalent également des obstacles structuraux au libre accès et une faible demande du milieu de la recherche.

Rapport coût-efficacité

Le rapport coût-efficacité du PAES est élevé : les dépenses d’exploitation sont de 22 ¢ pour chaque dollar remis en subvention. Ce rapport est beaucoup plus élevé que celui de la moyenne des subventions et des partenariats de recherche. Deux caractéristiques du PAES expliquent cette différence :

1. Le mécanisme de financement, qui requiert un investissement en ressources substantiel pour chaque candidat.
2. Le peu de place laissé pour les économies d’échelle. Le PAES repose sur un modèle de financement exigeant beaucoup de ressources, mais dispose de deux fois moins de fonds que l’ARS (par exemple). Et contrairement à l’ARS, le PAES n’est pas en mesure de partager les coûts indirects avec d’autres programmes du CRSH (TI, comptabilité, etc.).

En d’autres mots, si le rapport coût-efficacité du PAES est élevé, c’est pour des raisons structurelles, et non à cause d’un mode de prestation inefficace. Pour améliorer ce rapport de façon substantielle, il faudrait modifier le mécanisme de financement.

Autres approches possibles

Le modèle de financement du PAES a ses points forts et ses points faibles. À titre d’exemple : le modèle actuel évite de privilégier la quantité plutôt que la qualité et offre une certaine latitude pour l’utilisation des fonds, ce qui est important étant donnée la grande diversité des ouvrages en sciences humaines et du secteur de l’édition. Cependant, le processus retarde la publication des manuscrits et offre peu de flexibilité au CRSH pour cibler les domaines prioritaires ou les plus pertinents. D’autres points forts et points faibles sont énoncés ci-dessus. Le modèle de financement du PAES exige beaucoup de ressources des différents acteurs, dont les auteurs et les maisons d’édition, mais il présente certains avantages à considérer si l’on explore d’autres mécanismes de prestation.

6.2 Recommandations

Continuer à offrir un soutien à la publication de livres savants de la recherche canadienne en sciences humaines. Le programme comble un besoin auquel ne répondent pas les autres sources de financement, il est pertinent pour les chercheurs canadiens et rend possible la publication de recherches importantes pour le domaine des sciences humaines et le Canada.

Recommandation 2. Établir des objectifs clairs et concrets pour le PAES. Les objectifs du PAES sont vastes et ambitieux compte tenu de petite taille du programme et du fait que la pertinence du financement de la recherche en sciences humaines est limitée à certains domaines. Il faut fixer des objectifs concrets pour aider les gestionnaires du programme et le CRSH à contextualiser et à orienter cette occasion de financement.

Il y a lieu de tenir compte de ce qui suit :

• Le PAES est actuellement une occasion de financement intégrée au programme Savoir du CRSH. Ses objectifs doivent donc tenir compte des objectifs de ce programme et des secteurs où le financement serait le plus utile pour soutenir la recherche en sciences humaines.
• La question de savoir à qui s’adresse le PAES (auteurs ou maisons d’édition) fait l’objet de débats depuis au moins 30 ans^{Note de bas de page 40}. Cette ambiguïté nuit à la compréhension des parties prenantes, complique le développement du programme et impose essentiellement une fausse dichotomie. On peut définir le PAES comme une initiative qui s’adresse autant aux auteurs qu’aux maisons d’édition dont l’objectif commun est de contribuer à l’avancement de la recherche en sciences humaines et de ses bienfaits pour toute la société. Autrement dit, le PAES soutient la recherche et les chercheurs en sciences humaines au Canada, et y parvient en contribuant aux activités des maisons d’édition savante qui partagent ce mandat. Il serait utile de le reconnaître explicitement dans la description et le modèle logique du programme, en distinguant bien les objectifs (avancement de la recherche en sciences humaines au Canada) des moyens (collaboration avec les maisons d’édition savante canadiennes).
• Les objectifs actuels du PAES ne tiennent pas compte des notions d’équité, de diversité et d’inclusion. Il faudrait à tout le moins envisager de prendre des mesures pour recueillir des données à ce sujet dans le cadre du programme.

Recommandation 3. Trouver des moyens d’améliorer le mécanisme de financement du PAES. Le CRSH collabore actuellement avec la Fédération des sciences humaines et avec l’Association des presses universitaires canadiennes (APUC) pour accroître les ressources en matière de publication d’ouvrages savants en libre accès et la participation francophone au PAES. En plus de ces démarches, le CRSH devrait envisager d’autres mécanismes de financement afin d’améliorer le rapport coût--efficience et le rendement du PAES. Il faudrait évaluer les options en tenant compte des principaux avantages du modèle actuel.

• Sur le plan du rapport coût--efficience, il faudrait revoir le modèle de sélection individuel (par livre). Ce changement ne réduirait probablement pas la qualité globale des publications, puisque le modèle de financement actuel ne semble pas contribuer à la qualité des manuscrits, à l’exception de l’imposition de lignes directrices uniformisant le processus d’évaluation par les pairs. Les maisons d’édition savante ont tout intérêt à maintenir la qualité élevée et la rigueur scientifique de leurs publications, considérant l’importance de la réputation dans le choix d’un éditeur. Les constatations de l’évaluation laissent croire que le PAES aide les maisons d’édition à investir dans des manuscrits qu’ils souhaiteraient soutenir, quel que soit le mécanisme de financement du programme.
• Sur le plan du rendement, le CRSH a besoin d’une plus grande latitude pour concentrer ses investissements dans les domaines où le PAES aurait une incidence et une pertinence élevées, et ainsi compenser la petite taille de l’enveloppe budgétaire. Le modèle actuel n’est pas assez souple pour s’adapter à des objectifs concrets (voir ci-dessus).
• En examinant les différentes options, il faudrait tenir compte des engagements du CRSH envers les communautés des langues officielles en situation minoritaire^{Note de bas de page 41}. Comme il est expliqué ci-dessus, il est possible que le pourcentage de publications en français soutenues par le PAES soit en partie le fait de facteurs externes au programme, par exemple les pratiques actuelles d’évaluation de la recherche des établissements. Le CRSH devra peut-être agir sur plusieurs fronts^{Note de bas de page 42}. Toutefois, il pourrait être utile d’accroître la flexibilité du mécanisme de financement du PAES afin de tenir compte de ce genre de priorités.

Des rapports antérieurs^{Note de bas de page 43} ont proposé d’autres modèles, notamment la transformation du PAES en une « subvention globale » pour les maisons d’édition savante ou les établissements universitaires ou l’augmentation du financement pour les chercheurs qui publient un livre. Parmi les autres possibilités soulevées par les participants lors de la présente évaluation, mentionnons l’adoption d’un modèle de concours périodique similaire à celui de l’ARS, ce qui permettrait de gagner en efficacité et d’harmoniser les critères ou les mesures incitatives aux priorités du CRSH.

En explorant ces différentes avenues, il faut porter une attention particulière aux occasions de collaboration dans le secteur. Vu sa portée limitée, le PAES ne peut suffire pour changer les choses. C’est particulièrement vrai pour ce qui suit :

• Le PAES profite actuellement de l’expertise et des ressources des maisons d’édition savante dont les activités cadrent avec le mandat du CRSH, soit de soutenir et de promouvoir la recherche en sciences humaines. Les avantages de la collaboration avec les maisons d’édition canadiennes sont présentés ci-dessus; ils touchent surtout, mais pas exclusivement, certains groupes de chercheurs (comme les auteurs d’un premier ouvrage, les chercheurs étudiant un sujet émergeant ou d’intérêt national et les chercheurs francophones).
• Il faudrait renforcer les synergies avec d’autres bailleurs de fonds fédéraux. Tout conflit avec d’autres initiatives en cours minerait l’efficacité du PAES. Le renforcement des synergies avec les initiatives de Patrimoine canadien^{Note de bas de page 44}, dont le Fonds du livre du Canada et son volet Soutien aux organismes, revêt une importance particulière à l’heure où le CRSH s’est donné comme priorité la promotion du libre accès.

Recommandation 4. Mettre à jour le modèle logique ou la théorie du changement du programme. Il faudrait mettre au point un nouveau modèle logique ou une nouvelle théorie du changement pour le PAES. Les résultats exposés plus haut posent les fondements empirique d’un nouveau modèle de changement, et la Division de l’évaluation peut fournir du soutien technique en ce sens. Ce type de document serait utile pour étudier les différentes possibilités à l’avenir.

Bibliographie

• Bamberger, M. Introduction aux méthodes mixtes dans l’évaluation d’impact, 2012.
• Best, A., et B. Holmes. « Systems thinking, knowledge and action: towards better models and methods », Evidence & Policy: A Journal of Research, Debate and Practice, vol. 6, n^o 2 (2010), p. 145-159.
• Centers for Disease Control (CDC). Mixed methods in program evaluation, 2013.
• Chen, H. « A theory-driven evaluation perspective on mixed-methods research », Research in the Schools, vol. 13, n^o 1 (2006), p. 75-83.
• Conseil de recherches en sciences humaines (CRSH). Définitions, 2018.
• Fast, E. Open access and the ASPP: report to the Federation of Humanities and Social Sciences, SEJA Strategies, 2018.
• Greenhalgh, T., G. Robert, F. Macfarlane, P. Bate, et O. Kyriakidou. « Diffusion of innovations in service organizations: systematic review and recommendations », The Milbank Quarterly, vol 82, n^o 4 (2004), p. 581-629.
• Lobet, D., et V. Larivière. Study on the Awards to Scholarly Publications Program and the Scholarly Book Situation in Canada, Fédération des sciences humaines, 2018.
• Patrimoine Canadien (PCH). Évaluation du Fonds du livre du Canada 2012-2013 à 2017-2018, 2019.
• Patton, Michael Quinn. Utilization-Focused Evaluation, 4^e éd., Thousand Oaks (Californie), SAGE Publications, 2008.
• Ryan, K., N. Gannon-Slater et M.J. Culbertson. « Improving Survey Methods With Cognitive Interviews in Small- and Medium-Scale Evaluations », American Journal of Evaluation, vol. 33, n^o 3 (2012), p. 414-430. *besoin du DOI
• Tashakkori, A., et C. Teddlie. The SAGE Handbook of Mixed Methods in Social & Behavioral Research, Thousand Oaks (Californie), SAGE Publications, 2010.

Annexe A. Description du PAES

Survol

Le PAES est un programme de subvention concurrentiel visant à soutenir la publication de monographies, de livres savants et d’autres textes d’une certaine longueur dans la sphère des sciences humaines. Depuis sa création, il a rendu possible la publication de plus de 7 000 ouvrages. Le PAES est financé par le CRSH et géré par la Fédération des sciences humaines.

Objectifs

L’objectif global du PAES est d’enrichir la vie sociale, culturelle et intellectuelle au Canada et dans le monde.

Son objectif intermédiaire est de soutenir la diffusion de la recherche et d’encourager l’excellence des travaux de grande érudition en sciences humaines par le financement d’ouvrages spécialisés qui apportent une importante contribution au savoir.

Historique

Le PAES a vu le jour en 1941. Autrefois nommé Programme d’aide à la publication, il visait d’abord à compenser les coûts de publication de livres savants au Canada et à permettre à davantage de chercheurs canadiens de publier leurs travaux malgré la taille modeste du marché pour ces ouvrages. Depuis la fondation du CRSH en 1978, cet organisme finance le programme. Les budgets de fonctionnement sont relativement constants, soit d’environ 1,8 million de dollars, et ce depuis la période antérieure à celle couverte par la présente évaluation (2008-2018). Le programme a récemment connu quelques changements, dont la refonte de son système d’évaluation (en 2013) et un changement de nom (en 2014). En 2015, la Fédération des sciences humaines a adopté une politique de libre accès.

Chaque année, le PAES accorde 180 subventions de publication et 5 subventions de traduction, pour un total de 1,5 million de dollars. Les ouvrages ainsi financés peuvent être publiés en version imprimée ou numérique. Le tableau 7 ci-dessous présente les statistiques du PAES.

Valeur et durée du financement

Chaque subvention de publication du PAES s’élève à 8 000 $. Les subventions sont approuvées en principe avant la publication et payées directement à la maison d’édition après la publication.

La subvention de traduction s’élève à 12 000 $ et sert à payer les frais de traduction et de publication. Les subventions sont approuvées en principe avant la publication de la traduction et payées directement à la maison d’édition après la publication.

Admissibilité

Les auteurs et maisons d’édition canadiennes admissibles^{Note de bas de page 45} peuvent présenter une demande de subvention au PAES pour financer la publication ou la traduction de textes scientifiques longs, comme des livres et des monographies. Les auteurs n’ont pas à trouver un éditeur s’engageant à publier l’ouvrage pour soumettre une demande, mais ils sont encouragés à collaborer avec un éditeur avant de le faire^{Note de bas de page 46}.

Processus de demande et de sélection

Le personnel du PAES prend une première décision quant à l’admissibilité de la demande. En cas d’incertitude, le Conseil scientifique du PAES prend une décision.

Le Conseil scientifique est composé de six chercheurs qui conseillent la Fédération sur les questions de politiques et d’orientation stratégique du PAES. Il se réunit au moins quatre fois par année pour discuter d’enjeux stratégiques et prendre des décisions quant aux demandes de subvention de traduction.

L’année financière du programme va du 1^er avril au 31 mars. Les demandes de subvention de publication sont acceptées et évaluées tout au long de l’année par le Comité des publications, qui regroupe des spécialistes des grandes disciplines des sciences humaines.

Lorsque la demande est présentée par une maison d’édition, elle doit être accompagnée d’au moins un des deux rapports d’évaluation par les pairs imposés. Le processus d’évaluation doit être conforme aux lignes directrices du PAES en la matière^{Note de bas de page 47} et effectué selon le formulaire prévu à cet effet. La norme du PAES pour l’évaluation par les pairs est à simple insu : l’identité de l’auteur peut être révélée aux évaluateurs, mais l’auteur ne doit pas connaître l’identité des évaluateurs. Dans le cas des demandes présentées par l’auteur, le PAES se charge de trouver au moins deux pairs évaluateurs. Aucun délai ne s’applique au processus d’évaluation par les pairs.

Dans le cas où le PAES se charge de l’évaluation par les pairs, les rapports sont envoyés dès réception à l’auteur ou à la maison d’édition, selon le soumissionnaire de la demande. Si les pairs évaluateurs ont formulé des critiques sérieuses, l’auteur a six mois pour y répondre.

Les dossiers de demande complets (y compris les rapports d’évaluation par les pairs et des portions précises du manuscrit)^{Note de bas de page 48} sont évalués par le Comité des publications selon le barème illustré au tableau 3.

Une demande qui a été notée pendant un mois civil sera classée avec les autres demandes notées au cours du même mois. Un nombre déterminé de demandes sont approuvées et les autres sont rejetées. Les demandes dont la note est de 2,9 ou moins ne peuvent obtenir de financement.

Si une demande est rejetée, elle peut être soumise à nouveau après que l’ouvrage aura été révisé. Une demande ne peut être soumise à nouveau qu’une seule fois et doit l’être dans les deux ans après la notification du rejet. Au moins un des évaluateurs ayant évalué l’ouvrage original doit fournir un rapport détaillé au sujet de l’ouvrage révisé.

Si l’ouvrage n’est pas publié dans les trois années suivant l’approbation en principe, la subvention expire et aucune nouvelle demande de subvention n’est prise en considération. Le PAES n’assume aucune responsabilité dans le cas des subventions expirées.

Annexe B. Méthodologie

Puisqu’il s’agissait d’une évaluation conjointe de l’ARS et du PAES, la même approche a été utilisée pour les deux initiatives. Les méthodes ont aussi été les mêmes lorsque c’était possible. Les méthodes de collecte et d’analyse de données employées sont expliquées plus bas. Celles qui s’appliquaient exclusivement à l’ARS et ne concernaient pas la collecte et l’analyse de données pour le PAES ont été omises du présent document, mais sont consignées dans le rapport d’évaluation de l’ARS.

Entrevues avec les répondants clés

Des entrevues avec des répondants clés ont été réalisées en juillet et en août 2019 afin de recueillir des données probantes pour l’évaluation dans le cadre des activités de recherche.

Les participants aux entrevues ont été choisis par la Division de l’évaluation du CRSH, selon les données administratives de l’ARS et du PAES, afin d’assurer des perspectives variées. Au total, des entrevues ont été réalisées auprès de 42 répondants, répartis dans les huit sous-groupes suivants :

• Rédacteurs en chef de revues subventionnées par l’ARS (n = 8)
• Rédacteurs en chef de revues non subventionnées ou ayant reçu l’ARS pour la première fois en 2018 (n = 4)
• Éditeurs fréquemment subventionnés par les PAES (n = 7)
• Éditeurs rarement subventionnés par les PAES (n = 4)
• Chercheurs universitaires du domaine des sciences humaines (n = 6)
• Autres parties prenantes et représentants d’organismes intéressés (n = 6)
• Représentants de l’ARS et du PAES (n = 5)
• Représentants d’autres bailleurs de fonds fédéraux (n = 2)

Analyse des données administratives du PAES

La Fédération des sciences humaines a fourni des données sur les demandes présentées au PAES (n = 2 540) entre 2007 et 2017. La Division de l’évaluation du CRSH a réalisé une analyse statistique descriptive dans SPSS.

Analyse de la base des données du CVC – Publications de chercheurs canadiens en sciences humaines

Le dossier de publications des chercheurs a été étudié à l’aide d’une approche transversale, dans le but d’estimer le pourcentage de chercheurs canadiens en sciences humaines ayant publié des travaux dans une revue ou chez une maison d’édition au Canada. On trouvera davantage de renseignements sur les procédures adoptées dans le rapport d’évaluation final sur l’ARS.

Revues de la littérature et d’autres documents

L’évaluation comprenait quatre revues ciblées de la littérature évaluée par les pairs et d’autres documents.

1. Pertinence : revue de la littérature scientifique et des documents de programmes sur les initiatives de financement des publications savantes au Canada (n = 22).
2. Contribution : revue des évaluations et des études antérieures sur l’ARS et les PAES (n = 7).
3. Autres approches possibles : revue de la littérature évaluée par des pairs publiés de 2016 à mai 2019 et portant sur les initiatives gouvernementales visant à favoriser la publication en libre accès (n = 69).
4. Équité, diversité et inclusion&nbsp;: analyse des documents du CRSH et des trois organismes sur l&rsquo;équité, la diversité et l&rsquo;inclusion ainsi que des documents de programme portant sur les objectifs et la collecte de données de suivi de l&rsquo;ARS et du PAES (n&nbsp;=&nbsp;8).

Sondages

Trois sondages, destinés aux populations ci-dessous, ont été menés lors de la phase 2 de l’évaluation de l’ARS et du PAES :

1. Rédacteurs en chef de revues savantes canadiennes en sciences humaines
2. Éditeurs universitaires canadiens subventionnés par les PAES
3. Chercheurs canadiens en sciences humaines ayant déjà publié dans une revue savante canadienne ou chez une maison d&rsquo;édition du pays

Le sondage auprès des rédacteurs en chef de revues n’avait trait qu’à l’ARS, et le sondage auprès des éditeurs, qu’au PAES. Le sondage auprès des chercheurs valait pour les deux occasions de financement. Les sondages menés auprès des maisons d’édition et des chercheurs sont expliqués plus en détail ci-dessous.

Sondage auprès des éditeurs

Ce sondage a été envoyé aux personnes occupant un poste de gestion ou de direction au sein d’une maison d’édition savante canadienne admissible au PAES (n = 42), qu’il s’agisse d’une presse universitaire ou d’une maison d’édition spécialisée ou généraliste.

Aucune stratégie d’échantillonnage n’a été appliquée. Le sondage a été transmis à un représentant de chaque maison d’édition savante canadienne admissible au PAES répertoriée^{Note de bas de page 49}. Il a fait l’objet d’un prélancement par Ference & Company le 12 février 2020 auprès de 10 participants sélectionnés au hasard. Puisqu’aucun problème n’a été signalé, le sondage a été ouvert aux autres participants le 13 février 2020. Un rappel a été envoyé par courriel aux personnes qui n’avaient pas encore répondu le 3 mars. Un rappel ciblé a été envoyé aux participants le 6 mars après l’analyse des biais dans les réponses. Des suivis téléphoniques auprès de ceux qui n’avaient pas répondu ont été effectués du 6 au 10 mars. Le sondage a pris fin le 13 mars.

Environ la moitié (49 p. 100) des éditeurs ciblés ont rempli le sondage dans son entièreté; quelques participants (n = 3) ont commencé le sondage sans le compléter. Les réponses incomplètes ont été exclues des analyses. Les éditeurs qui ont répondu au sondage représentent 88 p. 100 du financement octroyé par le PAES au cours des trois dernières années. La marge d’erreur, qui est de 16 p. 100, est considérée comme élevée pour un sondage, puisqu’elle indique qu’on peut difficilement généraliser les données à l’ensemble de la population. Dans le cas présent, cela signifie que les résultats du sondage (qui proviennent principalement de maisons d’édition recevant régulièrement des fonds du PAES) peuvent difficilement être généralisés aux maisons d’édition qui n’obtiennent pas régulièrement de financement du PAES ou en obtiennent très peu.

Sondage auprès des chercheurs

Ce sondage a été envoyé aux chercheurs en sciences humaines affiliés à des établissements canadiens et ayant déjà publié un article dans une revue ou chez une maison d’édition au Canada. Cette définition a permis d’interroger un échantillon suffisamment important pour analyser les différences possibles entre les sous-groupes en ce qui concerne l’utilisation des canaux de publication canadiens selon divers facteurs (stade de la carrière, langue, discipline d’affiliation, etc.).

Compte tenu de la portée limitée de l’évaluation, l’échantillon de chercheurs provient de deux sources de données administratives:

1. Chercheurs canadiens en sciences humaines possédant un dossier de publications canadiennes dans la base de données du CV commun canadien (CVC) du CRSH. Le système informatisé de gestion des subventions et des bourses (AMIS) du CRSH a servi de substitut à la population de chercheurs en sciences humaines canadiens lors de l’évaluation de la représentativité des données du CVC (voir ci-dessus la section Analyse des données du CVC).

   Afin d’estimer le nombre de répondants nécessaires pour le sondage, une étude pilote a été réalisée avec les données du CVC afin d’estimer le pourcentage de chercheurs universitaires canadiens qui font appel aux canaux de publication du pays pour publier leurs recherches. À partir des résultats, un échantillon aléatoire simple de 1 500 chercheurs a été sélectionné dans la base de données pour représenter la population à l’étude. Les personnes qui n’étaient pas affiliées à un établissement canadien ou qui n’avaient pas de dossier de publications ont été exclues, ainsi que celles qui n’avaient jamais publié d’article dans une revue ou chez une maison d’édition du pays. L’échantillon définitif comptait 865 chercheurs.

2. Candidats au PAES de 2016 et 2017. Ils ont été inclus dans l’échantillon pour assurer la représentation suffisante des chercheurs publiant leurs travaux chez des maisons d’édition canadiennes. Les années ont été choisies en fonction des délais d’édition, de sorte que les livres soumis aient eu le temps d’être publiés. Tous les candidats ont été inclus, qu’ils aient été retenus ou non. Fournies par la Fédération des sciences humaines, les données utilisées proviennent des dossiers administratifs du PAES (n = 522) : un total de 91 chercheurs ont été exclus, car ils n’étaient pas affiliés à un établissement canadien. L’échantillon restant a été coupé de moitié (n = 215) au hasard, et 27 dossiers ont été supprimés parce qu’ils constituaient des doublons ou ne contenaient pas d’adresse courriel valide (n = 188).

Les listes du PAES et du CVC (n = 1 053) ont été nettoyées afin d’éliminer les doublons avant de les fusionner. Elles ont aussi été comparées avec la liste du sondage sur l’ARS mené auprès des rédacteurs en chef pour que personne ne soit interrogé deux fois. Après la suppression des doublons, des candidats en congé (sabbatique, parental, médical ou autre) et d’une adresse courriel invalide, l’échantillon final, comprenant 933 chercheurs, a été envoyé à Ference & Company, responsable du sondage. Le sondage a fait l’objet d’un prélancement le 14 février 2020, avant d’être officiellement lancé le 18 février 2020. Le 24 février et les 2 et 6 mars 2020, des rappels ont été envoyés par courriel aux personnes qui n’avaient pas encore répondu. Le sondage a pris fin le 10 mars 2020.

Environ le tiers (32 p. 100) des chercheurs de l’échantillon ont rempli le sondage dans son entièreté. 4 répondants ont été exclus et 23 ne se sont pas rendus à la fin du sondage; leurs réponses ont été exclues des analyses. La marge d’erreur s’élève à 5 p. 100, ce qui signifie que, si les résultats étaient généralisés à toute la population, ils se situeraient à plus ou moins 5 p. 100 de leur valeur actuelle.

Analyse des sondages

Réponses fermées

Les données ont été extraites de la plateforme de sondage au format Excel, avant d’être nettoyées et vérifiées en prévision de l’analyse dans SPSS, qui a été confiée à Ference & Company.

Tests de signification

Divers tests de signification ont été réalisés pour mesurer la variation dans les réponses au sondage adressé aux chercheurs, soit un test pour échantillons indépendants, une analyse de variance à un critère de classification (ANOVA) et un test du chi carré de l’indépendance.

Le sondage adressé aux maisons d’édition a été mené auprès d’une petite population, dont tous les membres ont été intégrés à la base d’échantillonnage. Puisque la taille de la population totale et de l’échantillon de répondants est petite, seules des statistiques descriptives ont été utilisées.

Réponses ouvertes

Les réponses aux questions ouvertes ainsi que les caractéristiques des répondants (p. ex., identifiants uniques et sous-groupes d’appartenance) ont été extraites de la plateforme de sondage au format Excel. Les données du sondage adressé aux chercheurs ont ensuite été importées dans NVivo, pour fin d’analyse par la Division de l’évaluation du CRSH.

Les données ont reçu un code prédéterminé pour catégoriser les réponses à chaque question. Une fois toutes les données codées, les catégories ont été analysées pour en vérifier la cohérence interne, la distinction les unes des autres, et confirmer la représentativité de l’étiquette de la catégorie selon ses données. Dans les cas où c’était nécessaire, les données d’une catégorie ont été séparées en sous-catégories pour améliorer la cohérence interne, certaines catégories qui n’étaient pas suffisamment distinctes ou qui comptaient trop peu de données ont été fusionnées, et des étiquettes ont été modifiées pour mieux refléter le contenu. Lorsqu’il était pertinent de comparer des sous-groupes, la Division a utilisé une requête de croisement pour dénombrer les références et les répondants (fréquences) par sous-groupe pour chaque catégorie. Les réponses ouvertes au sondage auprès des éditeurs ont été analysées dans Excel et regroupées par catégories selon certains mots-clés.

Date de modification :

2021-06-30