Rapport d’évaluation de l’Aide aux revues savantes

Division de l’évaluation du CRSH
Ference & Company Consulting Ltd.

L’honorable François-Philippe Champagne, C.P., député
Ministre de l’Innovation, des Sciences et de l’Industrie

© Sa Majesté la reine du chef du Canada,
représenté par le ministre de l’Industrie, 2021

Numéro de catalogue : CR22-119/2021F-PDF
ISSN 978-0-660-37303-4

Document PDF

Table des matières

Sigles

  • ARS – Aide aux revues savantes
  • CRSH – Conseil de recherches en sciences humaines
  • CVC – CV commun canadien
  • EDI – équité, diversité et inclusion
  • ETP – équivalent temps plein
  • PAES – Prix d’auteurs pour l’édition savante

Glossaire

Chercheur en début de carrière. Chercheur universitaire ayant une expérience de cinq ans tout au plus depuis sa première nomination à un poste universitaire, en tenant compte des charges à temps partiel et des interruptions.

Diffusion de la recherche. Mesures prises pour rendre plus accessibles et mieux faire connaître les résultats de recherche auprès d’utilisateurs potentiels. Partie intégrante de la mobilisation des connaissances, la diffusion de la recherche se situe davantage du côté de l’approvisionnement que de la réception et de l’utilisation par le public. Par ailleurs, si la mobilisation des connaissances concerne le savoir dans sa globalité (y compris son application pratique), la diffusion aborde la circulation de l’informationNote de bas de page 1.

Équité, diversité et inclusion (EDI). Initiative interorganismes visant à améliorer l’équité au travail pour les groupes en quête d’équité, comme les femmes, les minorités visibles, les peuples autochtones et les personnes handicapées.

Frais de traitement d’article. Frais facturés à un auteur pour publier un article en libre accès.

Libre accès. Qualifie une publication en ligne consultable sans frais pour le lecteur. Le libre accès se décline en différentes sous-catégories quelque peu flottantes, sauf pour les suivantes qui semblent faire consensus dans la littérature.

Libre accès différé. L’article complet est accessible gratuitement sur le site Web de la revue après une période d’embargo (Piwowar et coll., 2018). Habituellement, les revues en libre accès différé donnent un accès exclusif à ces articles à leurs abonnés pendant une période déterminée (ex. : 6 ou 12 mois), après quoi ils sont en libre accès.

Voie dorée. L’article complet est accessible gratuitement sur le site Web de la revue dès sa publication, souvent grâce aux frais payés par les auteurs (FTA) ou aux commandites (Eng, 2017). Certains auteurs estiment qu’un article de la voie dorée devrait être assorti d’une licence de réutilisation (Penn, 2018), mais ce n’est toujours pas une pratique courante.

Il est possible de publier ce type d’article dans des revues exclusivement en libre accès (revue de la voie dorée) ou des revues hybrides. Ces dernières donnent accès à certains de leurs articles sur abonnement, et à d’autres en libre accès, habituellement en contrepartie de frais payés par les auteurs.

Voie grise. Les auteurs déposent leurs articles en libre accès sur des sites Web ou dans les médias sociaux plutôt que dans un répertoire. Il peut s’agir de ResearchGate, d’Academia.edu ou du site Web d’une faculté universitaire (Borrego, 2016). Les droits d’auteur sont rarement pris en compte (Piwowar et coll., 2018).

Voie verte. Les articles sont déposés dans un répertoire en libre accès, habituellement par les auteurs. Ces répertoires sont administrés par un tiers (plutôt que par la revue), par exemple une université ou une autre entité exploitant un répertoire régional ou spécialisé, comme ArXiv (Borrego, 2016; Bower, 2017).

Mobilisation des connaissances. « L’échange et l’intégration réciproques et complémentaires de connaissances issues de la recherche parmi les chercheurs, les courtiers de connaissances et les utilisateurs des connaissances – tant dans le milieu universitaire qu’au-delà de celui-ci – de manière potentiellement avantageuse pour les utilisateurs et de manière à créer des impacts bénéfiques au Canada et à l’échelle internationale et, au bout du compte, qui a le potentiel de rehausser le profil, la portée et l’impact de la recherche en sciences humaines. » (CRSH, 2018)

Recherche canadienne. Aux fins du présent rapport, et dans le cadre de l’ARS, s’entend des travaux de recherche menés par des chercheurs affiliés à des établissements canadiens ou sur des sujets propres au Canada (géographie, culture, histoire ou établissements canadiens p. ex.).

Remerciements

Nous tenons à remercier les chercheurs canadiens en sciences humaines, les rédacteurs en chef de revues, les éditeurs et autres personnes intéressées du secteur qui ont participé à l’évaluation.

Nous remercions aussi les membres externes du Comité consultatif de l’évaluation pour leur aide et leurs conseils éclairés : Isabelle Bourgeois (Ph. D.) et Stefanie Haustein (Ph. D.), de l’Université d’Ottawa, et Josée Dallaire, Sonia Vani et Gina Hill Birriel, de la Fédération des sciences humaines.

Sommaire

À propos de l’évaluation

Il s’agissait de l’évaluation conjointe de deux initiatives de financement : l’Aide aux revues savantes (ARS) et le Prix d’auteurs pour l’édition savante (PAES). Ce rapport présente les constatations et recommandations propres à l’ARS. Le PAES fait l’objet d’un rapport distinct.

L’objectif était d’évaluer la pertinence et la contribution du programme, son rapport coût-efficience et les autres approches viables. La période de référence allait de 2008 à 2017 pour la contribution, et de 2008 à 2018 pour la pertinence, le rapport coût-efficience et les autres volets. Voici les questions qui ont été abordées.

  1. Le gouvernement fédéral doit-il offrir une aide financière directe aux revues et maisons d’édition du secteur de l’édition savante pour accroître la diffusion des résultats des recherches canadiennes en sciences humaines?
  2. Les objectifs de l’ARS et du PAES concordent-ils avec le rôle et les priorités du gouvernement fédéral?
  3. Quelle a été la contribution du financement de l’ARS et du PAES à la quantité, à la qualité et à la diffusion des publications ayant trait à la recherche canadienne en sciences humaines?
  4. La prestation de l’ARS et le PAES présente-t-elle un bon rapport coût-efficience?
  5. Le CRSH peut-il envisager d’autres approches viables pour accroître la diffusion de résultats originaux de recherches canadiennes en sciences humaines?

L’équipe a opté pour une méthode séquentielle mixte en deux phases. La phase 1 a comporté l’analyse de jeux de données administratives et externes, des entrevues auprès de répondants clés et une analyse documentaire afin de mieux comprendre l’influence et la pertinence potentielles de l’ARS et du PAES. Les résultats obtenus ont ensuite été approfondis lors de la phase 2 au moyen de sondages auprès d’échantillons plus importants et d’analyses ciblées de documents et de données administratives.

Conclusions

L’ARS est l’une des rares initiatives du CRSH qui ne financent pas les chercheurs à titre individuel et les projets de recherche mais s’attaquent plutôt aux contraintes mêmes du système de recherche en vue de créer un contexte favorable à la recherche en sciences humaines. Une attention particulière a été accordée aux résultats prévus et imprévus, afin de déterminer s’ils concordaient avec l’engagement du CRSH de soutenir et de promouvoir la recherche et les chercheurs en sciences humaines au Canada. La pertinence et la concordance revêtaient un intérêt particulier en raison des changements apportés à l’ARS et de l’évolution du contexte dans lequel elle s’inscrit.

Pertinence. Les revues canadiennes représentent un canal de publication pour une majorité de chercheurs canadiens en sciences humaines (65 p. 100). D’ailleurs, 84 p. 100 des chercheurs sondés estiment que les revues canadiennes sont importantes non seulement pour diffuser leurs travaux de recherche, mais aussi en tant que source de contenu utile pour leurs travaux de recherche et comme moyen d’établir des liens avec les pairs et les lectorats cibles et de favoriser l’avancement de la recherche canadienne. La majorité des revues admissibles au financement de l’ARS sont dirigées par des universitaires bénévoles, avec un maigre budget. Sans l’ARS, la plupart des revues subventionnées perdraient plus de la moitié de leurs revenus. Les autres sources de revenus possibles sont rares, surtout pour les revues de la voie dorée.

Le CRSH entretient une relation synergique avec les revues canadiennes en sciences humaines : en finançant les revues au service de la recherche et des chercheurs en sciences humaines du Canada, le CRSH vient consolider ses investissements dans le domaine. Par conséquent, une baisse de la capacité de publication des revues canadiennes dévaloriserait les autres investissements du CRSH, dont le financement de champs de recherche d’importance nationale.

Contribution. Le financement de l’ARS permet d’augmenter de façon considérable la quantité annuelle de publications en sciences humaines. Selon les résultats, l’ARS apporte aussi de petites contributions indirectes à certains éléments, comme la capacité des revues d’assurer la qualité des manuscrits et les pratiques relatives à l’accessibilité et découvrabilité des articles publiés. L’apport de l’ARS est remarquable compte tenu de son modeste budget.

Potentiel. L’ARS pourrait aussi permettre au CRSH de donner suite à d’autres engagements, par exemple faire progresser l’équité, la diversité et l’inclusion (EDI). Les revues canadiennes sont en position d’influencer l’EDI sur le plan systémique, certaines revues étant déjà à l’œuvre pour mobiliser la recherche sur des sujets liés à l’équité (recherche autochtone p. ex.). Par ailleurs, l’ARS est un important volet des efforts déployés par le CRSH pour accroître la capacité de publication en libre accès de qualité au Canada. Le financement est particulièrement important pour les revues de la voie dorée, dont les autres sources de revenus sont très limitées.

Recommandations

  1. Maintenir le financement par l’ARS. Pour l’instant, les revues canadiennes jouent un rôle important dans le système de recherche en sciences humaines du pays. L’ARS donne des résultats positifs qu’il serait difficile de reproduire autrement. Il s’agit d’un investissement plutôt modeste pour le CRSH, d’un bon rapport coût-efficience. Par ailleurs, ce financement s’avère de plus en plus pertinent pour les revues qui font la transition au libre accès.
  2. Harmoniser les objectifs de l’ARS avec ceux du programme Savoir en tenant compte des principaux points forts de l’ARS. Les objectifs de l’ARS ne sont pas représentatifs de son potentiel au sein du programme Savoir ni de la valeur qu’ont les revues canadiennes en sciences humaines pour les chercheurs et de l’utilisation qu’ils en font. Une meilleure harmonisation des objectifs de l’ARS avec ceux du programme Savoir et avec le rôle que les chercheurs attribuent aux revues canadiennes– là où ces objectifs et ce rôle se rejoignent – permettrait de mieux cibler l’ARS et de mieux tirer parti de ses ressources limitées. Quelques suggestions sont présentées à la section 6.
  3. Veiller à l’harmonisation opérationnelle de l’ARS avec ses nouveaux objectifs. Une fois précisés, les nouveaux objectifs de l’ARS devront se refléter dans son processus de sélection et ses pratiques de suivi du rendement. Par exemple, il serait utile de réviser les critères d’évaluation pour assurer la mise en évidence et le respect des grandes priorités. Quelques suggestions sont présentées à la section 6.
  4. Actualiser le modèle logique de l’ARS. Une mise à jour du modèle logique actuel permettrait de mieux refléter la contribution de l’ARS et les mécanismes qui lui permettent cette contribution. Les constatations posent les fondements d’un modèle de changement empirique pouvant orienter l’ARS.
  5. Sur le plan organisationnel, envisager d’utiliser l’ARS comme véhicule pour faire progresser la réalisation des grandes priorités du CRSH. Les investissements actuels ne sont pas suffisants pour que l’ARS puisse apporter autre chose qu’une contribution très modeste à la quantité, à la qualité, et à l’accessibilité et découvrabilité des publications canadiennes en sciences humaines. Pourtant, elle aurait le potentiel de jouer un rôle prépondérant dans le système de recherche en sciences humaines pour faire progresser la réalisation des objectifs du CRSH en matière, entre autres, d’excellence en recherche, d’utilisation de la recherche, d’EDI et de recherche ouverte. Quelques suggestions sont présentées à la section 6.

1.0 Introduction

Ce rapport rend compte des principales constatations de l’évaluation conjointe de l’Aide aux revues savantes (ARS) et du Prix d’auteurs pour l’édition savante (PAES), ainsi que des conclusions et recommandations qui en découlent. Le rapport se concentre spécifiquement sur l’ARS. Le PAES fait l’objet d’un rapport distinct.

1.1 Contexte et objectif de l’évaluation

À propos de l’ARS. L’ARS est une occasion de financement qui s’inscrit dans le programme Savoir du Conseil de recherches en sciences humaines (CRSH). Son principal objectif est d’accroître la diffusion de la recherche canadienne en sciences humaines. Pour ce faire, l’ARS offre du financement aux revues savantes canadiennes en sciences humaines, étant donné leur statut d’outil principal de diffusion de la recherche.

Existant depuis 1940, l’ARS offre actuellement un financement annuel de plus de 3 millions de dollars, réparti entre quelque 160 revues. Ce financement est accordé dans le cadre de concours périodiques, dont les plus récents ont eu lieu en 2008, 2011, 2014 et 2018. Pour obtenir de plus amples renseignements sur l’ARS, consulter l’annexe A.

À propos de l’évaluation. L’évaluation visait avant tout à orienter les décisions de la haute gestion du CRSH et de l’équipe responsable de la gestion du programme relativement à l’avenir de l’ARS et du PAES dans un contexte en constante évolution.

La Division de l’évaluation du CRSH était responsable de l’évaluation, en collaboration avec le cabinet-conseil Ference & Company. Elle bénéficiait en outre des conseils du Comité consultatif de l’évaluationNote de bas de page 2 et de la supervision du Comité d’évaluation organisationnel du CRSHNote de bas de page 3.

Questions et portée de l’évaluation. Les aspects prioritaires étaient la pertinence et la contribution de l’ARS, notamment le rôle que joue sa conception même dans cette contribution. L’évaluation a aussi couvert le rapport coût-efficience, une volet courant des évaluations du CRSH.

Les cinq questions sur lesquelles a porté l’évaluation

  1. Le gouvernement fédéral doit-il offrir une aide financière directe aux revues et maisons d’édition du secteur de l’édition savante pour accroître la diffusion des résultats des recherches canadiennes en sciences humaines?
  2. Les objectifs de l’ARS et du PAES concordent-ils avec le rôle et les priorités du gouvernement fédéral?
  3. Quelle a été la contribution du financement de l’ARS et du PAES à la quantité, à la qualité et à la diffusion des publications ayant trait à la recherche canadienne en sciences humaines?
  4. La prestation de l’ARS et le PAES présente-t-elle un bon rapport coût-efficience?
  5. Le CRSH peut-il envisager d’autres approches viables pour accroître la diffusion de résultats originaux de recherches canadiennes en sciences humaines?

L’évaluation porte sur la période 2008-2017 en ce qui a trait à la contributionNote de bas de page 4 et sur la période 2008-2019 pour la question de la pertinence. Le rapport coût-efficience, quant à lui, a été évalué pour les quatre derniers exercices financiers (2014-2019). Le volet sur la diffusion, abordé à la question 3, s’attarde surtout à l’accessibilité et à la découvrabilité des publications. Enfin, la question 5 concerne le financement gouvernemental soutenant les publications en libre accès, une des grandes priorités du CRSH.

Conception de l’évaluation. L’équipe a opté pour une méthode séquentielle mixte en deux phases, dans le cadre d’une évaluation fondée sur l’utilisation (Patton, 2008) et d’une évaluation fondée sur la théorie (Chen, 2006). La phase 1 visait à mieux comprendre l’influence et la pertinence potentielles de l’ARS et prévoyait l’élaboration d’une proposition de théorie du changement. Cette phase était nécessaire en raison des changements apportés à l’ARS et à son contexte depuis la dernière évaluation. Quant à la phase 2, elle visait à confirmer et à approfondir les résultats de la phase 1 en vue d’arriver aux constatations finales.

Méthodologie. La phase 1 prévoyait des entrevues auprès de répondants clés (n = 41), comme des gestionnaires de programme, des rédacteurs en chef de revues savantes, des des maisons d’édition universitaires, des chercheurs et d’autres personnes intéressées du domaine; 26 de ces entrevues ont porté directement sur l’ARSNote de bas de page 5. On a aussi procédé à l’analyse de données administratives sur l’ARS (qualitatives et quantitatives, 2008-2019), puis à une étude de cohorte rétrospective à partir de la base de données Web of Science et de données administratives du CRSH (2008-2017; n = 194 revues). La phase 1 a aussi comporté une revue de la littérature, de documents de travail et de documents sur les programmes.

La phase 2, elle, visait à sonder les principaux rédacteurs en chef des revues admissibles à l’ARS (n = 286) et des chercheurs en sciences humaines (n = 993) ainsi qu’à faire une analyse ciblée des données administratives de l’ARS et du CRSH (2008-2018), notamment des données financières et de l’historique de publication d’un échantillon de chercheurs en sciences humaines (n = 1 306). Elle a aussi comporté une analyse documentaire de l’équité, de la diversité et de l’inclusion (EDI). Dans les deux phases, on a procédé à une comparaison de revues subventionnées et de revues non subventionnées similaires reposant sur des groupes comparables formés naturellement, lorsque des données étaient disponibles. Pour connaître les détails de la méthodologie, consulter l’annexe B.

Points forts et limites de la méthodologie. La méthode mixte a pour principal avantage d’exploiter les points forts des méthodes qualitative et quantitative. Par exemple, il est possible de pallier le manque de généralisabilité des constatations émanant des entrevues et la difficulté à tenir compte du contexte dans le sondage par la synchronisation; ainsi, les constatations qualitatives de la phase 1 sont venues orienter la conception des instruments et des stratégies d’échantillonnage utilisés à la phase 2.

Par ailleurs, le manque de données disponibles a constitué une limite importante. En effet, on ne disposait d’aucune donnée antérieure au programme. Par ailleurs, la comparaison entre les revues subventionnées et les revues non subventionnées reposait sur des groupes comparables formés naturellement, mais les différences allaient probablement au-delà du seul financement; cet aspect était hors du contrôle de l’équipe. De plus, il est possible que les participants à l’évaluation qui ont reçu du financement de l’ARS surestiment son impact, mais la triangulation des données de différentes sources pour chaque indicateur atténue le problème. Il convient de ne pas généraliser les résultats à d’autres populations que celles ciblées pour l’étude (annexe B). Il importe d’ailleurs de noter que les populations à l’étude (revues savantes et chercheurs canadiens en sciences humaines) sont hétérogènes. En effet, les sciences humaines regroupent de nombreuses disciplines, chacune ayant ses propres pratiques de publication et particularités, en fonction des réalités régionales et linguistiques du Canada. Les revues admissibles à l’ARS se distinguent par ailleurs sur le plan de la taille, de la maturité, du type de contenu ciblé, du lectorat et de la langue de publication. Les résultats agrégés peuvent donc occulter certaines des grandes variances entre les sous-groupes. Des analyses par sous-groupes ont été réalisées dans certains cas (groupes linguistiques p. ex.), mais c’était parfois impossible en raison de la petite taille des sous-groupes des échantillons.

1.2 Structure du rapport

Les sections 2 à 5 du rapport rendent compte des principales constatations pour chacun des aspects : pertinence, contribution, rapport coût-efficience et autres approches viables. La section 6 présente les conclusions et recommandations générales. On peut trouver la description de l’ARS à l’annexe A et des renseignements sur la méthodologie à annexe B.

2.0 Pertinence

L’un des objectifs était d’évaluer la pertinence de l’ARS, c’est-à-dire l’importance des revues nationales pour les chercheurs canadiens en sciences humaines, l’importance de l’ARS pour la viabilité des revues, la pertinence selon la littérature universitaire et d’autres organismes fédéraux ainsi que la concordance entre les objectifs de l’ARS et les priorités du CRSH.

2.1 Conclusions

L’ARS est pertinente pour les chercheurs canadiens en sciences humaines. Une majorité de chercheurs canadiens en sciences humaines (65 p. 100) ont publié dans une revue canadienne. Parmi les répondants au sondage, 84 p. 100 estiment que les revues canadiennes sont importantes (« assez importantes » à « essentielles ») pour la publication des résultats de leurs recherches.

Pour plus de la moitié des chercheurs qui ont participé au sondage, les revues canadiennes sont essentielles ou très importantes pour établir des liens avec d’autres chercheurs de leur domaine et comme sources de données pour alimenter leurs travaux. Par ailleurs, l’importance des revues canadiennes pour l’avancement professionnel des chercheurs ne fait pas l’unanimité : un certain nombre estime qu’elles sont très importantes (41 p. 100) alors que d’autres, pas du tout (25 p. 100). Or, quelle que soit la source, les constatations semblent indiquer que les revues canadiennes seraient surtout – mais pas exclusivement – importantes pour les chercheurs dont les travaux portent sur le Canada.

Au moment de choisir une revue, les critères ayant le plus de poids sont le type de sujets abordés, le public cible et la réputation auprès des pairs, devant, entre autres, le facteur d’impact et les options de libre accès. Il y a d’ailleurs une adéquation entre les réponses des chercheurs quant aux principales caractéristiques d’une bonne revue et la description que font les rédacteurs en chef de revues savantes de leur mission, soit le soutien aux milieux de recherche.

L’ARS est importante pour la viabilité des revues. Selon différentes sources de données, l’ARS est essentielle à la survie d’une minorité de revues subventionnées, son importance étant variable selon les différents sous-groupes. Pour la majorité des revues, la perte de ce financement aurait pour effet de réduire leur capacité. Sans l’ARS, la plupart des revues subventionnées perdraient plus de la moitié de leurs revenus. Les autres sources de revenus possibles sont rares, surtout pour les revues de la voie doréeNote de bas de page 6. On note d’ailleurs un écart de 21 p.1 100 entre les rédacteurs en chef de revues subventionnées et ceux de revues non subventionnées quant aux chances de survie de leur revue sur trois ans (en fonction de leur situation financière actuelle). Pour les revues subventionnées, les répondants francophones sont plus nombreux à s’estimer vulnérables à la perte de l’ARS. L’ARS contribue à accroître considérablement la capacité d’embauche des revues subventionnées en ce qui concerne la production. En outre, elle influencerait légèrement la capacité à investir dans la stratégie et le développement, bien que les résultats ne soient pas concluants.

Concordance des objectifs de l’ARS avec les priorités du gouvernement fédéral et du CRSH. Différents programmes fédéraux et la littérature universitaire fournissent des arguments en faveur du financement de canaux de publication nationaux, ce qui s’inscrit dans les priorités du CRSH. Or, comme les objectifs de l’ARS sont très généraux, il est difficile d’évaluer leur concordance avec ces dernières.

Les objectifs et les données de suivi de l’ARS ne tiennent pas compte de l’EDI, mais les résultats semblent indiquer qu’il y aurait une certaine concordance entre les activités des revues et les objectifs du CRSH en la matière, et que l’ARS, en soutenant les revues, aurait le potentiel de faire progresser l’EDI au sein du système de recherche.

2.2 Constatations détaillées en ce qui concerne la pertinence

Question 1. Le gouvernement fédéral doit-il offrir une aide financière directe aux revues pour accroître la diffusion des résultats des recherches canadiennes en sciences humaines?

Importance des revues nationales pour les chercheurs canadiens en sciences humaines

Environ 65 p. 100 des chercheurs canadiens en sciences humaines ont publié dans une revue canadienne (IC à 95 p. 100 : 62,3 à 68,4)Note de bas de page 7, selon une analyse de la base de données de CV communs canadiens réalisée dans le cadre de l’évaluation (voir l’annexe B). Parmi les répondants au sondage (n = 314)Note de bas de page 8, 83 p. 100 estiment que les revues canadiennes de leur domaine sont importantes pour publier leurs travaux de recherche, et 57 p. 100, qu’elles sont très importantes ou essentielles (figure 1).

Figure 1. Importance des revues canadiennes pour la publication des travaux de recherche, résultats pour les chercheurs en sciences humaines (n = 314)
Figure 1
Figure 1 description détaillée
Figure 1. Importance des revues canadiennes pour la publication des travaux de recherche, résultats pour les chercheurs en sciences humaines (n = 314)
Degré d’importance Pourcentage
Essentielles ou très importantes 57,3 %
Assez importantes 25,7 %
Peu ou pas importantes 16,0 %

Par ailleurs, environ la moitié d’entre eux estiment qu’elles sont essentielles ou très importantes comme sources de données pour leurs travaux (53 p. 100) et pour établir des liens avec d’autres acteurs du domaine (51 p. 100). Questionnés sur l’importance des revues canadiennes dans l’avancement de leur carrière, les chercheurs se montrent plus partagés : 41 p. 100 estiment qu’elles sont essentielles ou très importantes, mais 24 p. 100, qu’elles sont peu ou pas importantes (figure 2).

Figure 2. Classification par les chercheurs du degré d’importance des revues canadiennes dans leur domaine (n = 314)
Figure 2
Figure 2 description détaillée
Figure 2. Classification par les chercheurs du degré d’importance des revues canadiennes dans leur domaine (n = 314)
Pour l’avancement de la carrière Pour établir des liens avec d’autres acteurs du domaine Comme sources de données Publication
Essentielles ou très importantes 41 % 51 % 53 % 57 %
Assez importantes 32 % 28 % 32 % 26 %
Peu ou pas importantes 24 % 19 % 13 % 16 %

On n’a noté aucune différence notable quant à l’importance accordée aux revues canadiennes en fonction de la langue, du stade de la carrière ou du domaine (sciences humaines ou sociales), sauf en ce qui concerne l’établissement de liens avec d’autres acteurs du domaine. À cet égard, les chercheurs en début de carrière accordent une plus grande importance aux revues canadiennes que les chercheurs établisNote de bas de page 9; il en va de même pour les chercheurs anglophones par rapport aux chercheurs francophonesNote de bas de page 10.

On a demandé aux répondants qui estiment que les revues canadiennes sont importantes pour publier leurs travaux (n = 260) de fournir des commentaires. Environ les deux tiers ont fourni une réponse détaillée (n = 165) : certains estiment qu’elles sont importantes pour atteindre un public en particulier (42 p. 100), et d’autres voient une adéquation entre leur sujet de recherche et le type de contenu privilégié par les revues (30 p. 100). Par exemple, des répondants ont indiqué que les recherches axées sur des sujets canadiens sont moins pertinentes hors du Canada, et d’autres, que les revues canadiennes sont importantes pour faire progresser certains domaines de recherche au pays. Environ 10 p. 100 (n = 23) ont parlé de la qualité et de la réputation des revues, certains mentionnant que les revues canadiennes de leur domaine figuraient parmi les plus lues au monde.

« Peu de revues à l’extérieure du Canada vont s’intéresser, par exemple, à la francophonie canadienne, et ce, à quelques rares exceptions. Ce n’est donc pas seulement pour la publications de mes résultats de recherche, mais bien pour le développement et l’avancement de champs de recherches en entier. » (Chercheur en début de carrière)

“Canadian journals are less central [to me] than they would be for others working primarily on Canada. At the same time, they remain important to me in that many of the scholarly networks in which I work are based in Canada, and publishing some of my work in Canadian contexts enables me to maintain and expand those networks. This is of crucial importance in fostering research in Canada.” (chercheur en début de carrière)

On a aussi demandé aux répondants sur quels facteurs ils se basaient pour choisir une revue à laquelle soumettre un manuscrit (revue canadienne ou autre). Un peu comme précédemment, plus de 80 p. 100 des répondants estiment que le type de contenu privilégié, le public cible et la réputation de la revue auprès des pairs chercheurs sont essentiels ou très importants (n = 314; figure 3). Ces trois facteurs étaient privilégiés par les répondants indépendamment de leur langue, du stade de leur carrière et de leur discipline. En revanche, les réponses étaient plus mitigées pour d’autres facteurs, comme le facteur d’impact et les options de libre accès. La plupart des répondants (71 p. 100) accordent peu ou pas d’importance au caractère bilingue de la revue pour faire leur choix (figure 3)Note de bas de page 11.

Figure 3. Facteurs orientant le choix d’une revue à laquelle soumettre un manuscrit (n = 314)
Figure 3
Figure 3 description détaillée
Figure 3. Facteurs orientant le choix d’une revue à laquelle soumettre un manuscrit (n = 314)
Pas important du tout Peu important Très important Essentiel
Type de contenu privilégié par la revue 0 % 0 % 41 % 54 %
Public cible 0 % 1 % 55 % 29 %
Réputation de la revue auprès des pairs chercheurs 1 % 1 % 53 % 29 %
Probabilité que l’article soit accepté 2 % 10 % 34 % 7 %
Facteur d’impact 7 % 14 % 28 % 10 %
Délai estimé de publication 4 % 15 % 27 % 9 %
Options de libre accès 12 % 19 % 21 % 9 %
Publication bilingue 39 % 32 % 5 % 1  %

Les répondants ont expliqué qu’il était important pour eux que leur sujet de recherche corresponde au type de contenu privilégié par la revue afin que les pairs évaluateurs sélectionnés comprennent bien l’article et que celui-ci se rende au public cible. Par contre, ils ont apporté une distinction selon la taille et la nature du public. Si certains jugent important d’accéder à un vaste public (international), d’autres souhaitent davantage un public ciblé (chercheurs d’une sous-spécialité et professionnels de première ligne d’un domaine de pratique p. ex.).

En résumé. Une majorité de chercheurs canadiens en sciences humaines publient dans des revues canadiennes, et plus de la moitié des répondants au sondage estiment que celles spécialisées dans leur domaine sont essentielles ou très importantes pour la publication de leurs travaux, l’établissement de liens avec leurs pairs et l’accès à des sources de données. Beaucoup de répondants (41 p. 100) les qualifient d’essentielles ou de très importantes pour l’avancement de leur carrière.

Importance de l’ARS pour la viabilité des revues

Selon les résultats de la phase 1Note de bas de page 12, la plupart des revues survivraient à la perte du financement de l’ARS, mais cette perte réduirait leur capacité et compromettrait leur viabilité à long terme. En revanche, certaines revues ont besoin de l’ARS pour fonctionner, et cesseraient probablement d’exister sans le programme.

Survie à court terme. À la phase 2, on s’est penché sur la part des revenus des revues représentée par l’ARS, ainsi que sur les autres sources de revenus possibles. Le sondage a aussi permis de comparer les chances de survie à court terme prévues par les rédacteurs en chef des revues aussi bien subventionnées que non subventionnées.

Revenus des revues. Selon les rédacteurs en chef de revues subventionnées ayant participé au sondage (n = 68), le financement de l’ARS représenterait en moyenne 67 p. 100 de leurs revenus totaux. Une majorité (64 p. 100) d’entre eux indiquent que l’ARS compte pour plus de la moitié de leurs revenus annuels. En 2018, le montant moyen de l’ARS par revue s’élevait à 26 363 $ par année, ce qui signifie que les revenus des revues subventionnées seraient de moins de 53 000 $ par annéeNote de bas de page 13.

Autres sources de revenus. Pour les rédacteurs en chef de revues savantes aussi bien subventionnées que non subventionnées, les autres sources de revenus étaient principalement les abonnements et les redevances. Moins de 40 p. 100 des répondants au sondage ont dit recevoir des contributions d’un établissement universitaire, moins de 20 p. 100, des contributions de sociétés savantes ou d’associations professionnelles, et 13 p. 100 des rédacteurs en chef de revues subventionnées (n = 9) ont déclaré que l’ARS est leur seule source de revenus (figure 4). Seules six revues (dont une seule subventionnée) ont dit facturer des frais de traitement d’article pour la publication en libre accès. Le recours à ces frais est analysé plus loin, à la section 3 (Contribution).

Figure 4. Autres sources de revenus dans les 12 derniers mois, selon les rédacteurs en chef (n = 132)
Figure 4
Figure 4 description détaillée
Figure 4. Autres sources de revenus dans les 12 derniers mois, selon les rédacteurs en chef (n = 132)
Actuellement non subventionnée Actuellement subventionnée
(n = 64) (n = 68)
Aucune autre source que l’ARS 0 % 13 %
Contribution d’une association professionnelle 11 % 4 %
Autre 8 % 16 %
Contribution d’une société savante 19 % 13 %
Financement du gouvernement provincial 6 % 26 %
Contribution d’un établissement universitaire 36 % 38 %
Redevances 52 % 43 %
Abonnements 55 % 51 %

Au total, 26 p. 100 des revues subventionnées recevraient un financement du gouvernement provincial, et celles-ci seraient toutes francophones ou bilinguesNote de bas de page 14.

L’ARS semble être relativement plus importante pour les revues de la voie dorée. Ce serait le type de revue dont la part de revenus attribuable à l’ARS serait la plus importante (78 p. 100, en moyenne). Pour leur part, les revues en libre accès différé et les revues hybrides ou sans libre accès déclarent une part beaucoup plus modeste (54 p. 100 et 59 p. 100, respectivement; p < 0,001)Note de bas de page 15. Par ailleurs, la part des revenus moyens attribuables à l’ARS serait beaucoup plus importante pour les revues n’ayant aucun revenu d’abonnement (73 p. 100) que pour celles qui en déclarent (52 p. 100; p < 0,001)Note de bas de page 16.

Prévisions des rédacteurs en chef quant à la survie de leur revue. Dans le cadre du sondage, on demandait aux rédacteurs en chef de qualifier leurs chances d’être toujours en activité dans trois ans, en fonction de leur situation financière actuelleNote de bas de page 17. Si une majorité de rédacteurs en chef de revues aussi bien subventionnées que non subventionnées disent qu’ils ont d’excellentes ou de très bonnes chances d’être toujours en activité dans trois ans, les premiers sont beaucoup plus nombreux (75 p. 100) que les seconds (54 p. 100) à le dire, soit une différence de 21 p. 100 (p = 0,005; figure 5)Note de bas de page 18.

Figure 5. Chances de survie sur trois ans, selon les rédacteurs en chef
Figure 5
Figure 5 description détaillée
Figure 5. Chances de survie sur trois ans, selon les rédacteurs en chef
Peu probables ou improbables Probables ou possibles Excellentes ou très bonnes Total
Revues non subventionnées n = 59 - 12 % 34 % 54 % 100 %
Revues subventionnées n = 67 - 6 % 19 % 75 % 100 %

En sous-question, on a demandé aux rédacteurs en chef de revues subventionnées d’estimer leurs chances d’être toujours en activité dans trois ans sans le financement de l’ARS. Environ 43 p. 100 sont passés d’une réponse positive (avec le financement de l’ARS) à une réponse négative. Les rédacteurs en chef de revues francophones étaient plus nombreux à estimer qu’il était peu probable ou improbable qu’elles survivent sans le financement de l’ARS (76 p. 100) que ceux de revues bilingues (59 p. 100) et anglophones (32 p. 100)Note de bas de page 19.

En résumé. Selon différentes sources de données, l’ARS est essentielle à la survie d’une minorité de revues subventionnées, son importance étant variable selon les différents sous-groupes. Sans l’ARS, la plupart des revues subventionnées perdraient plus de la moitié de leurs revenus. Les autres sources de revenus possibles sont rares, surtout pour les revues en libre accès de la voie dorée. On note d’ailleurs un écart de 21 p. 100 entre les rédacteurs en chef de revues subventionnées et ceux de revues non subventionnées quant aux chances de survie de leur revue sur trois ans (en fonction de leur situation financière actuelle). Pour les revues subventionnées, les répondants francophones sont plus nombreux à s’estimer vulnérables à la perte du financement de l’ARS.

Viabilité à long terme. Selon les résultats de la phase 1Note de bas de page 20, l’ARS est aussi importante pour la viabilité à long terme. Ce financement augmenterait la capacité des revues à maintenir le nombre de numéros publiés et permettrait aux rédacteurs en chef bénévoles de travailler à la stratégie et au développement (adoption de technologies p. ex.). À la phase 2, on a comparé le niveau de capacité déclaré des revues subventionnées et des revues non subventionnées pour différents aspects touchant à la production, à la stratégie, à l’adaptation au changement et au respect de la mission.

Ressources humaines. Selon les résultats du sondage réalisé à la phase 2, la plupart des revues savantes en sciences humaines (80 p. 100) n’ont aucun employé à temps plein. Presque tous les rédacteurs en chef sondés (95 p. 100) disent avoir recours à des bénévoles. Les rédacteurs en chef de revues aussi bien subventionnées que non subventionnées déclarent un nombre similaire de bénévoles (de cinq à sept, exception faite des pairs évaluateurs). Par contre, toutes les revues subventionnées qui reçoivent un financement de l’ARS de façon continue depuis 2008 et 87 p. 100 de celles qui en ont reçu de façon intermittente durant cette période disent avoir des employés rémunérés. Ce pourcentage n’est que de 50 p. 100 pour les revues non subventionnées.

“As an incoming editor, with no managerial team, and this is just a service component of a very busy faculty role, I am struggling to find the time to complete any strategic rethinking. Just the time it takes to find peer reviewers who will respond can be overwhelming”. (rédacteur en chef d’une revue subventionnée auparavant)

“As an online journal operating on OJS and hosted by a university library, there are virtually no costs except labour costs. All funding I’m able to scrounge is devoted to editorial assistance.” (rédacteur en chef d’une revue non subventionnée)

Les rédacteurs en chef de revues subventionnées ont déclaré davantage de postes à temps partiel et d’heures travaillées par poste rémunéré que ceux de revues non subventionnées. Les revues financées en continu par l’ARS depuis 2008 déclarent en moyenne 0,68 équivalent temps plein (ETP) rémunéré, contre 0,30 ETP pour les revues non subventionnéesNote de bas de page 21.Le nombre total d’ETP diffère de façon significative en fonction du statut de financement (p = 0,037), bien que les comparaisons post hoc entre les trois sous-groupes de financement ne soient pas statistiquement significativesNote de bas de page 22. La différence moyenne de 0,38 ETP entre les deux types de revues (environ le tiers d’un poste à temps plein) représente 592 heures-personnes de plus par année pour les revues subventionnéesNote de bas de page 23. Par ailleurs, un nombre considérable de postes rémunérés sont occupés par des étudiants (en moyenne 49 p. 100 pour les revues subventionnées, et 38 p. 100 pour les revues non subventionnées).

Outre les postes rémunérés et les postes bénévoles, les rédacteurs en chef ont également déclaré avoir recours à la sous-traitance pour au moins un type d’activité. En effet, 72 p. 100 des rédacteurs en chef de revues subventionnées de façon continue ont dit y avoir eu recours pour au moins un type d’activité dans les 12 derniers mois, contre 62 p. 100 des rédacteurs en chef de revues subventionnées de façon intermittente et 35 p. 100 des rédacteurs en chef de revues non subventionnées. Cette différence est statistiquement significative (p = 0,020)Note de bas de page 24. Si l’on établit les sous-groupes en fonction de la langue, ce sont 70 p. 100 des rédacteurs en chef de revues francophones qui ont eu recours à la sous-traitance pour au moins une activité contre 49 p. 100 des rédacteurs en chef de revues anglophones.

Les activités de production sont de loin celles qui sont les plus souvent données en sous-traitance : révision (71 p. 100), mise en page ou graphisme (48 p. 100) et traduction (43 p. 100). Les revues bilingues et francophones sous-traitent plus souvent la traduction que les revues principalement anglophones. Certaines activités liées à la diffusion ont aussi été mentionnées (hébergement Web p. ex.) (13 p. 100).

L’importance du financement des activités de production recoupe les résultats de l’analyse des demandes d’ARS de 2008 à 2018 (n = 60), bien que ces données indiquent aussi que le financement a surtout été dirigé vers les technologies ces dix dernières années (voir la section 3).

Développement stratégique. On a demandé aux rédacteurs en chef de revues aussi bien subventionnées que non subventionnées si leurs ressources humaines et financières leur permettaient de progresser en vue de la réalisation des objectifs stratégiques, de s’adapter à l’évolution des conditions du secteur et de réaliser leur mission.

Réalisation du mandat. Lorsqu’ils décrivaient leur mission, les rédacteurs en chef parlaient surtout de créer et de maintenir des communautés de chercheurs, notamment pour les chercheurs d’une discipline ou sous-discipline donnée (49 p. 100 des réponses) ou d’un domaine qui touche à plusieurs disciplines (justice sociale p. ex.) (27 p. 100) et les chercheurs qui travaillent sur des sujets d’intérêt canadien ou régional (droit canadien, histoire du Québec p. ex.) (26 p. 100) ou dont les recherches portent sur des populations particulières (LGBT, Autochtones p. ex.) (7 p. 100). Une majorité de rédacteurs en chef des différents groupes estiment avoir la capacité de réaliser leur mission (figure 6), signe du faible impact de l’ARS à ce chapitre.

Développement et adaptation de la revue. Les différences entre les groupes en ce qui concerne la capacité de développement des revues n’avaient aucune signification statistique, sauf pour une variation prévisible selon le niveau de financement, les revues subventionnées indiquant systématiquement une capacité supérieureNote de bas de page 25. En général, les rédacteurs en chef de tous les groupes de financement étaient plus susceptibles de déclarer une capacité suffisante en matière de ressources humaines que de ressources financières, probablement en raison de leur bassin de bénévoles similaire (voir plus haut). En ce qui a trait à la capacité financière, une minorité de rédacteurs en chef de revues non subventionnées ont dit être capables de progresser en vue de la réalisation des objectifs stratégiques (35 p. 100) et de s’adapter à l’évolution des conditions du secteur (34 p. 100), alors que chez ceux des revues subventionnées, c’était la majorité qui l’affirmait (64 p. 100 et 60 p. 100, respectivement). La figure 6 présente les résultats relatifs à la capacité financière.

Figure 6. Capacité financière en matière de stratégie et de développement : pourcentage de rédacteurs en chef qui se disent « complètement d’accord » ou « plutôt d’accord » avec l’énoncé voulant que leur capacité financière soit suffisante (n = 132)
Figure 6
Figure 6 description détaillée
Figure 6. Capacité financière en matière de stratégie et de développement : pourcentage de rédacteurs en chef qui se disent « complètement d’accord » ou « plutôt d’accord » avec l’énoncé voulant que leur capacité financière soit suffisante (n = 132)
Capacité de s’adapter à l’évolution des conditions du secteur Capacité de progresser en vue de la réalisation des objectifs stratégiques Capacité de réaliser la mission n
Revues non subventionnées 34 % 35 % 68 % 25
Revues subventionnées de façon intermittente 43 % 53 % 75 % 81
Revues subventionnées de façon continue 60 % 64 % 86 % 26

En résumé. L’ARS aide considérablement les revues subventionnées à embaucher du personnel rémunéré pour les activités de production. C’est probablement ce qui explique pourquoi elles arrivent à publier davantage de recherches que les revues non subventionnées (voir la section 3). Enfin, l’ARS influencerait légèrement la capacité des revues à investir dans la stratégie et le développement, bien que les résultats ne soient pas concluants.

Question 2. Les objectifs de l’ARS concordent-ils avec le rôle et les priorités du gouvernement fédéral?

Les objectifs de l’ARS sont indiqués à l’annexe A. En bref, l’ARS vise à accroître la diffusion des publications en sciences humaines et l’accès à ces dernières. Depuis 2008, le programme appuie les revues dans leur transition au numérique. En 2018, ses objectifs étaient, entre autres, d’aider les revues à tirer parti des technologies numériques et des pratiques novatrices et d’encourager les revues en sciences humaines à passer au modèle de libre accès.

Il fallait vérifier si ces objectifs concordent avec le rôle et les priorités du gouvernement fédéral, à la lumière de documents sur les politiques, les prises de position et les programmes et d’études scientifiques sur les résultats du financement accordé aux revues canadiennes. Une attention particulière a été prêtée aux engagements du CRSH en matière d’équité, de diversité et d’inclusion.

Concordance de l’ARS avec le rôle et les priorités du gouvernement fédéral, selon les documents gouvernementaux et la littérature scientifique

Les documents sur les politiques et les prises de position du gouvernement fédéral ont généralement recours à des formulations très générales, et leur examen n’a pas révélé de références précises à la nécessité de soutenir directement les revues savantes. Sur le plan des programmes, deux autres organismes fédéraux – Patrimoine canadien et le Conseil des arts du Canada – avancent des arguments justifiant le financement de publications canadiennes, notamment par l’ARS. Des représentants de ces deux entités ont mentionné ces arguments lors d’une entrevue menée dans le cadre de l’évaluation (n = 2), et ces arguments figurent dans les documents relatifs aux programmes : les publications canadiennes sont importantes, mais pas nécessairement d’un bon rapport coût-efficience, vu la petite taille du marché canadien (Patrimoine canadien), et les maisons d’édition peuvent contribuer à la réalisation des objectifs organisationnels en faisant progresser les travaux des auteurs de leur domaine (Conseil des arts du Canada).

Les études sur le financement gouvernemental destiné aux revues savantes nationalesNote de bas de page 26 relèvent des avantages pour deux aspects en particulier : les services aux communautés de chercheurs et la diffusion des travaux de recherche. Entre autres, les revues canadiennes cultiveraient la formation de communautés locales de chercheurs de divers horizons qui autrement travailleraient en silos et favoriseraient l’« éclosion » de contenus de recherche. Elles peuvent aussi fournir des canaux de publication de qualité dans d’autres langues que l’anglais. En effet, dans les milieux où les options de publication dans d’autres langues sont limitées, ces revues peuvent réduire la pression d’avoir à publier en anglais ou dans des revues prédatrices et faciliter l’échange des connaissances avec des praticiens locaux non scientifiques qui travaillent dans une langue minoritaire. On indique aussi que, lorsque le financement couvre la traduction, les résultats de recherche peuvent trouver écho à l’international. Enfin, on laisse entendre que le financement des revues nationales peut servir à la conception d’options de libre accès de qualité et équitableNote de bas de page 27 (aucuns frais de traitement d’article ou frais très bas) et à l’adoption de pratiques visant à accroître la découvrabilité des recherches nationales.

En résumé. D’autres documents de programmes fédéraux et articles scientifiques avancent des arguments en faveur du financement de canaux de publication canadiens, dont certains cadrent avec les priorités du CRSH. En comparaison, les objectifs de l’ARS sont plus vagues et ne permettent pas de bien comprendre en quoi le financement s’inscrit dans la mission du CRSH.

ARS, EDI et communautés de langue officielle en situation minoritaire

Le CRSH s’engage à accroître l’équité, la diversité et l’inclusion dans le système de recherche en sciences humaines, notamment à en promouvoir l’intégration à l’étape de la conception de la recherche et dans les pratiques et à favoriser davantage d’équité et d’inclusion dans le système de rechercheNote de bas de page 28. Le CRSH a aussi pris des engagements à l’égard des communautés de langue officielle en situation minoritaire. Un examen des documents relatifs au programme et les sondages menés auprès des rédacteurs en chef et des chercheurs ont permis de vérifier la concordance de l’ARS avec ces priorités.

Actuellement, les objectifs de l’ARS ne reflètent pas les priorités du CRSH en matière d’EDI, sans toutefois les contredire. L’absence de référence à l’EDI s’explique probablement plus par le fait que l’ARS a été créée bien avant l’établissement de ces priorités. On ne recueille actuellement aucune donnée de suivi de l’EDI dans le cadre de l’ARS. Comme ce financement est attribué à des organismes plutôt qu’à des personnes, il faudrait déterminer avec soin quel type et quelle quantité de données il y a lieu de recueillir et auprès de qui.

L’apport important des revues, des rédacteurs en chef et des pairs évaluateurs dans la prise en compte de l’EDI en recherche, tant dans les pratiques que dans la publication, est bien connu (Henrich et coll., 2010). Dans le contexte de l’ARS, les données qualitativesNote de bas de page 29 indiquent que certaines revues subventionnées ont précisément pour mission d’approfondir les connaissances sur la population diversifiée du Canada.

Dans le cadre du sondage, on a demandé aux rédacteurs en chef s’ils avaient mené dans les 12 derniers mois des activités visant explicitement à accroître l’équité et l’inclusion dans les publications scientifiques. Selon les résultats, ce serait le cas pour un nombre beaucoup plus élevé de rédacteurs en chef de revues subventionnées de façon continue (72 p. 100) que de rédacteurs en chef de revues non subventionnées (46 p. 100; p = 0,013)Note de bas de page 30.

Les rédacteurs en chef devaient aussi décrire la nature de ces activités. La majorité d’entre eux (80 p. 100) ont dit avoir déployé des efforts pour accroître la diversité du comité de rédaction, notamment en ce qui a trait au genre, et viser une meilleure représentation sur les plans des régions géographiques, de la langue, de l’orientation sexuelle et des groupes racisés. Ils ont aussi mentionné des mesures prises pour accroître ou maintenir la diversité des sujets abordés (34 p. 100), par exemple des numéros spéciaux sur des thèmes relatifs à l’équité, à la diversité et à l’inclusion. La troisième grande catégorie de réponses avait trait à la diversité des auteurs et comprenait selon les rédacteurs en chef la diversité géographique ainsi que la participation accrue d’auteurs francophones ou racisés, de chercheurs émergents et autresNote de bas de page 31. Quelques-uns disent avoir déployé des efforts pour accroître la diversité des pairs évaluateurs (n = 5). Enfin, un petit nombre d’entre eux décrivent la mission de leur revue comme étant axée sur l’équité, toutes leurs activités étant envisagées dans cette optique (n = 6).

Langues officielles

L’une des priorités relevant de la politique sur les langues officielles est de promouvoir la diversité linguistique et l’inclusion.

Lors du sondage, on a demandé aux rédacteurs en chef s’ils s’étaient butés à des obstacles d’ordre linguistique lors du processus de demande d’ARS. Selon une échelle de 1 à 7, 1 étant « Aucun obstacle » et 7, « Beaucoup d’obstacles », 98 p. 100 des répondants (n = 84) ont donné comme réponse 1 ou 2.

Toujours dans le cadre du sondage, on a demandé aux chercheurs s’ils avaient fait face à des obstacles d’ordre linguistique au moment de publier leurs travaux de recherche. Chez les répondants francophones, 61 p. 100 (n = 79) ont dit avoir fait face à au moins quelques obstacles, contre 9 p. 100 des répondants anglophones (n = 235)Note de bas de page 32. On a aussi demandé aux répondants d’expliquer la nature de ces obstacles, le cas échéant. Ceux qui ont répondu à la question (n = 61) ont relaté différentes expériences : pression de publier en anglais en raison de la faible valeur accordée par leur organisme aux publications francophones (n = 15), coûts de traduction à assumer pour publier en anglais (n = 14) et baisse de productivité et évaluation plus critique par les pairs en raison de la publication dans une langue seconde (n = 14). Il faut toutefois noter que, bien que 23 p. 100 des répondants au sondage déclarent que le français est leur langue principale de travail, ils déclarent dans une proportion de 80 p. 100 rédiger tout de même leurs manuscrits de livres et leurs articles en anglais, contre 12 p. 100 qui le font en français, et 8 p. 100 qui répondent que « cela dépend de la situation ».

Il faut aussi noter que, en ce qui a trait aux facteurs qui influencent le choix de la revue à laquelle ils soumettent un manuscrit, les répondants francophones accordent plus d’importance au caractère bilingue de la revue que les répondants anglophonesNote de bas de page 33 (p < 0,001), mais de façon générale, seuls 20 p. 100 des répondants francophones disent qu’il s’agit d’un facteur essentiel ou très important, probablement en raison du pourcentage qui ne publient qu’en anglais.

En résumé. L’ARS est un modèle inhabituel pour le CRSH, puisque ce dernier finance habituellement les projets de recherche individuels et très peu les organismes. S’il y a une certaine concordance entre les priorités de l’ARS et celles du CRSH y compris en matière d’EDI, ce n’est pas explicite dans les objectifs de l’ARS. Les constatations semblent indiquer que l’ARS contribuerait à faire progresser l’EDI et les langues officielles dans le système de recherche. Cet aspect pourrait devenir un indicateur de contribution pour l’ARS à l’avenir.

3.0 Contribution

L’évaluation a mesuré la contribution de l’ARS à la publication de travaux en sciences humaines sur trois plans, soit la quantité, la qualité, et l’accessibilité et découvrabilité.

3.1 Conclusions

Dans l’ensemble, la contribution de l’ARS à la publication de travaux en sciences humaines, bien que modeste, s’est avérée importante compte tenu de la petite taille de l’initiative.

Quantité. Les revues subventionnées par l’ARS publient en moyenne environ 27 p. 100 plus d’articles par année que les revues similaires non subventionnées. Ce chiffre s’explique probablement par la contribution modeste, mais tout de même importante, qu’apporte l’ARS à la capacité de production des revues subventionnées (voir la section 2).

Qualité. Selon les constatations, la contribution de l’ARS à la qualité des publications est limitée. Son effet est indirect : elle renforce la capacité des revues à maintenir d’importants processus d’assurance de la qualité.

Accessibilité et découvrabilité. Comme pour la quantité et la qualité, l’ARS a une influence indirecte sur la diffusion, au moyen de mesures incitatives et du soutien aux revues subventionnées. Les changements observables dans l’utilisation des fonds attribués au cours de la décennie montrent que les revues s’efforcent de suivre l’évolution des technologies. La croissance faible mais continue du nombre de soumissions étrangères aux revues subventionnées laisse croire que le financement permet d’obtenir un plus grand rayonnement mondial. L’ARS semble aussi influencer davantage certains éléments, notamment l’adoption de pratiques de découvrabilité. De façon générale, l’effet de l’ARS sur la diffusion de travaux scientifiques en sciences humaines est limité.

3.2 Constatations détaillées en ce qui concerne la contribution

Question 3. Quelle a été la contribution du financement de l’ARS à la quantité, à la qualité et à la diffusion des publications ayant trait à la recherche canadienne en sciences humaines?

Contribution à la quantité

La contribution potentielle de l’ARS au volume de travaux en sciences humaines publiés au Canada a été mesurée au moyen d’une étude de cohorte rétrospective comparant le taux de publication des revues subventionnées et des revues non subventionnées (n = 194), selon les données administratives de l’ARS et du Web of Science. Pour la période allant de 2008 à 2017, les revues subventionnées par l’ARS ont produit en moyenne 27 p. 100 plus d’articles par année que les revues non subventionnées : IC à 95 p. 100 [8,0; 49,2] p = 0,004. L’analyse a pris en compte la discipline, la langue et la fréquence de publication des revues.

“As far as I can tell, the way to vastly improve our ability to ensure a timely review for all manuscripts is to have a dedicated staff member… I don’t know any open-access, non-corporate journal that can afford someone so dedicated [to peer review coordination]. We therefore rely on two graduate students to do this as best they can in between their other, overriding duties.” (rédacteur en chef d’une revue subventionnée)

Comme cela est mentionné dans la section 2, le financement de l’ARS a accentué la capacité de production des revues subventionnées. Cette constatation correspond à celle d’une analyse réalisée sur les données des demandes d’ARS de 2008 à 2018 (n = 60), dans lesquelles les rédacteurs en chef dépeignaient la capacité de financement de certaines aides à la production comme l’une des principales contributions de l’initiative. En effet, les deux tiers des rédacteurs en chef participants (n = 8) ont cité la capacité de production parmi les plus grandes contraintes à la publication, pour les revues tant subventionnées que non subventionnéesNote de bas de page 34. Tous les répondants de revues subventionnées (n = 8) ont expliqué que, si leur revue survivait à une interruption de l’ARS, ils seraient obligés de réduire le nombre d’articles publiés par année. En somme, de nombreux éléments démontrent que l’ARS augmente considérablement le volume de travaux en sciences humaines publiés, en renforçant la capacité de production des revues. Toutefois, on note que l’augmentation de la capacité de production est plutôt modeste (voir la section 2) et que cette capacité continue de poser problème même pour les revues subventionnées.

Contribution à la qualité

Selon les résultats de la phase 1Note de bas de page 35, il existe deux mécanismes par lesquels l’ARS peut contribuer à la qualité des publications dans le domaine des sciences humaines : la sélection des revues financées par l’ARS et l’augmentation de la capacité des revues subventionnées à maintenir ou à améliorer leurs mécanismes d’assurance de la qualité.

Sélection de revues dotées de rigoureux processus d’assurance de la qualité. Le processus de sélection de l’ARS a fait l’objet d’un examen visant à déterminer s’il existait une relation entre les mécanismes d’assurance de la qualité et la réussite aux concours de l’ARS. Autrement dit, l’évaluation a cherché à établir si le processus de sélection de l’ARS avantageait systématiquement les revues ayant les meilleurs mécanismes internes d’assurance de la qualité, assurant ainsi la contribution de l’ARS à l’amélioration de la qualité des publications en sciences humaines, comme l’ont avancé certains participants. Il a toutefois été conclu que le processus actuel ne facilitait pas l’évaluation et la sélection des revues en fonction de ce critère.

Les membres du comité de sélection de l’ARS notent les revues candidates selon trois grands critèresNote de bas de page 36. L’un d’entre eux, intitulé « Qualité et impact de la revue », se divise en cinq sous-critères d’évaluation de la qualité à partir desquels le comité calcule une note globale. L’un des cinq sous-critères porte sur la sélection des manuscrits et l’évaluation par les pairs.

Il n’a pas été possible d’effectuer une analyse quantitative de la relation entre la note obtenue à ce sous-critère et le taux de réussite des revues, car le comité ne considère pas les cinq sous-critères individuellement, accordant plutôt une note globale au critère général. Ainsi, l’influence de ce sous-critère sur la réussite des candidats demeure inconnue. Par ailleurs, le processus de sélection de l’ARS n’est pas conçu de manière à retenir et avantager les revues en fonction de cet élément. Ce n’est que l’un des cinq sous-critères composant le critère « Qualité et impact de la revue », lequel n’est à son tour que l’un des trois grands critères contribuant à la note globale de la demande. Il est d’autant plus difficile de départager les candidatures en fonction de cet élément que les renseignements fournis varient beaucoup d’une demande à l’autre. En bref, il n’a pas été possible de mesurer ainsi la contribution de l’ARS à la qualité des publications.

Contribution à la qualité par l’intermédiaire de la capacité. Les rédacteurs en chefdes revuessubventionnées (n = 8) ont tous déclaré que le financement de l’ARS n’influençait pas directement la qualité de leurs publications. Leur travail suppose selon eux un engagement ferme et intrinsèque envers la qualité, lequel n’est pas lié au financement. D’après leurs réponses, le financement de l’ARS contribue principalement à renforcer la capacité des revues à maintenir des mécanismes d’assurance de la qualité, notamment l’évaluation par les pairs, et des mesures de contrôle de la qualité, comme la détection du plagiat, la vérification des références et la révision, ainsi qu’à donner davantage de temps aux comités de rédaction des revues subventionnées pour peaufiner les manuscrits avec les auteurs.

Le sondage a demandé aux rédacteurs en chef de revues savantes aussi bien subventionnées que non subventionnées dans quelle mesure leur revue possédait la capacité nécessaire pour appliquer des mécanismes d’assurance de la qualité, par exemple assurer une orientation rédactionnelle de grande qualité à chaque manuscrit et trouver des pairs évaluateurs suffisamment versés dans les spécialités abordées dans les manuscrits qui leur sont confiés. Quel que soit le statut de financement, la grande majorité des rédacteurs en chef ont dit disposer de ressources humaines suffisantes pour assurer la plupart des mécanismes d’assurance de la qualité ( > 70 p. 100 ), vraisemblablement grâce au recours à des bassins similaires de bénévoles, une conclusion qui demeure vraie peu importe la langue de la revue. Toutefois, les rédacteurs en chef de revues subventionnées ont répondu beaucoup plus positivement que ceux des revues non subventionnées à la question sur les ressources financières disponibles pour les mécanismes d’assurance de la qualité, ceux ayant reçu un financement de façon continue se considérant de 19 p. 100 à 30 p. 100 mieux placés que les autres (figure 7).

Figure 7. Pourcentage de rédacteurs en chef entièrement ou fortement d’accord pour dire que leur revue dispose des ressources financières nécessaires pour l’assurance de la qualité, selon le statut de financement (n = 132)
Figure 7
Figure 7 description détaillée
Figure 7. Pourcentage de rédacteurs en chef entièrement ou fortement d’accord pour dire que leur revue dispose des ressources financières nécessaires pour l’assurance de la qualité, selon le statut de financement (n = 132)
Assure le traitement rapide de tous les manuscrits* Trouve des pairs évaluateurs suffisamment versés dans les spécialités abordées dans les manuscrits* Veille à la grande qualité de l’évaluation par les pairs de tous les manuscrits Assure une orientation rédactionnelle de grande qualité à tous les manuscrits Applique les mêmes mécanismes d’assurance de la qualité à tous les manuscrits
Pas de financement (n = 26) 38 % 50 % 65 % 62 % 62 %
Financement intermittent (n = 81) 58 % 68 % 74 % 79 % 78 %
Financement continu (n = 25) 68 % 80 % 84 % 84 % 84 %

* Statistiquement significatif

L’écart est statistiquement significatif sur deux plans : la capacité de trouver des pairs évaluateurs suffisamment versés dans les spécialités abordées dans les manuscrits (p < 0,01) et la capacité d’assurer le traitement rapide de tous les manuscrits (p = 0,01)Note de bas de page 37. À noter que seulement la moitié des rédacteurs en chef de revues non subventionnées se sont dits en mesure de trouver des pairs suffisamment versés dans les spécialités pertinentes, et seulement 38 p. 100 d’entre eux en mesure d’assurer le traitement rapide des soumissions.

“It is particularily challenging to carry out the day-to-day business of the journal with two unpaid editors-in-chief who also hold full-time academic positions in their respective institutions and without secured funding of any kind. These challenges include difficulties outreaching, finding and retaining good peer-reviewers… We are committed to remain an open-source journal but the operations of the journal have become increasingly difficult due to the lack of financial security.” (rédacteur en chef d’une revue non subventionnée)

« Il est de plus en plus difficile de trouver des évaluateurs pour les manuscrits reçus. Soit que les chercheurs soient plus débordés qu’auparavant, soit que l’évaluation à titre gracieux soit plus difficile à « vendre ». Il faut souvent solliciter dix personnes pour pouvoir en trouver deux qui acceptent d’évaluer. » (rédacteur en chef d’une revue subventionnée en continu)

Les réponses qualitatives aux sondages menés tant auprès des rédacteurs en chef que des chercheurs soulignent que l’évaluation par les pairs est source de préoccupation. Bon nombre des rédacteurs en chef participants (n = 23) ont expliqué qu’une évaluation par les pairs adéquate requérait énormément de ressources et que les pairs évaluateurs se faisaient de plus en plus rares. Les chercheurs ont quant à eux été nombreux (n = 21) à fournir des réponses descriptives sur l’importance de la qualité des évaluations par les pairs et de l’orientation rédactionnelle pour la qualité générale de la revue, notamment sur les plans de la rétroaction constructive et de l’efficacité et de la pertinence des pairs évaluateurs (leur expertise dans le domaine).

Les soumissions comme indicateur de la qualité d’une revue. Les soumissions nationales (canadiennes) présentées aux revues candidates aussi bien subventionnées que non subventionnées ont été comparées à partir des données administratives de l’ARS pour la période allant de 2008 à 2014 (n = 291)Note de bas de page 38. Les revues bénéficiant d’un financement continu ont régulièrement reçu plus de soumissions nationales que les autres (financement intermittent et pas de financement) pendant cette période, la différence moyenne atteignant 20 soumissions par revue en 2014 (sur un total de 1 825 soumissions). Le nombre de soumissions était aussi plus constant d’une année à l’autre pour les revues subventionnées en continuNote de bas de page 39. Ces résultats semblent confirmer une relation entre la qualité des revues telle que perçue par les chercheurs et un financement continu de l’ARS, mais seulement dans la mesure où la qualité des revues influence les décisions de soumission (voir la section 2).

En résumé.Dans sa forme actuelle, l’ARS ne contribue pas directement à la qualité des travaux publiés. Cependant, elle apporte une contribution indirecte puisque les fonds attribués améliorent à petite échelle, mais de façon significative, la capacité des revues de maintenir certains mécanismes d’assurance de la qualité, principalement en ce qui a trait à l’évaluation par les pairs. En effet, selon la rétroaction qualitative, les chercheurs accordent beaucoup d’importance à la qualité des évaluations (pertinence de l’expérience des pairs évaluateurs, efficacité et au caractère constructif des rétroactions, etc.), ce qui demande énormément de ressources aux revues.

Contribution à l’accessibilité et à la découvrabilité de la recherche canadienne en sciences humaines

De 2008 à 2017, l’ARS a encouragé les revues à tirer parti des innovations dans le secteur, notamment des avancées technologiques de la publication numérique, dans le but d’accroître la diffusion de la recherche canadienne. En 2018, l’adoption progressive d’un modèle de libre accès est devenue un critère d’admissibilité. L’évaluation visait, entre autres, à mesurer la contribution de l’ARS à la transition au numérique des revues subventionnées après 2008 ainsi que l’utilisation actuelle, par les revues, de diverses pratiques d’accessibilité et de découvrabilité de la recherche. Sur ce second plan, l’analyse a tenu compte de caractéristiques propres au contexte canadien (comme le bilinguisme) et de facteurs présentés dans un cadre mis au point par la Scholarly Publishing and Academic Resources Coalition (SPARC) et la Public Library of Science. Le cadre en question facilite l’évaluation des publications en libre accès en mettant l’accent sur des aspects comme le lectorat, la réutilisation de contenus, les droits d’auteur, l’affichage et la lisibilité par machine (SPARC, 2014). Les sections qui suivent contiennent quelques renseignements sur les réactions aux changements apportés à l’ARS en 2018, mais ces renseignements ne sont fournis qu’à titre de référence car les changements sont très récents.

Transition numérique. Selon les données administratives, la plupart des revues candidates à l’ARS publiaient déjà à la fois sur support numérique et support papier en 2008. Le pourcentage de revues subventionnées publiées exclusivement en ligne, qui était d’environ 8 p. 100 en 2008 et 2011, a augmenté pour atteindre 33 p. 100 environ après 2014.

Afin de connaître les changements longitudinaux dans l’utilisation des fonds attribués, une analyse a été réalisée sur un échantillon de demandes acceptées de 2008 à 2018 (n = 60). En 2008, il n’était pas rare que les fonds servent à financer des activités reliées au support papier (affranchissement postal p. ex.); dix ans plus tard, ces activités avaient presque complètement disparu. Depuis 2008, les fonds sont de plus en plus investis dans des activités de publication numérique. Avant 2014, ils servaient principalement à financer la transition (achat de matériel pour numériser les archives, conversion des systèmes de paiement par la poste en systèmes en ligne, mise au point de flux de travail numériques), alors qu’à compter de 2014, ils ont été davantage investis dans des mises à niveau, notamment pour améliorer les outils d’interrogation des archives ou satisfaire à de nouvelles exigences d’hébergement Web. On observe que, depuis 2014, les revues subventionnées ont accordé une grande importance à la transition – maintien du calendrier des publications, conversion des archives (couvrant souvent des décennies) en documents entièrement interrogeables, etc. –, pour laquelle le soutien de l’ARS a été déterminant.

Soumissions internationales. L’analyse du volume de soumissions reçues de l’étranger par les revues aussi bien subventionnées que non subventionnées ayant présenté une demande d’ARS entre 2008 et 2014 a servi à mesurer le rayonnement mondial des deux groupesNote de bas de page 40. Les revues subventionnées en continu (n = 53) ont constamment reçu un plus grand nombre de soumissions de l’étranger que les autresNote de bas de page 41. En outre, les revues candidates ayant préalablement reçu un financement continu ou intermittent ont enregistré une croissance faible, mais soutenue, du volume de soumissions, qu’on ne retrouvait pas du côté de celles n’ayant pas reçu de financement. En 2014, le volume moyen de soumissions de l’étranger pour les revues subventionnées en continu (n = 53) était supérieur de 54,8 p. 100 à celui des revues non subventionnées (n = 28)Note de bas de page 42. À noter que, selon les données administratives, la plupart des revues ayant fait une demande d’ARS après 2008 utilisaient un modèle de publication hybride (supports papier et numérique) ou entièrement numérique, même celles dont la demande a été rejetée. Ainsi, les différences dans le volume de soumissions en provenance de l’étranger ne seraient pas attribuables au support en soi, mais à d’autres facteurs jouant sur le rayonnement.

Adoption de pratiques favorisant la découvrabilité. Le sondage adressé aux rédacteurs en chef de revues savantes aussi bien subventionnées que non subventionnées comportait des questions au sujet des droits d’auteur, de l’autodiffusion et des pratiques mises en place pour faciliter le repérage des articles par les lecteurs (figure 8). À noter que, pendant la période allant de 2008 à 2017, l’ARS n’encourageait aucune mesure de découvrabilité précise, favorisant plutôt la diffusion, la transition au numérique et l’innovation de manière plus générale. Si les résultats présentés ci-dessous constituent un point de référence utile pour l’avenir, ils ne doivent être considérés que comme un indicateur global de l’innovation en matière d’accessibilité et découvrabilité.

Figure 8. Pourcentage de rédacteurs en chef ayant utilisé des pratiques de découvrabilité et d’accessibilité dans les 12 mois précédant le sondage, selon le statut de financement (n = 132)
Figure 8
Figure 8 description détaillée
Figure 8. Pourcentage de rédacteurs en chef ayant utilisé des pratiques de découvrabilité et d’accessibilité dans les 12 mois précédant le sondage, selon le statut de financement (n = 132)
Utilisation d’identifiants internationaux normalisés pour les auteurs (ORCID iD p. ex.) Initiatives de rayonnement ciblant des lectorats non universitaires Mise en compatibilité du texte des articles pour les interfaces de programmation et la lecture par machine Mise en compatibilité des métadonnées (données de citation p. ex.) pour les interfaces de programmation et la lecture par machine Traduction gratuite des abrégés et (ou) de l’intégralité des textes pour publication dans les deux langues Affichage automatique des articles dans les répertoires de tiers de confiance Utilisation d’identifiants internationaux normalisés pour les articles (DOI p. ex.) Promotion active des articles publiés (dans les réseaux sociaux, le site Web de la revue, les réseaux de collaboration scientifique, etc.) Système permettant de préserver l’accès aux articles si la revue cesse ses activités Indexation dans les répertoires internationaux (Directory of Open Access Journals, Project MUSE, etc.)
Pas de financement (n = 26) 38 % 31 % 8 % 23 % 27 % 50 % 65 % 88 % 65 % 88 %
Financement intermittent (n = 81) 38 % 38 % 35 % 51 % 58 % 51 % 78 % 88 % 74 % 90 %
Financement continu (n = 25) 24 % 40 % 44 % 52 % 56 % 56 % 76 % 84 % 84 % 88 %
Écart - 14 % 9 % 36 % 29 % 29 % 6 % 11 % - 4 % 19 % 0 %

Pour la plupart des pratiques, les taux d’adoption sont similaires d’un statut de financement à l’autre. Ainsi, même si le taux est plus élevé pour certaines (indexation dans les répertoires internationaux p. ex.) et plus faible pour d’autres (utilisation d’identifiants internationaux normalisés pour les auteurs), cela ne semble pas être attribuable à l’ARS. Toutefois, on observe un écart important entre les revues subventionnées et les revues non subventionnées pour quatre pratiques : l’utilisation d’un système permettant de préserver l’accès aux articles, la traduction gratuite des résumés et (ou) de l’intégralité des textes, la mise en compatibilité des métadonnées (données de citation p. ex) pour les interfaces de programmation et la lecture par machine et la mise en compatibilité du texte des articles pour les interfaces de programmation et la lecture par machineNote de bas de page 43.

Les rédacteurs en chef de revues subventionnées qui utilisaient ces pratiques ont été invités à indiquer selon quelle probabilité ils auraient adopté lesdites pratiques sans le soutien de l’ARS. La figure 9 montre les réponses des revues subventionnées en continu, au moins 50 p. 100 des répondants ayant attribué l’adoption des pratiques à l’ARS. Trois de ces pratiques présentent d’ailleurs un écart marqué pour ce qui est du taux d’adoption des revues subventionnées et des revues non subventionnées. Les groupes sont toutefois petits, et les données ne constituent donc qu’un indicateur d’appoint de la contribution de l’ARS.

Figure 9. Probabilité que les revues aient adopté les mêmes pratiques sans l’ARS (pourcentage des rédacteurs en chef de revues qui reçoivent un financement continu)
Figure 9
Figure 9 description détaillée
Figure 9. Probabilité que les revues aient adopté les mêmes pratiques sans l’ARS (pourcentage des rédacteurs en chef de revues qui reçoivent un financement continu)
Utilisation d’identifiants internationaux normalisés pour les auteurs (ORCID iD p. ex.) (n = 19) Traduction gratuite des abrégés et (ou) de l’intégralité des textes pour publication dans les deux langues (n = 14) Mise en compatibilité des métadonnées (données de citation p. ex.) pour les interfaces de programmation et la lecture par machine (n = 11) Mise en compatibilité du texte des articles pour les interfaces de programmation et la lecture par machine (n = 13)
Peu ou pas du tout probable 50 % 50 % 54 % 63 %
Probable ou certain 50 % 50 % 46 % 37 %

Le sondage demandait aussi aux rédacteurs en chef si les auteurs pouvaient déposer la version publiée de leurs articles dans un répertoire en libre accès sans violer les droits d’auteur (voie verte) et s’ils demeuraient titulaires des droits relatifs aux articles publiés dans leur revue, y compris les droits de réutilisation. Moins de la moitié des revues (45 p. 100) permettaient le dépôt immédiatement après la publication, mais 27 p. 100 de plus le permettaient après une période d’exclusivité. Les revues non subventionnées permettaient le dépôt immédiat en plus grand nombre (54 p. 100) que les revues subventionnées en continu (28 p. 100). Cependant, dans les deux groupes, une majorité des revues ont déclaré que les auteurs demeuraient titulaires des droits d’auteur (65 p. 100 des revues non subventionnées contre 60 p. 100 des revues subventionnées).

En résumé. L’ARS a cherché à encourager les revues canadiennes du domaine des sciences humaines à innover et à suivre l’évolution rapide des méthodes de diffusion, dans le but de contribuer au rayonnement de la recherche en sciences humaines. Les changements observés dans l’utilisation des fonds au fil de la décennie à l’étude indiquent que les revues ont su s’adapter aux avancées technologiques entourant la publication numérique. Comme cela est mentionné dans la section 2, la majorité des rédacteurs en chef de revues ayant reçu un financement continu (60 p. 100) ont dit disposer de ressources financières suffisantes pour évoluer avec le secteur, contre une minorité de rédacteurs en chef de revues non subventionnées (34 p. 100). Par ailleurs, la croissance modeste, mais soutenue, du nombre de soumissions en provenance de l’étranger aux revues subventionnées laisse supposer un plus grand rayonnement mondial pour ces dernières. Enfin, l’écart important entre les revues subventionnées et les revues non subventionnées pour ce qui est de l’adoption de certaines pratiques de découvrabilité, comme la traduction gratuite et la mise en compatibilité du texte des articles pour la lecture par machine, dénote une certaine influence de l’ARS. Somme toute, les données montrent, dans une certaine mesure, que le financement de l’ARS contribue à la diffusion de la recherche en sciences humaines.

Changements apportés à l’ARS en 2018 pour encourager le libre accès

En 2018, l’ARS a été modifiée pour inclure une exigence d’adoption progressive d’un modèle de libre accès ainsi que des incitatifs à l’utilisation d’une plateforme de publication numérique. Ces changements étant trop récents pour une réelle évaluation, les données présentées ci-dessous ne sont fournies qu’à titre de référence.

Adoption d’un modèle de libre accès. Le sondage adressé aux rédacteurs en chef comprenait notamment des questions sur le modèle de libre accès utilisé par leur revueNote de bas de page 44. La plupart (92 p. 100) des rédacteurs en chef de revues ayant reçu un financement continu pour la période allant de 2008 à 2018 ont dit utiliser la voie dorée ou un modèle de libre accès différé, contre 77 p. 100 des rédacteurs en chef de revues non subventionnées et 55 p. 100 des rédacteurs en chef de revues ayant reçu un financement intermittent. L’écart entre les deux premiers groupes est très mince (15 p. 100), mais suggère tout de même que le financement à long terme de l’ARS n’a freiné en rien l’adoption d’un modèle de libre accès, contrairement à ce qui a été observé dans d’autres pays (Björk, 2019). En outre, par rapport aux autres revues du même âge, celles recevant un financement continu sont beaucoup plus nombreuses à employer un modèle de libre accès (voie dorée ou libre accès différé) : 92 p. 100 (n = 22) contre 35 p. 100 (n = 67); p < 0,001Note de bas de page 45.

La figure 10 illustre la répartition des modèles d’accès en fonction de l’âge des revues. Les revues les plus jeunes (créées après l’an 2000) emploient davantage la voie dorée, tandis que celles qui existent depuis plus de 20 ans emploient des modèles plus diversifiés. Presque toutes les revues subventionnées par l’ARS (96 p. 100) font partie de ce second groupeNote de bas de page 46. Sans grande surprise, les rédacteurs en chef de revues non subventionnées utilisent beaucoup plus la voie dorée (73 p. 100) que ceux des revues qui reçoivent un financement continu (12 p. 100), créant un écart statistiquement significatif (p < 0,001)Note de bas de page 47. À l’inverse, le modèle de libre accès différé est beaucoup plus courant dans le groupe des revues subventionnées en continu (80 p. 100) que dans celui des revues non subventionnées (4 p. 100)Note de bas de page 48. Selon les données administratives de l’ARS, le nombre de revues subventionnées en continu qui emploient la voie dorée n’aurait pas augmenté depuis 2014, mais ces conclusions ne sont que provisoires, car l’analyse se fonde sur la comparaison de jeux de données différents.

Figure 10. Répartition des modèles de libre accès selon l’âge des revues
Figure 10
Figure 10 description détaillée
Figure 10. Répartition des modèles de libre accès selon l’âge des revues
Âge des revues n Voie dorée Libre accès différé Modèle hybride Autre/aucun
Revues de plus de 20 ans 91 26 % 36 % 11 % 27 %
Revues de 0 à 20 ans 41 90 % 5 % 3 % 3 %

Influence de l’ARS sur les stratégies de libre accès. Les rédacteurs en chef ayant soumis une demande en 2018 ont été invités à indiquer si les changements apportés à l’ARS cette même année les avaient amenés à revoir leur stratégie de libre accès. Un peu moins de la moitié des rédacteurs en chef de revues qui avaient précédemment reçu du financement (48 p. 100, n = 26) ont répondu par l’affirmative, et tout autant (48 p. 100), par la négativeNote de bas de page 49. En ce qui concerne les revues qui ont reçu le financement de l’ARS pour la première fois en 2018, les deux tiers des rédacteurs en chef (n = 8) ont déclaré que les changements n’avaient pas influé sur leur stratégie.

La plupart des rédacteurs en chef n’ayant signalé aucune révision de leur stratégie (80 p. 100, n = 32) ont expliqué que leur revue respectait déjà l’exigence de libre accès ajoutée en 2018. De plus, toutes les revues subventionnées en continu (n = 10) sont déjà en libre accès ou comptent le devenir.

Chez les rédacteurs en chef qui ont modifié leur stratégie, la majorité a indiqué que l’ARS avait influé sur le choix du modèle (voie dorée ou libre accès différé) (65 p. 100, n = 24), et plus de la moitié (55 p. 100) ont ajouté que les changements apportés à l’ARS avaient accéléré leur transition à un modèle de libre accès.

Adoption d’un modèle de libre accès fondé sur les frais de traitement d’article. Les modèles de libre accès fondés sur les frais de traitement d’article entrent en conflit avec les principes d’équité et d’inclusion, car certains auteurs n’ont pas accès aux fonds nécessaires pour couvrir ces frais, même lorsqu’il existe des subventions de recherche pour les aider. On estime que le financement public des revues en libre accès garantirait une plus grande équité en assurant aux chercheurs des modèles de libre accès économiques et de qualité (voir la question 5 plus bas).

“adding publishing subventions into SSHRC research grants… will turn publishing OA into a privilege of those with secure institutional affiliations, meaning the increasing number of precariously employed scholARS would not be able to access these grants” (chercheur en début de carrière)

À la question portant sur leur expérience de la voie doréeNote de bas de page 50, un chercheur sur cinq s’est dit incertain. Des 80 p. 100 restants, la moitié avait déjà utilisé ce modèle de publication, et l’autre moitié, non. Parmi leurs motivations pour avoir choisi la voie dorée, les chercheurs ont principalement cité l’offre d’options abordables ou sans frais par leurs revues de prédilection ainsi que l’accès à des fonds pour couvrir les frais de traitement d’article. Ceux qui n’avaient jamais utilisé cette structure de publication (n = 119) ont surtout invoqué des frais trop élevés pour les auteurs, un obstacle d’ailleurs signalé par beaucoup plus de chercheurs en début de carrière (57 p. 100) que de chercheurs établis (27 p. 100)Note de bas de page 51.

Autre point digne de mention, près de 31 p. 100 des chercheurs ne tiennent pas compte, ou très peu, des options de publication en libre accès pour choisir une revue, mais presque autant (30 p. 100) estiment qu’il s’agit d’un critère essentiel ou déterminant. Les attentes en ce sens sont donc très variables dans le domaine des sciences humaines. Les chercheurs en début de carrière considèrent la publication en libre accès comme un critère essentiel ou déterminant en proportion un peu plus importante (41 p. 100) que les chercheurs en milieu de carrière (28 p. 100) et les chercheurs établis (23 p. 100), mais l’écart n’est pas statistiquement significatif.

Utilisation des frais de traitement d’article par les revues. Parmi les revues participantes, si un peu plus de la moitié (55 p. 100, n = 72) offrent un modèle de libre accès immédiat, seules six d’entre elles (8 p. 100) prélèvent des frais de traitement d’articleNote de bas de page 52. L’ARS ne finance qu’une seule de ces six revues. Les frais varient de 1 894 USD à 3 400 USD, la moyenne étant de 2 799 USDNote de bas de page 53.

Pour les besoins de l’évaluation, des données ont aussi été recueillies dans le site Web de revues qui ont été financées par l’ARS de 2008 à 2014 mais qui n’ont pas soumis de demande au concours de 2018 (n = 22). De ces revues, 14 (64 p. 100) utilisaient un modèle de libre accès hybride et offraient une option de publication immédiateNote de bas de page 54. Toutes prélevaient des frais de traitement d’article, dont le montant variait de 736 USD à 3 060 USD, la moyenne étant de 2 152 USDNote de bas de page 55.

À l’international, Crawford (2018) a estimé que 12 p. 100 des revues en libre accès dans le domaine des sciences humaines prélevaient des frais de traitement d’article, contre 88 p. 100 qui n’en prélevaient aucun. Certains auteurs estiment que de 13 p. 100 (Frantsvag et Stromme, 2019) à 47 p. 100 (Morrison, 2018) des revues prélèvent de tels frais, ce pourcentage se situant quelque part entre les deux pour d’autres (Cantrell et Swanson, 2020 p. ex.). Comme cela est indiqué plus haut, des 59 revues en libre accès actuellement subventionnées par l’ARS qui ont répondu au sondage, une seule (moins de 2 p. 100) a dit exiger des frais de traitement d’article. Il est difficile de comparer les coûts actuels à ceux signalés dans des études antérieures en raison de l’inflation récente des frais de traitement d’article, mais Papillon et coll. (2019) ont estimé qu’en sciences humaines, les frais moyens s’élevaient à 2 880 USD pour la voie dorée, un résultat similaire à celui obtenu dans la présente évaluation, tandis que Crawford (2018) a déterminé que seuls 5 p. 100 des frais exigés par les revues en sciences humaines dépassaient la barre des 600 USD.

Participation à l’ARS. Les rédacteurs en chef de revues précédemment et actuellement subventionnées ont été invités à indiquer si les changements apportés à l’ARS en 2018 avaient influé sur leur décision de soumettre ou non une demande. Tous les rédacteurs en chef de revues subventionnées en continu de 2008 à 2014 qui n’ont pas présenté de demande en 2018 (n = 10) ont affirmé que les nouvelles exigences de libre accès étaient en cause. Parmi les rédacteurs en chef de revues précédemment subventionnées qui ont participé de nouveau, 30 p. 100 (n = 16) ont dit considérer le financement supplémentaire accordé pour le recours au libre accès comme un incitatif.

En 2018, 12 nouvelles revues n’ayant jamais déposé de demande à l’ARS se sont jointes au programme. De celles-ci, la moitié (50 p. 100, n = 6) ont dit considérer le financement supplémentaire pour le recours au libre accès comme un incitatif, et 42 p. 100 (n = 5) ont dit considérer l’élargissement des critères d’admissibilité comme un incitatif.

Toutes les nouvelles revues sauf une (92 p. 100) utilisent le modèle de la voie dorée; elles représentent maintenant 10 p. 100 du total des revues subventionnées par l’ARS dans cette catégorie. Près de la moitié des revues qui avaient reçu un financement continu de 2008 à 2017 n’ont pas participé au concours de 2018 (47 p. 100, n = 22). De celles-ci, 21 (95 p. 100) exploitaient un modèle hybride ou d’abonnement.

Au vu des données administratives de 2014, il apparaît que le financement de l’ARS représente une proportion de plus en plus grande des revenus totaux des revues subventionnées. À noter toutefois que la valeur de la comparaison est grandement limitée par les différences qui existent entre les jeux de données. Le tableau 1 présente les données des revues subventionnées en continu par l’ARS depuis 2008. En 2014, l’ARS constituait moins de 50 p. 100 du revenu total de la plupart des revues subventionnées, alors qu’en 2020, elle représentait plus de 50 p. 100. Ce changement s’explique par le départ en 2018 de certaines revues (bénéficiant d’autres sources de financement plus élevées), qui ont laissé derrière elles un bassin de revues bien différent. Il ne semble pas y avoir de lien avec la transition à la voie dorée des revues subventionnées avant 2018.

En résumé. Des données sur les réactions des revues aux changements de 2018 ont été récoltées dans une optique de suivi de l’ARS. Plus de la moitié des revues ayant reçu un financement continu de 2008 à 2017 n’ont pas soumis de demande en 2018. Parmi celles qui ont continué de participer, 92 p. 100 employaient déjà un modèle de libre accès. Les répondants étaient partagés quant à l’incidence des changements apportés à l’ARS sur leur stratégie de libre accès : près de la moitié (48 p. 100) a vu une influence sur ce plan, surtout sur le choix du modèle et la vitesse de la transition, tandis que les autres n’avaient rien à signaler.

Tableau 1. Pourcentage du revenu des revues représenté par l’ARS, par quartile (revues subventionnées en continu depuis 2008)
% du revenu total représenté par l’ARS Pourcentage de revues, par quartile
2014 2020
n=47 n=25
25 % ou moins 19 % 4 %
De 26 % à 50 % 60 % 31 %
De 51 % à 75 % 15 % 32 %
De 76 % à 100 % 6 % 32 %

4.0 Rapport coût-efficience

Question 4. La prestation de l’ARS présente-t-elle un bon rapport coût-efficience?

4.1 Conclusions

Les données indiquent que l’ARS présente un bon rapport coût-efficience.

4.2 Constatations détaillées en ce qui concerne le rapport coût-efficience

Les rapports coût-efficience de l’ARS pour les cinq exercices financiers allant de 2014-2015 à 2018-2019 sont présentés au tableau 2. Pendant cette période, les coûts d’administration de l’occasion de financement ont oscillé entre 2,4 ¢ et 4,66 ¢ par dollar canadien attribué (en moyenne 3,23 ¢ par dollar). De même, les dépenses d’exploitation de l’ARS représentaient de 2,34 p. 100 à 4,45 p. 100 des dépenses annuelles totales, la moyenne étant de 3,13 p. 100. La hausse observée des coefficients d’exploitation dans les exercices 2017-2018 et 2018-2019 est attribuable au concours tenu en 2018.

Le portefeuille du CRSH ne comprend aucun programme directement comparable à l’ARS, car cette dernière emploie un modèle de financement unique parmi les programmes du CRSH. Ainsi, il n’aurait pas été informatif de tenter une comparaison de ses rapports coût-efficience avec ceux d’un autre programme. C’est pourquoi l’ARS a plutôt été comparée avec la moyenne de sa catégorie, soit les subventions de recherche et les partenariats du CRSH. La moyenne pour les programmes de ce portefeuille s’élevait à 3,84 ¢ par dollar en 2018-2019.

La moyenne de 3,23 ¢ par dollar du coefficient d’exploitation de l’ARS est inférieure à la moyenne générale de sa catégorie pour l’exercice 2018-2019. Il faut souligner que la taille relativement modeste de l’ARS réduit les économies d’échelle, et que les coûts de base du programme (coordination de l’évaluation et de la sélection des demandes p. ex.) sont répartis sur une quantité plus réduite de fonds de subvention que pour les autres programmes du CRSH. De plus, comme cela est indiqué plus haut, les coûts de l’ARS augmentent dans les années où il y a concours et diminuent les autres années. La période allant de 2014 à 2019 a été inhabituelle pour deux raisons : a) la durée des cycles de concours a été portée de trois à quatre ansNote de bas de page 56, ce qui fait que les données pour cette période ne couvrent qu’une seule année de concours, et b) une vaste consultation a été menée auprès des parties prenantes, et d’importants changements ont été apportés à l’ARS dans la dernière partie de la période, ce qui pourrait avoir joué sur les coûts d’administration.

Tableau 2. Dépenses de programme de l’ARS et rapport coût-efficience
2014-2015 2015-2016 2016-2017 2017-2018 2018-2019 Moyenne
Dépenses d’exploitation - - - - - -
Coûts salariaux directs 27 274 $ 27 421 $ 27 558 $ 101 937 $ 110 464 $ 58 931 $
Coûts non salariaux directs* 13 841 $ 0 $ 0 $ 0 $ 11 125 $ 4 993 $
Total des coûts directs 41 115 $ 27 421 $ 27 558 $ 101 937 $ 121 589 $ 63 924 $
Total des coûts indirects 50 258 $ 52 326 $ 56 732 $ 52 801 $ 15 976 $ 45 619 $
Total des dépenses d’exploitation (A) 91 373 $ 79 747 $ 84 290 $ 154 738 $ 137 565 $ 109 543 $
Total des dépenses en subventions (B) 3 547 310 $ 3 329 055 $ 3 322 094 $ 3 322 094 $ 3 418 287 $ 3 387 768 $
Total des dépenses de programme (C=A+B) 3 638 683 $ 3 408 802 $ 3 406 384 $ 3 476 832 $ 3 555 852 $ 3 497 311 $
Ratio d’exploitation (¢/1 $)
Dépenses par dollar attribué en subvention (A/B)		 0,0258 $ 0,0240 $ 0,0254 $ 0,0466 $ 0,0402 $ 0,0323 $
Pourcentage des dépenses de programme totales représenté par les dépenses d’exploitation (A/C) 2,51 % 2,34 % 2,47 % 4,45 % 3,87 % 3,13 %

* Comprend les coûts du régime d’avantages sociaux des employés

5.0 Autres approches possibles

Question 5. Le CRSH peut-il envisager d’autres approches viables pour accroître la diffusion de résultats originaux de recherches canadiennes en sciences humaines?

5.1 Conclusions

En consultation avec le Comité consultatif de l’évaluation, il y a eu examen des interventions gouvernementales employées à l’étranger pour encourager la publication en libre accès, telles que décrites dans la littérature évaluée par des pairs. Les constatations de cet examen sont résumées plus bas, et un rapport complet a été rédigé séparémentNote de bas de page 57. À noter que l’analyse a été considérablement limitée par le peu de recherches portant sur les sciences humaines et a dû s’appuyer largement sur les données des publications en sciences naturelles et de la santé, pour lesquelles les pratiques sont différentes.

Mandats gouvernementaux

Les mandats des bailleurs de fonds visent généralement à augmenter la quantité totale d’articles publiés en libre accès, et la plupart des politiques s’intéressent plus particulièrement au dépôt des manuscrits acceptés et des postimpressions (Gadd, 2018).

En 2018, plus de 50 p. 100 des bailleurs de fonds répertoriés dans JulietNote de bas de page 58 exigeaient ou encourageaient la publication en libre accès. Une minorité des mandats favorisaient la voie dorée (de 2 p. 100 à 25 p. 100, selon les estimations). La voie verte semblait la plus couranteNote de bas de page 59 (Pinfield, 2016 p. ex.) ou aucune préférence n’était indiquée dans les politiques (Gadd, 2018).

Bien que le taux de conformité des chercheurs avec les exigences des mandats varie d’une estimation à l’autre, il demeure généralement bas. De plus, les estimations calculées à partir des données sur les dépôts dans les répertoires sont parfois trop élevées, car il est difficile d’exclure correctement les publications qui ne sont pas des articles scientifiques (présentations complémentaires, résumés de projet, etc.). Compte tenu de la faiblesse apparente du taux de conformité, plusieurs auteurs recommandent des incitatifs, des formations et un soutien supplémentaire (Borrego, 2016 p. ex.), et Bakker et coll. (2017) estiment que des mesures d’application strictes sont nécessaires. D’autres chercheurs soulignent toutefois le fardeau et les coûts d’administration que de telles mesures ont entraînés pour les universités d’autres pays, notant que toute initiative en ce sens doit être soigneusement planifiée (voir p. ex.  : Penn, 2018).

Interventions gouvernementales en matière de financement

Il existe quatre grandes catégories d’interventions gouvernementales visant à encourager la publication en libre accès. Les avantages et les inconvénients de chacune sont présentés au tableau 3.

Tableau 3. Description, avantages et inconvénients des interventions encourageant la publication en libre accès
Description Principaux avantages Principaux inconvénients
Financement versé aux chercheurs Soutien direct aux auteurs/chercheurs pour couvrir les frais de traitement d’article. Généralement attribué dans la subvention de recherche initiale. Choix des chercheurs. Plus grande possibilité d’éviter les modèles de libre accès abusifs. Inflation des frais de traitement d’article. Problèmes de qualité et d’équité.
Financement versé aux établissements Subvention globale ou paiement central versé à un établissement pour couvrir les frais de traitement d’article des chercheurs affiliés à l’établissement et les autres activités de publication en libre accès de l’établissement. Augmentation de l’adoption du libre accès. Simplicité pour le bailleur de fonds. Meilleur contrôle de l’établissement sur le financement. Inflation des frais de traitement d’article. Adoption moindre du libre accès sans financement de ces frais. Problèmes d’équité. Fardeau administratif pour les établissements. Fusions dans le secteur de l’édition.
Financement versé aux maisons d’édition ou aux revues Subventions directes aux maisons d’édition et aux revues qui emploient un modèle de libre accès. Populaires dans les pays non anglophones dont la population est inférieure à celle des États-Unis ou du Royaume-Uni. Options de libre accès locales et de qualité, sans frais de traitement d’article ou à frais réduits. Effet de levier du bailleur de fonds (pour favoriser des modèles de libre accès compatibles avec les intérêts des chercheurs p. ex.). Risque financier de dépendance des revues/maisons d’édition à l’égard des fonds publics, ce qui pourrait freiner l’adoption du libre accès. À noter que la possibilité du libre accès ne suffit pas forcément pour susciter son adoption par les chercheurs.
Financement systémique Soutien à la mise en place d’infrastructures essentielles à la publication en libre accès (portails, répertoires, logiciels, etc.). Comprend aussi le financement de consortiums, quoique les données à leur sujet soient limitées. Avantages variables selon le type de soutien. Par exemple, le financement de consortiums a le potentiel de neutraliser les coûts de la transition à la publication en libre accès pour les revues. Les consortiums peuvent aussi se charger d’autres tâches importantes (normes de qualité p. ex.). Inconvénients variables selon le type de soutien. Par exemple, un consortium requiert un engagement minimal de la part d’un nombre suffisant de participants avant qu’une revue puisse amorcer sa transition à la publication en libre accès, chose difficile à réaliser et à maintenir.

Parmi les grands thèmes généraux de la littérature, il faut retenir l’influence majeure des mécanismes incitatifs – dont les pratiques d’évaluation des publications de recherche des universités – sur l’adoption des modèles de libre accès. Les mécanismes incitatifs et les méthodes d’évaluation de la recherche doivent donc être considérés soigneusement dans toute stratégie visant à encourager la transition à la publication en libre accès, et des initiatives comme la Declaration on Research Assessment (DORA)Note de bas de page 60, qui aspire à améliorer les techniques d’évaluation, constituent un bon point de départ.

Autre thème récurrent, les interventions des bailleurs de fonds ont parfois des effets inattendus, ce qui témoigne du caractère changeant du contexte et des limites au contrôle direct qu’exercent les bailleurs de fonds sur les résultats. Des consultations et un suivi régulier seraient donc nécessaires pour atténuer les effets indésirables. Les principes qui sous-tendent la Politique des trois organismes sur le libre accès aux publications (annexe A) peuvent servir d’aide à la prise de décision lorsque la solution n’est pas claire et qu’une stratégie d’adaptation s’impose.

Enfin, deux derniers points ressortent de la littérature : l’importance d’harmoniser les politiques de financement d’un même territoire et la nécessité d’encourager l’établissement de normes communes et de bonnes pratiques en matière de découvrabilité.

6.0 Conclusions et recommandations

6.1 Conclusions

L’évaluation avait pour but d’analyser la pertinence et la contribution de l’ARS et, dans une moindre mesure, son rapport coût-efficience et les autres approches viables. Une attention particulière a été accordée aux résultats prévus et imprévus, afin de déterminer s’ils concordaient avec l’engagement du CRSH de soutenir et de promouvoir la recherche et les chercheurs en sciences humaines au Canada. La pertinence et la concordance ont fait l’objet d’un examen poussé, car l’ARS est l’une des rares initiatives du CRSH qui ne financent pas directement les chercheurs à titre individuel ou les projets de recherche, mais qui visent plutôt à façonner le contexte dans lequel s’inscrit la recherche en sciences humaines ou à éliminer les obstacles présents dans le système de recherche.

Pertinence. Comme cela est indiqué plus haut, la majorité (65 p. 100) des chercheurs canadiens en sciences humaines ont déjà publié un article dans une revue canadienne, et 80 p. 100 des personnes sondées considéraient les revues canadiennes comme un canal de publication essentiel. Mais leur importance ne se limite pas à la diffusion des travaux des chercheurs; elles constituent aussi une source de contenu utile pour la recherche et facilitent l’établissement de liens avec les pairs et les lectorats. La majorité des revues admissibles au financement de l’ARS sont dirigées par des universitaires bénévoles au budget et aux sources de revenus limités.

Le CRSH entretient une relation synergique avec les revues canadiennes en sciences humaines : en finançant les revues au service de la recherche et des chercheurs canadiens, le CRSH vient consolider ses investissements dans le domaine. Les revues disposent aussi d’outils pour appuyer les chercheurs que le CRSH n’a pas. Par conséquent, une baisse de la capacité de publication du Canada dévaloriserait les autres investissements du CRSH dont le financement de champs de recherche d’importance nationale.

Contribution. Le financement de l’ARS permet d’augmenter de façon considérable la quantité annuelle de publications en sciences humaines. L’ARS apporte aussi de petites contributions indirectes à certains éléments qui jouent sur la capacité des revues à assurer la qualité des manuscrits. À ce jour, elle semble avoir légèrement amélioré l’accessibilité et la découvrabilité des recherches publiées, mais seulement sur quelques plans précis. Compte tenu du financement somme toute modeste qu’offre l’ARS aux revues, il n’est pas surprenant que sa contribution soit moindre en dehors de la capacité de production.

Rapport coût-efficience. Les données indiquent que l’ARS présente un bon rapport coût-efficience; son rapport coût-efficience moyen correspond à la moyenne générale observée pour les subventions de recherche et les partenariats.

Potentiel. L’ARS pourrait aussi permettre au CRSH de donner suite à d’autres engagements, par exemple faire progresser l’équité, la diversité et l’inclusion (EDI). Les revues canadiennes sont en position d’influencer l’EDI sur le plan systémique, certaines revues étant déjà à l’œuvre pour mobiliser la recherche sur des sujets liés à l’équité (recherche autochtone p. ex.). Par ailleurs, l’ARS est un important volet des efforts déployés par le CRSH pour accroître la capacité de publication en libre accès de qualité au Canada. Son financement est particulièrement important pour les revues de la voie dorée, dont les autres sources de revenus sont très limitéesNote de bas de page 61.

6.2 Recommandations

  1. Maintenir le financement offert par l’ARS. Tant que les sphères de pertinence et de contribution susmentionnées resteront des priorités du CRSH le financement de l’ARS demeurera un investissement sensé. Pour l’instant, les revues canadiennes jouent un rôle important dans le système de recherche en sciences humaines du pays. L’ARS donne des résultats positifs qu’il serait difficile de reproduire autrement. Il s’agit d’un investissement plutôt modeste pour le CRSH mais qui est d’un bon rapport coût-efficience.
    • Les autres sources de revenus possibles pour les revues en libre accès sont actuellement limitées ou posent des problèmes d’équité, surtout pour les chercheurs en sciences humaines. Le risque associé à la perte potentielle du financement public (c’est-à-dire à l’interruption des programmes) limite aussi l’adoption du libre accès.
  2. Harmoniser les objectifs de l’ARS avec ceux du programme Savoir, en tenant compte de la capacité et des principaux points forts de l’ARS. Les objectifs de l’ARS ne sont pas représentatifs de ses résultats et de son potentiel au sein du programme Savoir ni de la valeur qu’ont les revues canadiennes en sciences humaines pour les chercheurs et de l’utilisation qu’ils en font. Une meilleure harmonisation des objectifs de l’ARS avec ceux du programme Savoir et avec le rôle que les chercheurs attribuent aux revues canadiennes – là où ces objectifs et ce rôle se rejoignent – permettrait de mieux cibler l’ARS et de mieux tirer parti de ses ressources limitées.

    En pratique, il faudrait :

    1. examiner le profil du programme Savoir pour en cerner les points communs avec les objectifs et les buts de l’ARS;
    2. considérer les résultats principaux et potentiels de l’ARS en fonction de ses particularités, de sa valeur pour les parties prenantes et de sa capacité, telles qu’elles sont présentées plus haut;
    3. mettre à jour les objectifs de l’ARS en fonction des points communs actuels ou potentiels. Les constatations de l’évaluation indiquent que l’ARS contribue ou a le potentiel de contribuer à l’atteinte des objectifs et des buts du programme Savoir, ce que devraient mieux refléter et appuyer ses objectifs. Voici quelques exemples d’objectifs
      • Produire et mobiliser des connaissances au moyen de la recherche.Les objectifs actuels de l’ARS visent principalement la diffusion, ce qui veut dire souvent pour les chercheurs faire connaître leurs travaux à des publics précis – un rayonnement ciblé plutôt que généralisé. Cela se manifeste aussi dans les critères d’évaluation de l’ARSNote de bas de page 62. Il faut donc veiller à ce que les indicateurs de rendement du programme Savoir ne présentent pas la diffusion à grande échelle comme (seul) résultat souhaité.
        • Il apparaît aussi, dans la littérature, que les revues nationales représentent un atout important pour les groupes autrement mal desservis par les canaux de publication (les chercheurs non anglophones p. ex.) ainsi que pour la création de canaux de libre accès équitable et de qualité.
      • Favoriser la recherche et les activités connexes pour les chercheurs à titre individuel et les équipes (y compris les collaborations au Canada). Bien que les objectifs de l’ARS n’en tiennent actuellement pas compte, les revues canadiennes représentent pour les chercheurs un canal de communication avec les autres spécialistes de leur domaine et une bonne source de contenu pour faire avancer leurs recherches. Elles offrent aussi l’avantage non négligeable de créer des communautés locales de chercheurs d’un même domaine.
      • Renforcer l’équité, la diversité et l’inclusion dans la recherche en sciences humaines. Les objectifs actuels de l’ARS ne tiennent pas compte de l’EDI. Pourtant, les revues scientifiques, les rédacteurs en chef et les pairs évaluateurs jouent un rôle essentiel sur ce plan à l’échelle systémique. Les possibilités de l’ARS à cet égard sont mentionnées plus haut. Si la contribution potentielle de l’ARS aux objectifs du programme Savoir en matière d’EDI devait être reconnue dans les objectifs de l’ARS, cela devrait refléter la nature du financement au niveau organisationnel et la nature de l’intervention au niveau systémique. Les revues canadiennes en sciences humaines présentent une grande diversité, à des degrés de capacité variés, et disposent de toutes sortes d’outils pour faire progresser l’EDI. Des experts devraient être consultés. Entre-temps, il serait important de suivre de près l’EDI (voir plus bas).
      • Soutenir la prochaine génération de chercheurs en sciences humaines. Les chercheurs en début de carrière étaient plus nombreux que les autres à considérer les revues canadiennes comme essentielles ou cruciales pour l’avancement professionnel et l’établissement de relations avec des experts de leur domaine.
      • Aider les stagiaires à perfectionner leurs compétences en recherche, en relations professionnelles et en mobilisation des connaissances. Les revues subventionnées emploient et forment souvent des étudiants des cycles supérieurs.
  3. Veiller à l’harmonisation opérationnelle de l’ARS avec ses nouveaux objectifs. Une fois précisés, les nouveaux objectifs de l’ARS devront se refléter dans son processus de sélection et ses pratiques de suivi du rendement. Par exemple, il serait utile de réviser les critères d’évaluation pour assurer la mise en évidence et le respect des grandes priorités. Notamment, si la contribution à la qualité des publications scientifiques est l’un des objectifs principaux de l’ARS, cela doit transparaître dans le processus d’évaluation et la grille de notation. La Division de l’évaluation du CRSH pourrait apporter son aide technique à l’élaboration d’une grille analytique destinée aux évaluateurs, qui pourrait, entre autres, établir des distinctions entre les niveaux de rendement.
    1. Les critères d’évaluation devraient être comparés aux engagements en matière d’EDI, afin de garantir, au minimum, que des caractéristiques telles que la composition du comité de rédaction, la portée régionale et le sujet traité par une revue ne constituent pas des obstacles involontaires au financement. Par exemple, une revue spécialisée dans un champ de recherche émergent ou dans la recherche interdisciplinaire peut avoir un profil de citations très différent de celui d’une revue consacrée à une discipline plus connue et mieux établie.
    2. Dans un premier temps, il faudrait commencer à recueillir des données sur l’EDI et, plus particulièrement, sur l’équité de l’accès au financement. L’ARS attribuant des fonds à l’échelle organisationnelle, il serait judicieux de consulter un spécialiste pour déterminer une façon adéquate et réaliste de procéder à la collecte de données organisationnelles ou systémiques.
      • L’ARS pourrait aussi recueillir des données à l’appui de la gestion du programme, afin de veiller à ce que la structure et le mode de prestation ne créent pas d’obstacles involontaires au financement des revues.
    3. Les critères d’évaluation et les indicateurs de rendement devraient aussi être comparés aux recommandations de la DORANote de bas de page 63, dont le CRSH est signataire, afin de favoriser encore davantage la participation équitable au système de recherche.
  4. Actualiser le modèle logique de l’ARS. Le modèle logique actuel (présenté au début de l’évaluation) reflète mal la contribution de l’ARS et les mécanismes qui lui permettent cette contribution; autrement dit, le fonctionnement de l’ARS n’est pas explicite. Les constatations présentées plus haut posent les fondements d’un modèle de changement empirique pouvant orienter l’ARS et (ou) inspirer les autres occasions de financement similaires. La Division de l’évaluation peut fournir un soutien technique en ce sens.
  5. Sur le plan organisationnel, envisager d’utiliser l’ARS comme véhicule pour faire progresser la réalisation des grandes priorités du CRSH.
    • Les investissements actuels ne sont pas suffisants pour que l’ARS puisse apporter autre chose qu’une contribution très modeste à la quantité, à la qualité et à l’accessibilité et découvrabilité des revues canadiennes en sciences humaines. Si le CRSH veut faire davantage à cet égard, il pourrait augmenter le montant des subventions. Les revues affecteraient probablement ces fonds supplémentaires au renforcement de leur capacité de production, notamment sur le plan de la coordination de l’évaluation par les pairs, ce qui aurait des répercussions positives sur d’autres éléments comme le développement stratégique. Elles pourraient aussi les investir dans les autres sphères lacunaires ciblées plus haut, dont la découvrabilité.
    • L’ARS peut aider le CRSH à évoluer en tant qu’organisme quant à ses grandes priorités en collaborant étroitement avec le secteur et en maintenant le dialogue. Cette recommandation est encore plus pertinente pour les aspects en pleine expansion. Voici des exemples de contributions possibles.
      • Interventions systémiques pour favoriser l’EDI, par l’intermédiaire des initiatives du CRSH qui agissent à cette échelle (dont l’ARS).
      • Amélioration continue de l’évaluation de la recherche par les universités et les comités de sélection du CRSH (mise en application de la DORA pour éviter que les mesures incitatives destinées aux chercheurs ne nuisent à la publication en libre accès, par exemple publication en français ou choix de publication favorisant le rayonnement auprès de lectorats précis plutôt que la diffusion générale lorsque c’est pertinent pour l’utilisation de la recherche).
      • Approfondissement de la compréhension de la « recherche ouverte » dans l’ensemble du secteur et promotion de l’adoption des modèles de libre accès pour atteindre cet objectif, notamment par d’autres pratiques d’accessibilité et de découvrabilité importantes mais encore peu répandues (voir les sections précédentes). Il est ici question d’initiatives comme la mise en commun d’information de qualité sur les avancées de la recherche ouverte, le soutien à l’élaboration de bonnes politiques et pratiques pour les revues en sciences humaines, le financement de technologies accessibles et abordables et l’accès à l’expertise d’intermédiaires. Cela va également dans le sens des recommandations de la DORA (plus haut), par exemple en ce qui a trait aux droits de réutilisation des citations.
      • Exploration d’options visant à offrir des modèles de libre accès équitable et durable.

Références

Bakker, C., C. Stephenson, E. Stephenson et D. Chaves (2017). « Public funding and open access to research: a review of Canadian multiple sclerosis research », Journal of Medical Internet Research, vol. 19, no 2, e52.

Björk, B. C. (2017a). « Journal portals – an important infrastructure for non-commercial scholarly open access publishing », Online Information Review, vol. 41, no 5, p. 643-654.

Björk, B. C. (2017b). « Scholarly journal publishing in transition-from restricted to open access », Electronic Markets, vol. 27, no 2, p. 101-109.

Borrego, Á. (2016). « Measuring compliance with a Spanish Government open access mandate », Journal of the Association for Information Science and Technology, vol. 67, no 4, p. 757-764.

Bower, K., N. Sheppard, J. Bayjoo et A. Pease (2017). « Establishing the role and impact of academic librarians in supporting open research: a case study at Leeds Beckett University, UK », New Review of Academic Librarianship, vol. 23, nos 2-3, p. 233-244.

Crawford, W. (2018). GOAJ3: Gold Open Access Journals 2012-2017, Livermore (Californie) : Cites & Insights.

Eng, S. (2017). « The library profession in the time of open access », The Serials Librarian, vol. 73, nos 3-4, p. 215-225.

Gadd, E., J. Fry et C. Creaser (2018). « The influence of journal publisher characteristics on open access policy trends », Scientometrics, vol. 115, no 3, p. 1371-1393.

Gadd, E. et D. Troll Covey (2019). « What does ‘green’ open access mean? Tracking twelve yeARS of changes to journal publisher self-archiving policies », Journal of Librarianship and Information Science, vol. 51, no 1, p. 106-122.

Henrich, J., S. J. Heine et A. Norenzayan (2010). « Most people are not WEIRD », Nature, vol. 466, no 7302, p. 29.

Lohr, S. (2019). Sampling: Design and Analysis, Boca Raton (Floride) : Taylor & Francis.

Penn, L. (2018). « Alternative ways of obtaining scholarly articles and the impact on traditional publishing models from a UK/European perspective », Serials review, vol. 44, no 1, p. 40-50.

Pinfield, S. et C. Middleton (2016). « Researchers’ adoption of an institutional central fund for open-access article-processing charges: A case study using innovation diffusion theory », SAGE Open, vol. 6, no 1, p. 1-18.

Piwowar, H., J. Priem, V. Larivière, J. P. Alperin, L. Matthias, B. Norlander, ... et S. Haustein (2018). « The state of OA: a large-scale analysis of the prevalence and impact of Open Access articles », PeerJ, vol. 6, e4375.

Ryan, K., N. Gannon-Slater et M. J. Culbertson (2012). « Improving survey methods with cognitive interviews in small-and medium-scale evaluations », American Journal of Evaluation, vol. 33, no 3, p. 414-430.

Statistique Canada (2015). Personnel affecté à la recherche et au développement selon le secteur d’exécution et la catégorie professionnelle, tableau 27-10-0022-01. En ligne : Personnel affecté à la recherche et au développement selon le secteur d’exécution et la catégorie professionnelle.

Willinsky, J. (2017). « Modelling a cooperative approach to open access scholarly publishing: A Demonstration in the Canadian Context », Canadian Journal of Communication, vol. 42, no 5.

Zhang, L. et E. M. Watson (2017). « Measuring the impact of gold and green open access », The Journal of Academic Librarianship, vol. 43, no 4, p. 337-345.

Zhang, L. et E. Watson (2018). « The prevalence of green and grey open access: where do physical science researchers archive their publications? », Scientometrics, vol. 117, p. 2021-2035.

Annexe A. Profil de programme de l’ARS

Aperçu

L’objectif général de l’ARS est d’accroître la diffusion, l’accessibilité et le lectorat de résultats originaux de recherches canadiennes en sciences humaines.

Avant 2018, le programme visait à défrayer une partie des coûts associés à la publication et à la diffusion d’articles ainsi qu’à la mise en place et au maintien des structures nécessaires à la transition au numérique, condition préalable essentielle à un modèle de libre accès. En 2014, les revues ont été invitées à soumettre un plan pour cette transition.

À la suite des changements de 2018, les objectifs du financement se sont quelque peu transformés. En plus de ses visées initiales concernant la diffusion, la découvrabilité et le lectorat de résultats originaux de recherches en sciences humaines, l’ARS s’est dotée de nouveaux objectifs : tirer parti des importants investissements du gouvernement fédéral dans les infrastructures de l’édition savante numérique, aider les revues à tirer parti des avancées technologiques et des pratiques novatrices dans le domaine des technologies numériques et favoriser la transition à des modèles de publication en libre accès.

Avant 2018, l’occasion de financement s’adressait à toutes les revues, peu importe leur modèle opérationnel ou leur structure de diffusion. Cependant, à compter de 2018, les revues devaient, pour être admissibles, utiliser un modèle de libre accès immédiat ou de libre accès différé comportant une période d’exclusivité d’au plus 12 mois. Les revues qui ne se conformaient pas à cette exigence avaient deux ans pour faire la transition, sans quoi elles ne recevraient pas de financement à la troisième année.

Voici les objectifs intermédiaires de l’ARS :

  • accroître la diffusion, la découvrabilité et le lectorat de résultats originaux de recherches en sciences humaines au moyen des revues savantes canadiennes;
  • tirer parti des importants investissements du gouvernement fédéral dans les infrastructures de l’édition savante numérique;
  • aider les revues qui souhaitent se prévaloir des avancées technologiques et des pratiques novatrices dans le domaine des technologies numériques;
  • favoriser la transition à des modèles de publication en libre accès.

Quatre concours de l’ARS ont eu lieu en une décennie, soit en 2008, 2011, 2014 et 2018.

Tableau 4 : Statistiques des concours de l’ARS
2008 2011 2014 2018 Total
Nombre de demandes 186 193 197 175 751
Nombre de subventions attribuées 162 138 144 123 574
Taux de réussite* 87 p. 100 72 p. 100 73 p. 100 70 p. 100 -
Total des fonds attribués 9 963 409 $ 9 999 942 $ 10 198 459 $ 11 600 007 $ 30 161 810 $
Montant moyen des subventions 61 503 $ 72 463 $ 70 823 $ 79 089 $ -

* Les taux de réussite ont été calculés en fonction du nombre de subventions et de demandes. Ces taux peuvent changer une fois prises en compte les demandes retirées et les demandes non admissibles.

Les dépenses de l’ARS sont restées plutôt stables pendant cette période, entre 3 188 156 $ et 3 547 310 $ par exercice financier, fluctuant à la hausse lors des exercices où avait lieu le lancement des concours.

Voici les principaux changements apportés à l’ARS en 2018Note de bas de page 64 :

  • obligation d’utiliser un modèle de libre accès immédiat ou de libre accès différé comportant une période d’exclusivité d’au plus 12 mois;
  • période de transition de deux ans pour se conformer à cette exigence;
  • admissibilité des revues qui peuvent démontrer qu’elles appartiennent à des organismes canadiens sans but lucratif et dont le rédacteur en chef (plutôt que le tiers des membres) est affilié à un établissement d’enseignement postsecondaire canadien.

Présentation des demandes, administration des subventions et sélection

Toute demande doit être soumise par le rédacteur en chef de la revue. Seuls les établissements d’enseignement postsecondaire admissibles et les organismes sans but lucratif admissibles peuvent administrer les subventions. Pour les besoins de l’ARS, sont considérées comme des organismes admissibles les revues elles-mêmes ainsi que les sociétés savantes et les maisons d’édition qui les administrent ou en sont propriétaires. Les établissements ou les organismes qui prévoient d’administrer une subvention dans le cadre de la présente occasion de financement doivent être admissibles à le faire ou le devenir. Le statut d’admissibilitéNote de bas de page 65 d’une revue, d’une société savante ou d’une maison d’édition n’est valide que pour l’ARS et doit être renouvelé à chaque concours.

Toutes les demandes sont soumises à l’examen d’un comité de chercheurs qui travaillent dans des disciplines variées et connaissent bien le processus de production des revues.

Les membres des comités de sélection évaluent les demandes de subvention selon la grille de notation et les critères suivants :

  1. Qualité et impact de la revue (40 p. 100)
    • Rigueur et qualité des processus employés pour sélectionner les articles et assurer leur évaluation par les pairs
    • Pertinence des articles publiés par rapport aux objectifs de la revue
    • Caractère distinctif du contenu de la revue
    • Valeur de la contribution de la revue dans ses domaines de recherche
    • Impact des articles de la revue (tel qu’il est mesuré par les répertoires de citations ou les mesures d’impact conventionnelles et alternatives, ou tel qu’il est décrit par le candidat)
  2. Orientation rédactionnelle (30 p. 100)
    • Leadership du rédacteur en chef
    • Pertinence de la composition du comité de rédaction et de l’équipe d’édition
    • Preuve de l’engagement actif des membres du comité de rédaction et de l’équipe d’édition
    • Bien-fondé des objectifs proposés par la revue pour la période couverte par la subvention
  3. Nature et efficacité des stratégies de diffusion actuelles et proposées de la revue (30 p. 100)
    • Diversité et pertinence des stratégies proposées par la revue pour rejoindre le lectorat approprié
    • Nature et taille du lectorat de la revue et type et ampleur des efforts déployés pour l’accroître
    • Plans de transition réalistes vers un modèle opérationnel de libre accès (s’il y a lieu)
    • Apparence et présentation générales du contenu de la revue
    • Conception et convivialité du site Web de la revue

Chacun des critères ci-dessus est noté sur une échelle de 1 à 6. Afin d’être recommandée pour un financement, une revue doit obtenir une note de 3 (satisfaisant) ou plus pour chacun. La note globale est déterminée en fonction des valeurs attribuées aux critères décrits ci-dessus.

Politique des trois organismes sur le libre accès aux publications

La Politique des trois organismes sur le libre accès aux publications (décrite plus bas) est pertinente pour la présente évaluation. Elle a pour objectif d’améliorer l’accessibilité des résultats des recherches subventionnées par les organismes et d’encourager la diffusion et l’échange de ces résultats. Tous les chercheurs, peu importe leur statut de financement, sont invités à s’y conformerNote de bas de page 66.

Pour promouvoir la publication en libre accès, les organismes suivent les principes suivants :

  • Protéger la liberté universitaire et le droit à la publication
  • Reconnaître l’importance capitale de l’évaluation par les pairs dans l’écosystème de communication savante
  • Maintenir les normes élevées et la qualité de la recherche en encourageant la transparence et la conduite responsable de la recherche
  • Promouvoir dans toutes les disciplines les normes et les pratiques de recherche reconnues comme exemplaires et mettre de l’avant les normes et les pratiques émergentes
  • Faire progresser la recherche, la science et l’innovation
  • Assurer la diffusion efficace des résultats de recherche
  • Harmoniser les pratiques et les politiques des organismes de financement canadiens avec ce qui se fait à l’international

Annexe B. Méthodologie

Puisqu’il s’agissait d’une évaluation conjointe de l’ARS et du PAES, la même approche a été utilisée pour les deux initiatives. Les méthodes ont aussi été les mêmes lorsque c’était possible. Les méthodes de collecte et d’analyse de données employées sont expliquées plus bas. Celles qui s’appliquaient exclusivement au PAES ont été omises du présent document, mais sont consignées dans le rapport d’évaluation du PAES.

Entrevues avec les répondants clés

L’évaluation comprenait notamment des entrevues auprès de répondants clés, dont l’objectif était de recueillir, pendant la phase 1, des données exploratoires pertinentes pour les questions et les indicateurs à l’étude, afin d’ébaucher une théorie du changement. Les résultats ont aussi servi à orienter la mise au point d’outils pour la phase 2.

Les participants aux entrevues ont été choisis par la Division de l’évaluation du CRSH selon les données administratives de l’ARS et du PAES, afin d’assurer des perspectives variées. Ils ont été divisés en sous-groupes, en veillant à ce qu’il y ait représentation des différentes régions du Canada (Ouest, Centre et Atlantique) et des deux langues officielles (français et anglais) dans chacun d’eux. Au total, des entrevues ont été réalisées auprès de 42 répondants, répartis dans les huit sous-groupes suivants :

  • rédacteurs en chef de revues subventionnées par l’ARS (n = 8)
  • rédacteurs en chef de revues non subventionnées ou ayant reçu l’ARS pour la première fois en 2018 (n = 4)
  • maisons d’édition fréquemment subventionnées par le PAES (n = 7)
  • maisons d’édition rarement subventionnées par le PAES (n = 4)
  • chercheurs universitaires du domaine des sciences humaines (n = 6)
  • autres parties prenantes et représentants d’organismes intéressés (n = 6)
  • représentants de l’ARS et du PAES (n = 5)
  • représentants d’autres bailleurs de fonds fédéraux (n = 2)

La Division de l’évaluation du CRSH a établi un guide d’entrevue semi-structurée pour chacun des sous-groupes, en consultation avec Ference & Company Consulting et le Comité consultatif de l’évaluation. Ference & Company a mis à l’essai les guides, invité les participants, mené les entrevues et analysé les données. Les entrevues se sont faites par téléphone, dans la langue officielle choisie par le participant. Chaque participant avait au préalable reçu un exemplaire du guide le concernant. Les transcriptions des entrevues ont été réalisées à partir des notes d’entrevue et des enregistrements audio.

Ference & Company a également mis au point une trame de codage initiale pour l’analyse, en consultation avec le CRSH et saisi les réponses à chaque question dans une feuille de calcul Microsoft Excel à des fins de codification et d’analyse.

Étude de cohorte rétrospective

Une étude de cohorte rétrospective a été réalisée pour mesurer l’effet de l’ARS sur la quantité d’articles publiés par les revues canadiennes de 2008 à 2017.

Voici les critères d’admissibilité utilisés :

  • correspondre à la définition d’une revue savante;
  • utiliser une formule d’abonnement, de libre accès ou de libre accès différé;
  • soumettre chaque article devant être publié à une évaluation par les pairs rigoureuse et indépendante;
  • avoir été fondée au moins deux ans avant la date limite de présentation des demandes et avoir publié, depuis sa création, un minimum de deux numéros par an comportant chacun au moins trois articles évalués par des pairs ou, dans le cas des revues numériques ne publiant pas sous forme de numéros, au moins 12 articles ainsi évalués au cours de la période de deux ans;
  • être publiée principalement en anglais et (ou) en français;
  • être conforme aux lignes directrices du CRSH sur l’admissibilité des sujets de recherche.

Une revue n’est pas admissible à l’ARS si :

  • sa mission et (ou) son contenu visent avant tout une ou des disciplines ne relevant pas de la mission du CRSH;
  • son contenu est avant tout lié à la santé ou cherche à améliorer, à promouvoir ou à influencer la santé, les soins, les politiques de santé ou d’autres services connexes.

Les revues ayant reçu du financement entre 2008 et 2017 ont été ajoutées à l’étude seulement lorsqu’elles figuraient dans la base de données Web of Science. Des revues n’ayant jamais été subventionnées par l’ARS ont aussi été incluses à des fins de comparaison lorsqu’elles se trouvaient dans cette même base de données et respectaient les principaux critères d’admissibilité au financement. Les données utilisées pour déterminer l’admissibilité des revues de ce deuxième groupe portaient sur la période allant de 2005 à 2017. Les revues subventionnées par l’ARS devaient se conformer à des exigences supplémentaires concernant leur comité de rédaction, mais le manque de données en ce sens pour les revues non subventionnées a rendu la comparaison impossible sur ce plan.

L’étude visait principalement à comparer le nombre moyen d’articles publiés chaque année par les revues savantes, en s’intéressant avant tout au statut de financement par l’ARS. Deux statuts ont été évalués : financement continu sur toute la durée de l’étude (de 2008 à 2017) et financement partiel. Le groupe de comparaison se composait de revues n’ayant reçu aucun financement de l’ARS de 2008 à 2017. Les revues qui avaient reçu un financement de 2005 à 2007 mais pas de 2008 à 2017 ont été exclues pour assurer l’absence d’effets résiduels.

La langue de publication principale, le champ d’activité et la fréquence de publication ont été reconnus comme variables de confusion potentielles. Les données ayant trait à l’objectif principal de l’étude ont été recueillies dans le Web of Science. Le nombre total d’articles publiés a été extrait pour chaque revue, puis divisé par le nombre d’années sur lesquelles les données s’étendaient, afin d’établir un taux de publication annuel moyen. Les taux présentaient une asymétrie positive et suivaient une distribution de Poisson. Ils ont donc été ajustés par normalisation logarithmique pour obtenir une distribution normale. Toutes les analyses ont été réalisées à partir des taux logarithmiques de publication annuels.

Le principal champ d’intérêt a été déterminé à l’aide du fichier de données administratives de l’ARS, qui a aussi servi à répartir les revues en deux groupes – subventionnées et non subventionnées – après leur sélection.

Il n’a pas été possible d’utiliser une sélection aléatoire pour choisir les revues à inclure, car les données n’étaient pas disponibles pour toutes les revues dans le Web of Science. Pour compenser le biais de sélection, les revues incluses dans l’échantillon ont été comparées à d’autres revues subventionnées, mais non incluses, dans le but de repérer tout écart significatif entre les caractéristiques de référence.

Toutes les revues répertoriées dans le Web of Science qui satisfaisaient aux critères d’admissibilité ont été prises en compte. Puisque les revues n’avaient pas toutes le même âge, le nombre de publications a été converti en taux annuel. Ainsi, les revues comptant 10 ans de publications à leur actif n’ont pas été automatiquement avantagées par ce simple fait. Puisque les revues examinées n’avaient pas toutes reçu un financement constant sur toute la période considérée, les données ont été séparées en deux catégories : financement continu et financement intermittent.

La langue de chaque article a également été prise en compte. Pour chaque revue, le nombre d’articles publiés en français et en anglais pendant toute la période considérée a été compilé, puis divisé par le total d’articles pour obtenir la proportion d’articles dans chaque langue. Une revue était considérée comme majoritairement anglaise ou française selon la langue dans laquelle avaient été publiés plus de 50 p. 100 de ses articles. La langue des revues a donc constitué dans cette analyse une variable binaire.

L’analyse principale (l’évaluation de l’effet du financement sur la quantité d’articles publiés) a pris la forme d’une régression linéaire logarithmique multiple tenant compte de la langue, du champ d’activité et de la fréquence de publication. Les différences entre le financement continu et intermittent ont été mesurées dans une analyse par sous-groupes. Le modèle final ne comprenait aucune interaction ni donnée manquante.

L’analyse a été effectuée deux fois. La première fois, un évaluateur a formé des regroupements de variables, et les critères d’admissibilité étaient moins stricts pour les revues non subventionnées. La seconde fois, un deuxième évaluateur a regroupé les variables de manière indépendante, et les critères d’admissibilité concordaient davantage à ceux de l’ARS. Les deux analyses ont donné des résultats similaires, ce qui indique que les effets observés ne sont probablement pas dus à un biais dans le regroupement des variables.

Toutes les analyses ont été réalisées avec IBM SPSS Statistics 23.

Analyse des données administratives de l’ARS (composante qualitative)

Cette composante a été conçue de façon à repérer les thèmes communs aux perspectives de multiples bénéficiaires de subventions et à examiner leur évolution au fil des ans. Un échantillon aléatoire stratifié a été composé à partir de demandes d’ARS retenues, lesquelles avaient été soumises par des rédacteurs en chef de revues canadiennes en sciences humaines. L’échantillon rassemblait un total de 60 demandes, soit 15 pour chacun des quatre concours tenus de 2008 à 2018. Afin d’assurer un vaste éventail de perspectives, l’équipe d’analyse a vérifié que l’échantillon représentait adéquatement les différentes disciplines, régions géographiques et langues officielles.

Les données des demandes déposées en 2011, 2014 et 2018 ont été entrées dans NVivoNote de bas de page 67suivant un cadre de codification prédéterminé, puis ont reçu un code ouvert correspondant à des catégories afin de dégager des sous-thèmes principaux. L’équipe a ensuite vérifié la cohérence interne de chaque sous-thème, en consultant au besoin les demandes originales. Les données ont été recodées, le cas échéant, selon la structure de codification émergente.

Les demandes de 2008 ont aussi été passées en revue pour confirmer qu’elles correspondaient aux sous-thèmes retenus et aux catégories plus larges. Les données pour cette année ont été intégrées manuellement à un résumé des résultats dans Microsoft Word. Enfin, le contenu définitif de chaque sous-thème a été examiné pour chaque année de concours afin de dégager les évolutions possibles au fil du temps.

L’analyse reposant sur les données autodéclarées dans les demandes de financement, il est probable qu’elle comporte un biais positif en ce qui concerne les résultats attendus et déclarés. Les déclarations des candidats peuvent aussi avoir été influencées par leur compréhension des objectifs du CRSH. C’est pourquoi l’analyse n’a pas porté sur l’atteinte des résultats, mais plutôt sur les processus utilisés et les facteurs de médiation. Il n’a pas été possible de demander des précisions aux candidats. L’équipe d’analyse a veillé à ne pas établir de lien entre les facteurs (c’est-à-dire entre les statuts de financement par l’ARS et des résultats donnés), s’en tenant uniquement aux liens mentionnés explicitement dans les demandes.

Analyse des données administratives de l’ARS (composantes quantitatives)

Données sur les articles soumis aux revues et les modèles d’accès. Les données concernant les articles soumis aux revues nationales (canadiennes) ayant reçu un financement continu (à tous les concours), intermittent (à certains concours) et nul (à aucun concours) ont été comparées pour les cycles de l’ARS de 2008 à 2014; les données détaillées n’étaient pas disponibles pour les années suivantes.

Les données sur les articles soumis les deux années précédant l’année d’un concours sont autodéclarées; elles proviennent des demandes présentées à l’ARS. Trente-deux demandes ont été retenues pour chaque cycle (2008, 2011, 2014 et 2018), composant un échantillon total de 128 demandes. Les données nécessaires à l’analyse ont été évaluées et extraites manuellement.

Données sur les revenus des revues. Ces données ont été recueillies dans les demandes soumises à l’ARS par des revues ayant reçu un financement continu de 2008 à 2014 (n = 53). Les revues ainsi subventionnées sont généralement mieux établies et plus stables financièrement que les autres.

Les demandes présentées à l’ARS devaient inclure des données financières jusqu’au concours de 2014 inclusivement; en 2018, cette information n’était pas exigée. Six revues ont été exclues de l’analyse parce que leurs données n’étaient pas utilisables; ainsi, le jeu de données comptait 47 revues.

Les données suivantes ont été extraites des demandes de financement de 2014 :

  • revenu total de la revue pour l’exercice 2013-2014
  • montant de la subvention reçue en 2013-2014
  • modèle opérationnel de la revue

Le montant de la subvention reçue a été divisé par le revenu total pour chacune des 47 revues, de manière à déterminer le pourcentage de leur revenu représenté par le financement de l’ARS.

Les revues ont été réparties en quartiles (de 0 % à 25 %, de 26 % à 50 %, de 51 % à 75 % et de 76 % à 100 %) selon ce pourcentage.

Les résultats ont ensuite été étoffés à l’aide d’un sondage (voir plus bas).

Rapport coût-efficience de l’ARS. Le CRSH évalue habituellement le rapport coût-efficience d’un programme en calculant le rapport entre les coûts d’exploitation et les fonds attribués en subventions (le coefficient d’exploitation). Les données utilisées pour cette analyse ont été fournies par l’équipe chargée de la responsabilisation, de la conformité et de la gestion des fonds attribués. Il s’agissait notamment des coûts d’exploitation du CRSH des subventions et des dépenses totales associées à l’ARS pour les exercices financiers 2013-2014 à 2018-2019.

Analyse des données du CV commun canadien du CRSH – Publications de chercheurs canadiens en sciences humaines

Le dossier de publications des chercheurs a été étudié à l’aide d’une approche transversale, dans le but d’estimer le pourcentage de chercheurs canadiens en sciences humaines ayant publié des travaux dans une revue ou chez une maison d’édition du pays.

Des données ont d’abord été extraites de la base de données du CV commun canadien (CVC) du CRSH le 2 décembre 2019 afin d’être comparées à celles du système AMIS du CRSH portant sur les variables démographiques des chercheurs et leur participation aux programmes du CRSHNote de bas de page 68. Cette analyse avait pour but de vérifier que les premières données étaient représentatives des secondes, elles-mêmes considérées comme représentatives de l’ensemble des chercheurs canadiens en sciences humaines (voir plus bas). Pour les besoins de la comparaison avec la participation aux programmes du CRSH les personnes décédées ou âgées de plus de 90 ans ont été exclues.

La population cible était constituée de l’ensemble des chercheurs en sciences humaines canadiens, c’est-à-dire œuvrant en sciences humaines et affiliés à des établissements de recherche canadiens. L’échantillon étudié a été prélevé à même la base de données du CVC et se composait de chercheurs canadiens ayant créé ou mis à jour leur profil entre le 1er janvier 2017 et le 2 décembre 2019. Ceux qui n’étaient pas affiliés à un établissement canadien ou pour lesquels il n’y avait pas de données de publication au moment de l’extraction des données ont été exclus de l’analyse. Afin que l’échantillon soit représentatif de la population cible, les chercheurs ont été sélectionnés par échantillonnage aléatoire simple. La taille de l’échantillon a été déterminée en fonction de deux besoins : estimer le pourcentage d’articles publiés par les canaux canadiens et réunir un échantillon suffisant pour le sondage prévu auprès des chercheurs tout en réduisant le plus possible la marge d’erreur compte tenu des ressources limitées. Au Canada, le domaine des sciences humaines compte environ 28 000 chercheurs universitaires (en excluant les étudiants des cycles supérieurs)Note de bas de page 69. L’échantillon étudié couvrait 16 p. 100 de cette population.

Les données ont été extraites de la base de données du CVC à l’aide de SAP BusinessObjects Web Intelligence, puis exportées dans un fichier CSV. La gestion et le nettoyage des données se sont faits dans Microsoft Excel 2016, et les statistiques descriptives ont été calculées avec IBM SPSS Statistics 26. Les chercheurs pour lesquels il manquait des données concernant les revues ou les maisons d’édition ont été exclus. Aucune imputation n’a été effectuée.

Les données de tous les chercheurs figurant dans le système AMIS ont été extraites et utilisées pour représenter la population totale de chercheurs canadiens en sciences humaines. Les enregistrements du système AMIS sont considérés comme raisonnablement représentatifs en raison du nombre d’enregistrements distincts (36 874 enregistrements pertinents) de chercheurs ayant été en contact avec le CRSH sur une longue période. Ont été prélevées dans les enregistrements les variables suivantes : identifiant unique, année de naissance, genre, langue, nom et type de l’établissement d’affiliation, discipline et date d’obtention du doctorat. Ces variables ont ensuite été associées aux profils des chercheurs de la base de données du CVC au moyen des identifiants uniques. Des 4 631 enregistrements des chercheurs de la base de données du CVC, seuls 257 ne correspondaient à aucun identifiant du système AMIS. Les noms, les affiliations et les disciplines de recherche ont aussi été comparés pour confirmer les correspondances. Dans 98 cas, la correspondance a été jugée inexistante ou ambiguë. Les profils concernés ont été exclus des étapes suivantes. L’échantillon final comprenait 1 306 chercheurs affiliés à un établissement canadien et ayant un dossier de publications.

Limites : l’évaluation des données de la base de données du CVC du CRSH a montré qu’elles étaient représentatives de la situation géographique et de l’affiliation des chercheurs canadiens en sciences humaines. Cependant, environ 66 p. 100 des chercheurs qui utilisent le système du CVC sont en début de carrière. Ainsi, il existe un écart modeste mais significatif entre les données du système du CVC et celles du système AMIS quant à la moyenne d’âge, plus basse pour le premier. Qui plus est, le système du CVC compte une proportion de femmes et de francophones légèrement plus élevée, et les chercheurs qui y figurent participent en nombre limité – mais de manière plus fréquente que ceux du système AMIS – à la plupart des grandes occasions de financement du CRSH ce qui indique une différence équivalente dans la participation des deux populations aux programmes du CRSH. En outre, pendant le nettoyage des données, il est apparu que certains des chercheurs de l’échantillon du système du CVC ayant commencé en sciences humaines pourraient s’être plus tard réorientés en STGM. Puisque le dossier de publications ne tenait pas compte de la discipline, il est possible qu’un biais ait été introduit dans les résultats. L’échantillon n’a pas été ajusté, mais l’affiliation disciplinaire en sciences humaines et la représentation par stade atteint dans la carrière ont été confirmées plus tard, au moyen du sondage.

Compte tenu du biais en faveur des chercheurs plus jeunes, les données du système du CVC ont fait l’objet d’une analyse pondérée compensatoire, qui a donné lieu à une proportion de canaux de publication canadiens légèrement plus élevée que l’estimation initiale. Les résultats de cette analyse sont présentés plus haut, dans les constatations de l’évaluation.

Revues de la littérature et d’autres documents

L’évaluation a comporté cinq revues ciblées de la littérature évaluée par des pairs et d’autres documents. Trois d’entre elles, réalisées à la phase 1, visaient à cerner et à synthétiser les constatations pertinentes d’études précédentes portant sur l’ARS, lesquelles ont servi de preuves supplémentaires de la pertinence et de la contribution du programme. Elles ont aussi permis d’établir des indicateurs d’évaluation pour la phase 2. Les deux autres revues se sont plutôt intéressées à la question 5, qui portait sur les autres approches viables. La quatrième revue, effectuée à la phase 2, s’est concentrée sur l’EDI.

  1. Pertinence : analyse des écrits scientifiques et des documents des programmes de financement des publications savantes au Canada (n = 22)
  2. Contribution : analyse des évaluations et des études antérieures portant sur l’ARS et le PAES (n = 7)
  3. Autres approches viables : analyse des articles évalués par des pairs publiés de 2016 à mai 2019 et portant sur les interventions gouvernementales visant à favoriser la publication en libre accès (n = 69)
  4. Frais de traitement d’article : analyse des normes de référence internationales et des écrits sur les frais de traitement d’article pour la publication en libre accès dans les revues en sciences humaines (n = 7)
  5. EDI : analyse des documents du CRSH et des trois organismes sur l’EDI ainsi que des documents de programme de l’ARS et du PAES portant sur les objectifs et la collecte de données de suivi (n = 8)

Revue de la littérature : approches gouvernementales du financement du libre accès

Cette revue a porté sur des articles évalués par des pairs publiés de janvier 2016 à mai 2019Note de bas de page 70 qui décrivaient les approches de financement des organismes gouvernementaux visant explicitement à encourager la diffusion de la recherche en libre accès. Pour des raisons de pertinence et de faisabilité, l’analyse s’est limitée aux initiatives de financement, omettant les politiques.

La revue visait à regrouper, à l’intention des parties prenantes du programme, des renseignements descriptifs sur les questions ci-dessous.

Selon les données extraites d’articles évalués par des pairs récents,

  1. quelles grandes approches de financement les autres organismes gouvernementaux utilisent-ils pour promouvoir la diffusion de la recherche en libre accès?
  2. pourquoi emploient-ils ces approches (principales raisons signalées, s’il y a lieu)?
  3. quels sont les avantages et les inconvénients de chaque approche?

La revue de la littérature s’est faite en quatre étapes : analyse des titres (n = 286), analyse des résumés (n = 90), analyse de l’intégralité des textes (n = 80), analyse de ressources présentées dans la bibliographie des articles (n = 3). Au total, 69 articles ont été retenus.

Synthèse

Les données pertinentes ont été extraites des articles et saisies dans NVivo selon un cadre de codification prédéterminé. Elles ont ensuite été condensées en une matrice de visualisation des données permettant d’isoler l’information relative aux questions phares. Une synthèse descriptive des résultats a été rédigée en texte suivi à partir de cette matrice.

Limites

La qualité méthodologique des articles n’a pas été évaluée, et la revue ne comportait aucune comparaison analytique des contenus (entre les sources étrangères et canadiennes p. ex.). Certains des articles retenus étaient de simples commentaires, c’est-à-dire qu’ils n’étaient pas fondés sur des recherches empiriques. La revue ne comprenait ni analyse critique ni interprétation ou jugement évaluatif du contenu des articles et ne visait pas à formuler des recommandations.

Une grande partie de la littérature évaluée par des pairs traitant du libre accès et des interventions gouvernementales se concentre sur les sciences naturelles et les sciences de la santé, sans faire mention des sciences humaines. Les publications de cette catégorie ont été exclues, à moins qu’elles ne touchent aussi à d’autres champs de recherche ou nomment explicitement des politiques ou des programmes de financement canadiens. Cette mesure a été prise pour assurer la pertinence des résultats par rapport au CRSH et au domaine des sciences humaines. À noter toutefois que la plupart des articles retenus portent sur d’autres pays que le Canada; l’applicabilité au contexte canadien est incertaine.

Sondages

Trois sondages, destinés aux populations ci-dessous, ont été menés lors de la phase 2 de l’évaluation de l’ARS et du PAES :

  1. rédacteurs en chef de revues savantes canadiennes en sciences humaines,
  2. maisons d’édition universitaires canadiennes subventionnées par le PAES,
  3. chercheurs canadiens en sciences humaines ayant déjà publié dans une revue savante canadienne ou chez une maison d’édition canadienne.

Ces sondages visaient à compléter et à renforcer les résultats de la phase 1 en corrigeant les écarts de données et en déterminant si les facteurs isolés par l’analyse quantitative pouvaient être généralisés à tous les sous-groupes et toutes les populations à l’étude. Le sondage auprès des rédacteurs en chef n’avait trait qu’à l’ARS, et le sondage auprès des maisons d’édition, qu’au PAES. Le sondage auprès des chercheurs valait pour les deux occasions de financement.

Au total, 132 rédacteurs en chef ont rempli le sondage sur l’ARS, soit 46 p. 100 de la population totale estimée (n = 286). La marge d’erreur (à 95 p. 100) était de 6 p. 100, ce qui correspond à la norme pour les sondages.

Le nombre de chercheurs ayant répondu au sondage s’élevait à 314, soit 32 p. 100 de l’échantillon de population (n = 991). La marge d’erreur (à 95 p. 100) était de 5 p. 100, ce qui s’inscrit aussi dans la norme. Cette marge signifie que, si les résultats étaient généralisés à toute la population, ils se situeraient à plus ou moins 5 p. 100 de leur valeur actuelle. Toutefois, comme cela est indiqué plus haut, les deux populations sont hétérogènes, ce qui peut rendre la généralisation plus difficile pour certains sous-groupes.

Les sondages menés auprès des rédacteurs en chef et des chercheurs sont expliqués plus en détail ci-dessous.

Sondage mené auprès des rédacteurs en chef

Ce sondage a été envoyé aux rédacteurs en chef de revues savantes canadiennes en sciences humaines qui satisfaisaient aux critères d’admissibilité de base de l’ARS, dans la mesure où des coordonnées à jour ont pu être obtenues (n = 286).

Le sondage a connu plusieurs versions et a fait l’objet de deux séries d’entrevues pilotes, dont l’objectif était de renforcer la validité des processus de réponse. Une version modifiée a été présentée au Comité consultatif de l’évaluation, puis adaptée selon la rétroaction reçue. Les questions finales ont été traduites en français, puis programmées en janvier 2020 dans la plateforme d’hébergement de sondages en ligne canadienne Interceptum. Le sondage a été lancé officiellement le 24 janvier 2020 et est demeuré en ligne jusqu’au 25 février 2020.

Tableau 5. Taux de participation au sondage sur l’ARS mené auprès des rédacteurs en chef et marge d’erreur
Sondage sur l’ARS mené auprès des rédacteurs en chef
Population 286
Nombre de rédacteurs en chef exclus parce qu’ils n’avaient pas travaillé récemment pour une revue savante canadienne 2
Nombre de questionnaires non remplis 21
Nombre de questionnaires remplis 132
Pourcentage de questionnaires remplis 46 %
Marge d’erreur (à 95 %) 6 %

Sondage mené auprès des chercheurs

Ce sondage s’adressait aux chercheurs en sciences humaines affiliés à des établissements canadiens ayant déjà publié dans une revue ou chez une maison d’édition du Canada. Cette définition a permis d’interroger un échantillon suffisamment important pour analyser les différences possibles entre les sous-groupes en ce qui concerne l’utilisation de canaux de publication canadiens (selon divers facteurs : stade de la carrière, langue, discipline d’affiliation, etc.).

Compte tenu de la portée limitée de l’évaluation, l’échantillon de chercheurs provient de deux sources de données administratives :

  1. chercheurs canadiens en sciences humaines possédant un dossier de publications canadiennes dans la base de données du CVC du CRSH

    Afin d’estimer le nombre de répondants nécessaires pour le sondage, une étude pilote a été réalisée avec les données du CVC. À partir des résultats, un échantillon aléatoire simple de 1 500 chercheurs a été sélectionné dans la base de données pour représenter la population à l’étude. Les personnes qui n’étaient pas affiliées à un établissement canadien ou qui n’avaient pas de dossier de publications ont été exclues, ainsi que celles qui n’avaient jamais publié dans une revue ou chez une maison d’édition du Canada. L’échantillon définitif comptait 865 chercheurs.

  2. candidats au PAES de 2016 et 2017

    Ils ont été inclus dans l’échantillon pour assurer la représentation suffisante des chercheurs publiant leurs travaux chez des maisons d’édition canadiennes. Les années ont été choisies en fonction des délais d’édition, de sorte que les livres soumis aient eu le temps d’être publiés. Tous les candidats ont été inclus, qu’ils aient été retenus ou non. Fournies par la Fédération des sciences humaines, les données utilisées proviennent des dossiers administratifs du PAES (n = 522). Un total de 91 chercheurs ont été exclus, car ils n’étaient pas affiliés à un établissement canadien. L’échantillon restant a été coupé de moitié (n = 215), et 27 dossiers ont été supprimés parce qu’ils constituaient des doublons ou ne contenaient pas d’adresse courriel valide (n = 188).

Les listes du PAES et du CVC (n = 1053) ont été nettoyées afin d’éliminer les doublons avant de les fusionner. Elles ont aussi été comparées avec la liste du sondage sur l’ARS mené auprès des rédacteurs en chef pour que personne ne soit interrogé deux fois. Vingt-quatre doublons (n = 1029) ont été supprimés.

L’invitation initiale a donné lieu à 36 réponses automatiques de candidats en congé (sabbatique, parental, médical ou autre), et une adresse courriel s’est avérée invalide. L’échantillon restant, comprenant 933 chercheurs, a été envoyé à Ference & Company, responsable de l’administration du sondage.

Les questions utilisées ont été rédigées conjointement par Ference & Company et la Division de l’évaluation du CRSH en consultation avec le Comité consultatif de l’évaluation, de novembre 2019 à janvier 2020. Puisque la Division de l’évaluation et le Comité consultatif de l’évaluation comptent parmi leurs membres des chercheurs ayant déjà publié par l’entremise de canaux de publication canadiens, aucun test de validation n’a été effectué à l’externe. Les questions ont été traduites en français, puis programmées dans le logiciel de sondages en ligne Interceptum. Plusieurs séries de tests internes en ligne ont été réalisées dans les deux langues à la fin de janvier. Pendant ce même mois, le questionnaire anglais a été soumis à un chercheur canadien en sciences humaines à des fins de validation. Au début de février, cette étape a été répétée avec un chercheur francophone, pour la version française du sondage. Aucun changement n’a été nécessaire.

Le sondage a fait l’objet d’un prélancement le 14 février 2020, avant d’être officiellement lancé le 18 février 2020. Le 24 février et les 2 et 6 mars 2020, des rappels ont été envoyés par courriel aux personnes qui n’avaient pas encore répondu. Le sondage a pris fin le 10 mars 2020.

Environ le tiers (32 p. 100) des chercheurs de l’échantillon ont rempli le sondage dans son entièreté. Des répondants, 4 ont été exclus et 23 ne se sont pas rendus à la fin du questionnaire; leurs réponses ont été exclues des analyses. La marge d’erreur s’élève à 5 p. 100, ce qui signifie que, si les résultats étaient généralisés à toute la population, ils se situeraient à plus ou moins 5 p. 100 de leur valeur actuelle

Tableau 6. Taux de participation au sondage sur l’ARS et le PAES mené auprès des chercheurs et marge d’erreur
Sondage sur l’ARS et le PAES adressé aux chercheurs
Population (échantillon) 28 000 (991)
Nombre de chercheurs exclus parce qu’ils ne travaillaient pas dans le domaine des sciences humaines ou n’étaient pas affiliés à un établissement canadien 4
Nombre de questionnaires non remplis 23
Nombre de questionnaires remplis 314
Pourcentage de questionnaires remplis 32 %
Marge d’erreur (à 95 %) 5 %

Analyse des sondages

Réponses fermées

Les données ont été extraites de la plateforme de sondage au format Excel, avant d’être nettoyées et vérifiées en prévision de l’analyse dans SPSS, qui a été confiée à Ference & Company pour les questions fermées.

Tests de signification

Divers tests de signification ont été réalisés pour mesurer la variation dans les réponses au sondage adressé aux chercheurs, dont un test t pour échantillons indépendants, une analyse de variance à un critère de classification (ANOVA) et un test du chi carré de l’indépendance, dans SPSS.

Le sondage adressé aux rédacteurs en chef a été mené auprès d’une petite population finie, dont tous les membres ont été intégrés à la base d’échantillonnage. Là où la taille des sous-groupes n’atteignait pas le seuil minimal, des méthodes propres aux petits échantillons ou aux populations finies ont été appliquées (dont le test exact de Fisher et l’incorporation d’un facteur de correction d’échantillonnage pour population finie au sondage)Note de bas de page 71.

Réponses ouvertes

Les réponses aux questions ouvertes ainsi que les caractéristiques des répondants (identifiants uniques et sous-groupes d’appartenance p. ex.) ont été extraites de la plateforme de sondage au format Excel. Les données ont ensuite été importées dans NVivo aux fins d’analyse par la Division de l’évaluation du CRSH.

Une méthode inductive a été utilisée pour coder les données afin de les catégoriser par question d’évaluation. Une fois toutes les données codées, le contenu de chaque catégorie a été analysé pour en vérifier la cohérence interne et le caractère distinctif par rapport au contenu des autres catégories, ainsi que pour confirmer que l’étiquette de la catégorie était bien représentative de son contenu. Dans les cas où c’était nécessaire, les données d’une catégorie ont été désagrégées en sous-catégories pour améliorer la cohérence interne, certaines catégories qui n’étaient pas suffisamment distinctes ou qui comptaient trop peu de données ont été fusionnées, et les étiquettes ont été modifiées pour mieux refléter le contenu. Lorsqu’il était pertinent de comparer des sous-groupes, une requête de croisement a été utilisée pour dénombrer les références et les répondants (fréquences) par sous-groupe pour chaque catégorie.

Notes de bas de page

Note de bas de page 1

Voir Greenhalgh et coll. (2004); Best et Holmes (2010).

Retour à la référence de la note de bas de page 1 referrer

Note de bas de page 2

Le Comité consultatif de l’évaluation était formé d’agents de programme principaux (PAES et ARS), de trois membres d’office externes (un spécialiste de l’évaluation et rédacteur en chef de revue savante, un spécialiste du libre accès et de la bibliométrie, et des représentants de la Fédération des sciences humaines), un représentant de la Division de la stratégie et du rendement organisationnels du CRSH, le gestionnaire de l’évaluation du CRSH et un agent principal de l’évaluation.

Retour à la référence de la note de bas de page 2 referrer

Note de bas de page 3

Ce comité agit à titre de comité de mesure du rendement et de l’évaluation.

Retour à la référence de la note de bas de page 3 referrer

Note de bas de page 4

Cette période a été choisie en raison des changements considérables apportés à l’ARS en 2018.

Retour à la référence de la note de bas de page 4 referrer

Note de bas de page 5

Les autres entrevues portaient principalement sur le PAES, bien que certaines aient visé les deux (ex. : chercheurs).

Retour à la référence de la note de bas de page 5 referrer

Note de bas de page 6

Les revues offrant le libre accès immédiatement (voie dorée) peuvent toujours facturer des FTA, mais ces derniers posent parfois problème sur les plans de l’équité et de la viabilité (voir plus loin).

Retour à la référence de la note de bas de page 6 referrer

Note de bas de page 7

La base de données de CV communs canadiens (CVC) du CRSH contient des renseignements sur 4 631 chercheurs ayant déjà publié, soit environ 16 p. 100 des quelque 28 000 chercheurs en sciences humaines du Canada (Statistique Canada, 2015). L’estimation présentée ici est basée sur les données tirées d’un échantillon aléatoire de 1 306 chercheurs.

Retour à la référence de la note de bas de page 7 referrer

Note de bas de page 8

Le sondage a été réalisé auprès d’un échantillon de chercheurs qui avaient publié dans un canal canadien (annexe B).

Retour à la référence de la note de bas de page 8 referrer

Note de bas de page 9

F(2; 295) = 4,95, p = 0,012, suivant des comparaisons post-hoc avec la méthode de Tukey : chercheur en début de carrière (M = 3,73; écart-type = 1,09), chercheur établi (M = 3,29; écart-type = 1,10).

Retour à la référence de la note de bas de page 9 referrer

Note de bas de page 10

Répondants anglophones (M = 3,51; écart-type = 1,06); répondants francophones (M = 3,22; écart-type = 1,02), t(307) = 2,13, p = 0,35.

Retour à la référence de la note de bas de page 10 referrer

Note de bas de page 11

Les pourcentages présentés à la figure 3 ne totalisent pas 100 p. 100 puisque les réponses « Plus ou moins important » et « Je ne sais pas/sans objet » ont été omises.

Retour à la référence de la note de bas de page 11 referrer

Note de bas de page 12

Selon l’analyse de données qualitatives tirées des entrevues (n = 26) et de demandes pour l’ARS de 2008 à 2018 (n = 60).

Retour à la référence de la note de bas de page 12 referrer

Note de bas de page 13

Aux fins de comparaison, dans son sondage de 2014, Willinsky (2017) estimait à 57 931 $ le revenu annuel moyen des revues savantes canadiennes (sciences humaines et sciences, technologie et médecine) (n = 69).

Retour à la référence de la note de bas de page 13 referrer

Note de bas de page 14

Le Fonds Québécois de Recherche sur la Société et la Culture (FQRSC) finance certaines revues savantes en sciences humaines au Québec.

Retour à la référence de la note de bas de page 14 referrer

Note de bas de page 15

F(2; 65) = 6,96, p < 0,001. La valeur moyenne pour les revues de la voie dorée (M = 78,06; écart-type = 21,12) est beaucoup plus élevée que pour les revues en libre accès différé (M = 54,29; écart-type = 21,38) et hybride ou sans libre accès (M = 58,89; écart-type = 13,87), selon le test de Gabriel post hoc. À noter que l’interprétation est limitée en raison du petit nombre de revues subventionnées hybrides ou sans libre accès (n = 9), comparé aux revues de la voie dorée (n = 31) et aux revues en libre accès différé (n = 28).

Retour à la référence de la note de bas de page 15 referrer

Note de bas de page 16

Revues accessibles sur abonnement (M = 51,71; écart-type = 2,99); revues accessibles sans abonnement (M=73,33; écart-type = 16,92), t(57) = 4,69, p < 0,001.

Retour à la référence de la note de bas de page 16 referrer

Note de bas de page 17

Au moment du sondage, la période de trois ans représentait le nombre d’années avant le prochain concours de l’ARS.

Retour à la référence de la note de bas de page 17 referrer

Note de bas de page 18

Pour cette question, l’échelle de Likert compte trois catégories : « Excellentes » et « Très bonnes »; « Probables » et « Possibles »; « Peu probables » et « Improbables ». χ2(2; 262) = 5,77, p = 0,005; la signification statistique s’appuie sur le test F ajusté effectué avec le système d’échantillonnage complexe SPSS, en utilisant le facteur de correction d’échantillonnage pour population finie.

Retour à la référence de la note de bas de page 18 referrer

Note de bas de page 19

Les sous-groupes de revues subventionnées par l’ARS sont de petite taille : revues francophones (n = 19), revues bilingues (n = 17) et revues anglophones (n = 24).

Retour à la référence de la note de bas de page 19 referrer

Note de bas de page 20

Selon l’analyse de données qualitatives tirées des entrevues (n = 26) et des demandes à l’ARS de 2008 à 2018 (n = 60).

Retour à la référence de la note de bas de page 20 referrer

Note de bas de page 21

Les revues ayant obtenu une subvention seulement à la suite de certains concours (financement intermittent) déclarent en moyenne 0,63 ETP.

Retour à la référence de la note de bas de page 21 referrer

Note de bas de page 22

Test de Welch : F(2; 53,7) = 3 519, p = 0,037. Ce test a été utilisé parce que les données violent l’hypothèse d’homogénéité des variances. On a eu recours au test de Gabriel post-hoc en raison des différences de taille des sous-groupes.

Retour à la référence de la note de bas de page 22 referrer

Note de bas de page 23

Pour Statistique Canada, un ETP représente 1 560 heures (30 h/sem., 52 sem./année).

Retour à la référence de la note de bas de page 23 referrer

Note de bas de page 24

χ2(2; 129) = 7,83, p = 0,020.

Retour à la référence de la note de bas de page 24 referrer

Note de bas de page 25

Les tests du χ2 n’ont pas produit de résultats significatifs, la petite taille des sous-groupes limitant la réalisation de tests statistiques.

Retour à la référence de la note de bas de page 25 referrer

Note de bas de page 26

Ces renseignements sont tirés d’une analyse documentaire sur le financement gouvernemental des revues visant à promouvoir le libre accès (n = 69). Seuls deux articles de recherche portaient sur des revues canadiennes. Certaines des études concernées viennent d’autres pays ou portent sur d’autres pays, dont la Norvège, la Finlande, le Brésil et l’Espagne.

Retour à la référence de la note de bas de page 26 referrer

Note de bas de page 27

Par contre, d’autres conditions sont requises : les revues ne doivent pas sentir qu’elles risquent fort de perdre leur financement et doivent avoir accès à une infrastructure de libre accès (ex. : plateformes en libre accès) abordable.

Retour à la référence de la note de bas de page 27 referrer

Note de bas de page 28

Voir la déclaration des trois organismes sur l’EDI .

Retour à la référence de la note de bas de page 28 referrer

Note de bas de page 29

Selon l’analyse de données qualitatives tirées des entrevues (n = 26) et de demandes pour l’ARS de 2008 à 2018 (n = 60).

Retour à la référence de la note de bas de page 29 referrer

Note de bas de page 30

χ2(6; 132) = 8,81, p = 0,013; la signification repose sur le test F ajusté au moyen du facteur de correction d’échantillonnage pour population finie.

Retour à la référence de la note de bas de page 30 referrer

Note de bas de page 31

À noter : les trois catégories les plus populaires correspondent au texte explicatif fourni aux répondants (rédacteurs en chef, sujets, auteurs). Autrement dit, ce texte a pu influencer l’importance accordée à ces volets par les répondants.

Retour à la référence de la note de bas de page 31 referrer

Note de bas de page 32

Selon la langue choisie pour remplir le sondage. On a aussi demandé aux chercheurs quelle langue ils utilisaient le plus souvent au travail. De ceux qui ont déclaré utiliser principalement le français (n = 73), 55 p. 100 disent rencontrer certains obstacles sur le plan linguistique, contre 61 p. 100 pour ceux qui disent utiliser autant le français que l’anglais (n = 21) et 7 p. 100 pour ceux qui n’utilisent que l’anglais (n = 220).

Retour à la référence de la note de bas de page 32 referrer

Note de bas de page 33

 t(103) = 5,62, p < 0,001.

Retour à la référence de la note de bas de page 33 referrer

Note de bas de page 34

Parmi les contraintes importantes mentionnées, on note aussi le nombre de soumissions de qualité reçues, qui fluctue selon la réputation des revues. Certains participants (n = 7) ont aussi avancé qu’il existerait un lien indirect entre le statut de financement par l’ARS et la réputation d’une revue.

Retour à la référence de la note de bas de page 34 referrer

Note de bas de page 35

Commentaires des rédacteurs en chef (n = 8) et des gestionnaires de programmes (n = 3).

Retour à la référence de la note de bas de page 35 referrer

Note de bas de page 36

Les critères et les sous-critères d’examen sont présentés dans le profil du programme, à l’annexe A.

Retour à la référence de la note de bas de page 36 referrer

Note de bas de page 37

Les réponses ont été divisées en trois catégories : entièrement et plutôt d’accord; modérément d’accord et modérément en désaccord; et plutôt en désaccord et entièrement en désaccord. La signification statistique a été mesurée pour chacune selon la correction d’échantillonnage pour population finie (n = 121). Capacité financière à sélectionner des pairs évaluateurs spécialisés : χ2(4 121) = 11,415; p < 0,01. Capacité financière à assurer le traitement rapide de tous les manuscrits : χ2(4 121) = 7,235; p = 0,01.

Retour à la référence de la note de bas de page 37 referrer

Note de bas de page 38

Les données administratives de 2018 n’étaient pas disponibles pour cette question.

Retour à la référence de la note de bas de page 38 referrer

Note de bas de page 39

Puisqu’il s’agissait d’un recensement et non d’un échantillon, on n’a pas effectué de test statistique.

Retour à la référence de la note de bas de page 39 referrer

Note de bas de page 40

Les données détaillées sur les soumissions n’ont pas pu être obtenues pour les demandes de 2018.

Retour à la référence de la note de bas de page 40 referrer

Note de bas de page 41

La taille du sous-groupe comprenant les autres revues (financement intermittent et aucun financement) varie d’une année à l’autre : 2008, n = 24; 2011, n = 55; 2014, n = 53.

Retour à la référence de la note de bas de page 41 referrer

Note de bas de page 42

Puisqu’il s’agissait d’un recensement, on n’a pas effectué de test statistique.

Retour à la référence de la note de bas de page 42 referrer

Note de bas de page 43

Traduction gratuite des résumés ou des textes complets : χ2 (4, N = 132) = 13,549; p = 0,009. Mise en compatibilité du texte des articles : χ2 (4, N = 132) = 14,843; p = 0,005. Mise en compatibilité des métadonnées : χ2 (4, N = 132) = 11,225; p = 0,024. Utilisation d’un système permettant de préserver l’accès aux articles si la revue cesse ses activités, une fois le facteur de correction d’échantillonnage pour population finie appliqué : χ2 (4, N = 132) = 3,719; p = 0,005.

Retour à la référence de la note de bas de page 43 referrer

Note de bas de page 44

Options de réponse : voie dorée, libre accès différé, modèle hybride, autre et aucun. Définitions dans le glossaire.

Retour à la référence de la note de bas de page 44 referrer

Note de bas de page 45

Test exact de Fisher (test bilatéral) : p < 0,001.

Retour à la référence de la note de bas de page 45 referrer

Note de bas de page 46

Plus de la moitié des revues non subventionnées (58 p. 100) font partie du groupe d’âge plus jeune.

Retour à la référence de la note de bas de page 46 referrer

Note de bas de page 47

χ2 (2, N = 132) = 19,444; p < 0,001.

Retour à la référence de la note de bas de page 47 referrer

Note de bas de page 48

χ2 (2, N = 132) = 47,103; p < 0,001.

Retour à la référence de la note de bas de page 48 referrer

Note de bas de page 49

Les 4 p. 100 restant ont dit ne pas savoir. Ces chiffres sont cohérents avec les résultats des entrevues avec les répondants clés de revues subventionnées (n = 8), selon lesquelles la moitié des rédacteurs en chef étaient en processus de transition vers un modèle de libre accès à la suite des changements de 2018 et l’autre moitié utilisait déjà un tel modèle.

Retour à la référence de la note de bas de page 49 referrer

Note de bas de page 50

La question exacte était : « Avez-vous déjà publié un article de revue par la voie dorée (c’est-à-dire que la version publiée de l’article était immédiatement et gratuitement mise à la disposition de tous sur le site Web de la revue)? »

Retour à la référence de la note de bas de page 50 referrer

Note de bas de page 51

χ2(2, 117) = 9,253; p = 0,01.

Retour à la référence de la note de bas de page 51 referrer

Note de bas de page 52

La plupart de ces revues utilisent un modèle de libre accès hybride.

Retour à la référence de la note de bas de page 52 referrer

Note de bas de page 53

Les montants originaux allaient de 2 500 à 4 500 dollARS canadiens. Ils ont été convertis selon le taux de change du 31 janvier 2020 (0,7555) à des fins de comparaison avec les données internationales.

Retour à la référence de la note de bas de page 53 referrer

Note de bas de page 54

Les autres revues requéraient un abonnement (n = 7) ou utilisaient un modèle de libre accès différé (n = 1).

Retour à la référence de la note de bas de page 54 referrer

Note de bas de page 55

La moyenne a été calculée selon le taux de change en vigueur au moment de la collecte de données (30 juin 2020), soit 0,7366, à des fins de comparaison avec les données internationales.

Retour à la référence de la note de bas de page 55 referrer

Note de bas de page 56

Les concours se sont tenus en 2014 et 2018.

Retour à la référence de la note de bas de page 56 referrer

Note de bas de page 57

Le rapport est disponible sur demande.

Retour à la référence de la note de bas de page 57 referrer

Note de bas de page 58

Sherpa Juliet—Research Funders’ Open Access Policies.

Retour à la référence de la note de bas de page 58 referrer

Note de bas de page 59

La politique interorganismes favorise la voie verte.

Retour à la référence de la note de bas de page 59 referrer

Note de bas de page 60

Declaration on Research Assessment (DORA).

Retour à la référence de la note de bas de page 60 referrer

Note de bas de page 61

Leur principale autre source de revenus – les FTA – pose des problèmes d’équité, coûte de plus en plus cher aux bailleurs de fonds et constitue un fardeau administratif pour les établissements.

Retour à la référence de la note de bas de page 61 referrer

Note de bas de page 62

Voir l’annexe A. Ex. : « Diversité et pertinence des stratégies proposées par la revue pour rejoindre le lectorat approprié ».

Retour à la référence de la note de bas de page 62 referrer

Note de bas de page 63

Renseignements supplémentaires, DORA.

Retour à la référence de la note de bas de page 63 referrer

Note de bas de page 64

Changements à l’occasion de financement Aide aux revues savantes.

Retour à la référence de la note de bas de page 64 referrer

Note de bas de page 65

Lignes directrices et exigences en matière d’admissibilité des établissements.

Retour à la référence de la note de bas de page 65 referrer

Note de bas de page 66

Information sur la Politique des trois organismes sur le libre accès aux publications et son utilisation par le CRSH.

Retour à la référence de la note de bas de page 66 referrer

Note de bas de page 67

Les demandes pour ces trois concours ont été soumises au format numérique et étaient donc compatibles avec NVivo. Celles de 2008 ont dû être intégrées manuellement, tel qu’il est expliqué plus bas.

Retour à la référence de la note de bas de page 67 referrer

Note de bas de page 68

Les données de participation aux programmes principaux du CRSH qui ont été comparées visaient les candidats et les cocandidats aux initiatives Savoir et Connexion ainsi qu’aux subventions de partenariat.

Retour à la référence de la note de bas de page 68 referrer

Note de bas de page 69

Statistique Canada. Tableau 27-10-0022-01 : Personnel affecté à la recherche et au développement selon le secteur d’exécution et la catégorie professionnelle.

Retour à la référence de la note de bas de page 69 referrer

Note de bas de page 70

Cette période a été établie pour tenir compte du fait que les articles évalués par les pairs publiés en 2016 sont vraisemblablement basés sur des données remontant à 2013 ou 2014, soit plus de cinq ans avant la présente évaluation. Puisque la technologie évolue rapidement, il vaut mieux s’en tenir à des données plus récentes.

Retour à la référence de la note de bas de page 70 referrer

Note de bas de page 71

Une correction d’échantillonnage pour population finie peut être appliquée aux estimations de la variance lorsqu’un échantillonnage sans remise a été réalisé sur une population finie. Cette méthode est appliquée quand un échantillon ne couvre pas l’entièreté de la population finie, mais représente tout de même une fraction de sondage importante (c.-à-d. que le nombre de répondants couvre une grande portion de la population). Pour un recensement complet, le facteur de correction est égal à 0, et pour un échantillon d’une très grande population, il est très proche de 1. Celui du sondage aux rédacteurs en chef a été calculé selon la formule suivante : √ ((N ‑ n)/(N ‑ 1)) = 0,74. Voir Lohr, 2009, ou l’adresse Finite Population Correction (FPC) Factor.

Retour à la référence de la note de bas de page 71 referrer