Afin de mesurer efficacement l’incidence des REL, les scientifiques dans le domaine ont élaboré des cadres d’évaluation. Dans cette section, nous en examinerons quelques-uns qui serviront de fondement aux prochaines analyses du guide. Trois cadres ressortent comme les plus populaires : Le cadre COUP, le cadre S3 et le cadre « Investment to Impact » (investissement par rapport aux retombées)^[1].

Cadre COUP

Bliss, Robinson, Hilton et Wiley (2013) proposent le cadre COUP comme modèle d’étude de l’incidence des ressources éducatives libres (REL) et de la pédagogie ouverte aux niveaux secondaire et postsecondaire. COUP signifie :

• Coûts : Quelles sont les retombées financières de l’adoption des REL pour la population étudiante et les autres parties intéressées?
• Résultats (outcomes) : Quels sont les effets des REL sur le rendement scolaire?
• Usage : Comment les membres de la population étudiante et du corps professoral utilisent-ils les REL?
• Perceptions : Que pensent la population étudiante et le corps professoral des REL?

John Hilton III (2017) fait un excellent résumé de quelques études menées à l’aide du cadre COUP, qu’il décline en catégories dans Special Issue: Outcomes of Openness: Empirical Reports on the Implementation of OER. Ce cadre est très utilisé dans le domaine, puisque nombre de spécialistes s’entendent pour dire que le cadre COUP couvre quatre aspects importants de la recherche sur les REL (Clinton, 2019).

Cadre S3

Ce cadre (Wiley, 2020) propose trois composantes pour évaluer l’incidence des REL : succès, portée et économies. Wiley explique comment on mesure chacune de ces composantes.

1. Succès : Ce cadre utilise les cotes alphabétiques comme indicateur de succès. Wiley suggère de comparer les moyennes des sessions précédant la mise en œuvre des REL à celles des sessions la suivant, précisant que des données de multiples sessions offrent une mesure stable.
2. Portée : Wiley explique que la portée est déterminée par le nombre d’inscriptions aux sections de cours offrant des REL. Ce nombre comprend le total d’inscriptions dans toutes les sections du cours, comme Introduction à la psychologie au moyen de REL, de même que le total d’inscriptions à des portions particulières de ces cours.
3. Économies : Les économies constituent le dernier élément du cadre. Wiley souligne que « lorsqu’il est fait avec exactitude, le calcul des économies tient compte de plusieurs facteurs », notamment les différents coûts du matériel pédagogique et les cas de dépenses nulles en matériel de cours. On évalue les économies en comparant les dépenses moyennes d’un groupe qui utilise des REL à celles d’un groupe témoin.

Le cadre S3 s’intéresse à trois questions :

1. À quel point cette innovation améliore-t-elle le rendement scolaire?
2. Combien de personnes étudiantes profitent de cette innovation?
3. Combien d’argent ces personnes économisent-elles grâce à cette innovation?

Cadre Investment to Impact (investissement par rapport aux retombées)

Ebner et coll. (2022) offre un bon aperçu de certaines études sur l’incidence des REL, qui comprend une étude de Jenkins et coll. (2020), dont les conclusions montrent que les REL peuvent améliorer la justice sociale aux études supérieures.

À l’issue d’une excellente revue de la littérature, Ebner et coll. (2022) relèvent ce qu’ils considèrent comme de « nouvelles données importantes » sur l’évaluation de l’incidence des REL :

• Diversité de visées des REL dans les universités
• Invisibilité de la réutilisation
• Omission des innovations
• Différences dans l’infrastructure des REL et maturité de la mise en œuvre
• Grandes disparités méthodologiques
• Visualisation et présentation des résultats

Ebner et coll. (2022) proposent un cadre pour l’évaluation de l’incidence des REL fondé sur leurs recherches. Ils soulignent l’importance de définir clairement les REL et de distinguer les façons de les évaluer. Ils utilisent la définition des REL de l’UNESCO (2019). Leur cadre est également clairement lié aux pratiques éducatives ouvertes. Ebner et coll. suggèrent une approche pratique pour amorcer ce travail, soit d’examiner les politiques en matière de REL ou les stratégies semblables à la recherche de visées, d’arguments ou d’objectifs liés aux REL. Ce cadre offre une bonne argumentation pour aider les établissements à comprendre qu’il n’existe pas une seule façon de mesurer l’incidence; en effet, il présente divers aspects auxquels on doit penser dans un contexte précis, que ce soit à l’échelle institutionnelle ou géographique. Il aide les responsables de la recherche à déterminer les objectifs spécifiques des REL dans leur établissement et à déterminer le public cible.

Analyse des cadres

Selon nos conclusions, les cadres S3 et COUP sont trop portés sur les aspects quantitatifs et examinent les effets après coup, plutôt que de préparer l’évaluation de l’incidence lors de la planification du projet. Le cadre Investment to Impact propose une approche globale pour examiner les effets complexes des REL aux études supérieures, qui dépendent souvent du contexte. Ebner et coll. (2022) présentent ce cadre en insistant sur l’importance de considérer l’efficacité des REL non pas en aval, mais plutôt en amont, dès la planification, dès les débuts du projet, et de la faire correspondre à vos propres objectifs ou recherches et à l’évaluation de l’efficacité par rapport à leur propre vision et à leurs propres objectifs.

Au cours de l’analyse des recherches existantes sur l’efficacité des REL, nous avons découvert des thèmes intéressants. La prochaine section aborde en profondeur les principaux thèmes observés.

Économies de coûts

L’une des principales observations tirées de la recherche pour le guide porte sur la présentation de l’histoire de l’efficacité des REL. L’approche narrative est un élément essentiel de la recherche sur l’efficacité des REL. La façon dont vous parlez du travail que vous avez fait et dont vous le décrivez est importante, car elle influence vos décisions. Comme nous le mentionnons dans le Guide Rebus sur la publication de manuels libres (à ce jour), « la mise en récit est un outil important qui vous aide à indiquer les personnes, l’objectif et la vision de votre travail ». Nous adhérons à l’idée que les histoires sont un ensemble de connexions ».

Bon nombre d’articles que nous avons lus montrent que les REL favorisent une réduction des coûts pour la population étudiante, facilitent l’accès au matériel et améliorent les perceptions à leur égard (de la population étudiante et des membres du personnel enseignant). C’est un gain important dans l’éternel combat pour rendre l’éducation plus accessible et plus abordable. Les cadres qui mettent en avant l’importance des REL dans la réduction des coûts pour la population étudiante et les établissements ne répondent-ils pas toujours à la question « pourquoi est-ce essentiel? » Autrement dit, quel est le prochain chapitre de l’histoire de la réduction des coûts? Quelles sont les retombées ou quel est l’effet boule de neige? Quelles seront les répercussions financières à long terme?

Nous soulevons des questions similaires dans le Guide Rebus sur la publication de manuels libres (à ce jour) : « étant donné le soin et la considération qui ont conduit à la création de REL selon une approche centrée sur les étudiant.e.s et l’équité, peut-on poursuivre dans la même voie et explorer d’autres méthodes d’évaluation autre que les notes? » Si on étaye le raisonnement selon la perspective de l’économie des coûts, d’autres protagonistes peuvent-ils raconter différemment la même histoire et offrir un point de vue plus nuancé?

Manque de perspectives issues de la justice sociale

Rares sont les articles analysant l’efficacité des REL selon un point de vue de justice sociale.

Lambert (2018), Colvard et coll. (2018), Figlio, Rush, et Yin (2013), et Levy et Tila (2022) font partie de ceux qui se sont intéressés aux retombées des REL pour la communauté étudiante.

Levi et Tila (2022) ont constaté après avoir ventilé les données que les obstacles liés au prix élevé des manuels étaient encore plus importants pour les groupes généralement mal desservis, surtout en ce qui concerne le stress, la rentrée, le choix de cours et les résultats scolaires. Par conséquent, l’effet négatif et disproportionné du coût du matériel pédagogique pour les personnes étudiantes traditionnellement mal desservies souligne encore une fois que l’accès à des manuels abordables est une question de justice sociale et de redistribution juste (p. 10).

Si vous avez répondu non, que pouvez-vous faire différemment pour intégrer cette approche dans vos recherches? (Si c’est par manque de connaissances, pensez à collaborer avec des membres de la communauté ouverte qui ont de l’expérience dans ces domaines, en particulier une expérience vécue. Néanmoins, tenez compte de la charge de travail de l’échange d’information. Payez les gens équitablement et faites entendre leur voix plutôt que de vous approprier leurs connaissances.) Comme le soulignent Jenkins et coll. (2018), une si importante lacune de connaissances sur les REL confirme le désintérêt du système d’enseignement supérieur envers les personnes étudiantes traditionnellement mal desservies et néglige aussi la possibilité d’offrir un accès abordable aux manuels afin de promouvoir des valeurs de justice sociale. »

Dans l’article Using open educational resources to promote social justice, Ivory et coll. (2022) brossent un aperçu d’autres failles en matière de justice sociale, hormis l’abordabilité et l’accès. Ils précisent que le domaine de l’éducation libre a bien cerné la question de l’accès au matériel pédagogique, mais que la participation et la représentation de la diversité dans les REL accusent un retard. De plus, Ivory et coll. (2022) font remarquer qu’il est courant en Occident de penser que notre savoir est unique et que, par conséquent, nous nous sentons parfois obligés de mettre en lumière celui des autres au lieu de les laisser exprimer eux-mêmes leurs expériences et points de vue.

Visions du monde manquantes

La majorité des cadres étudiés portaient surtout sur l’Amérique du Nord. Alors que les études nord-américaines analysent souvent des contextes des pays nordiques, elles tendent à mettre aux oubliettes beaucoup d’idées, d’innovations et d’inspirations provenant des travaux sur les REL réalisés ailleurs dans le monde (en particulier en Afrique et en Asie). C’est malheureux, car ces visions du reste du monde favoriseraient :

• une définition uniforme des REL et de leur efficacité;
• une meilleure compréhension des réalisations et des défis communs;
• un avenir commun, non axé sur la blanchité, pour les REL (à la fois dans le contenu et les pratiques) et l’équité pour tous.

Le rapport Understanding the impact of OER : Achievements and Challenges de l’UNESCO évalue la mise en œuvre et l’utilisation des REL dans différents pays du monde et braque les projecteurs sur les défis et les réalisations. Étonnement, plusieurs pays font face aux mêmes enjeux. Une collaboration serait peut-être de mise pour mieux résoudre ces problèmes.

Les données des pays étudiés montrent que les REL ne sont pas acceptées à grande échelle dans le monde. Elles ne sont pas intégrées dans les systèmes éducatifs, car les projets en ce sens sont souvent considérés comme des démarches indépendantes. Au lieu d’être un élément clé d’une stratégie de développement et d’utilisation de matériel pédagogique, les projets en matière de REL sont souvent relégués au second rang; ce sont des compléments.

Les personnes interrogées ont noté qu’il fallait se pencher sur plusieurs questions et problèmes de recherche importants en ce qui concerne les REL dans leur pays. Les thèmes à explorer regroupaient l’efficacité pédagogique, la compréhension des coûts et la conception de REL viables, l’élaboration et la mise en œuvre de politiques et l’amélioration de la variété des REL. Des connaissances approfondies sur ces différents éléments permettraient de brosser un tableau plus complet de l’efficacité des REL dans ces régions et, par conséquent, de comparer les thèmes et les modèles entre les régions.

Compte tenu de la portée mondiale de l’éducation libre, il est essentiel de collaborer et d’intégrer des réseaux de connaissances internationaux afin d’élargir nos perspectives sur l’éducation en les examinant, en les remettant en question et en les améliorant selon les points de vue uniques de différentes cultures, religions et régions. Cette façon de faire permet de varier les points de vue dans le matériel pédagogique et de veiller à ce que la population étudiante (et le personnel enseignant de façon générale) y soit représentée.

Si vous avez répondu non à la question, comment pouvez-vous modifier votre approche pour intégrer cette méthodologie dans votre recherche?

En examinant les thèmes et les tendances qui se dégagent de notre recherche, il est devenu évident que ces informations ne nous offrent pas que de simples observations, mais bien des occasions d’amélioration. Il convient de noter que les thèmes récurrents sont particulièrement centrés sur l’humain, ce qui renforce le rôle crucial de l’expérience humaine et de la collaboration dans le contexte plus large de l’éducation libre.

Bien que certaines études commencent à se pencher sur des facteurs qui vont au-delà des mesures traditionnelles de réussite, il est possible d’aller encore plus loin que les économies de coûts. Il s’agit non seulement d’intégrer des visions du monde dans le matériel de REL, les méthodologies et la recherche qui s’y rapporte, mais aussi de veiller à ce qu’on prenne le point de vue de la justice sociale.

Selon McCoy-Simmons (2022), « une approche unique des REL est irréaliste », puisque de nombreuses personnes apprenantes ont encore des difficultés aux études supérieures, et ces obstacles peuvent être très variés d’un département, d’un établissement ou d’une région à l’autre. « Par exemple, si le fait de se doter d’une politique sur les REL peut être un bon premier pas vers une mise en œuvre des REL dans un établissement, une telle étape peut nuire au processus dans un autre établissement, où la relation de confiance par rapport à l’administration est moins solide, ou dans un milieu qui privilégie une approche ascendante (Cox et Trotter, 2016). »

Le concept de personnalisation des approches de l’efficacité des REL (et des REL en général) est souvent ressorti dans les recherches qui ont mené à la rédaction de ce guide. L’approche unique n’est pas réaliste. Ce qui fonctionne dans un établissement peut ne pas fonctionner ailleurs. Beaucoup de personnes des milieux de l’éducation et de la recherche ont consacré leur temps à cette question. Selon Grimaldi et coll. (2019), le succès d’une intervention « dépend presque toujours du contexte de sa mise en œuvre. » (2019)

Ebner et coll. (2022) insistent sur l’importance de concevoir des mesures d’évaluation qui tiennent compte des aspects propres aux activités de REL. Les auteurs recommandent que les personnes des milieux de l’éducation et de la recherche et les gestionnaires qui souhaitent définir clairement les buts et objectifs des REL d’un établissement examinent les politiques actuelles en matière de REL et les méthodes d’évaluation de leur efficacité. Adaptez votre recherche au contexte unique de votre établissement afin qu’il soit aligné sur sa vision et ses objectifs. Les adeptes des REL devraient adapter leur message selon le public et les décisions à prendre (Zaback, 2022).

Pour entraîner des changements substantiels, vous devez créer des liens et collaborer de façon organisée. Étendez votre réseau bien au-delà de votre région – le mouvement pour l’éducation ouverte est un mouvement mondial; nous pouvons apprendre beaucoup les uns des autres en faisant part de nos expériences.

Voici une citation tirée de Faire des vagues : guide pour remettre en question le statu quo dans la création des REL : « Individuellement, nous ne sommes qu’une goutte. Ensemble, nous formons un océan. » (Ryunosuke Satoro) Individuellement, notre aptitude à changer substantiellement les systèmes d’éducation est limitée par nos ressources et nos capacités. Toutefois, nous pouvons travailler en équipe pour augmenter notre pouvoir en tant que groupe!

Le plus beau dans tout ça? En collaborant et en unissant nos talents, nos compétences et nos points de vue, nous pouvons augmenter considérablement la force du collectif. En équipe, nous pouvons tirer profit d’un effort concerté agile nous permettant, forts d’une diversité de points de vue, de compétences et de ressources, de développer des stratégies multidimensionnelles. Cet effort concerté nous permet d’aborder des questions éducatives complexes sous différents angles, ce qui se traduit ultimement en de grandes retombées.

La Coalition de l’édition savante et des ressources académiques (SPARC) est un bon exemple de travail collaboratif. Bien que son siège soit en Amérique du Nord, la SPARC a des coalitions en Afrique, en Europe et au Japon, ainsi que des organismes membres en Australie, à Hong Kong et en Arabie saoudite. La SPARC s’appuie sur un réseau international pour promouvoir le changement de politiques, soutenir les actions de ses membres et développer des communautés dont le travail vise à examiner les façons dont le colonialisme, le racisme et d’autres formes d’injustice ont exclu des personnes et des groupes de la transmission des savoirs.

Bien qu’il soit intéressant d’avoir des données et des conversations sur les économies réalisées par la communauté étudiante grâce aux REL, il est également nécessaire d’améliorer les conditions matérielles afin de favoriser l’épanouissement de la population étudiante et des communautés. Selon Zaback (2022), le risque de s’intéresser uniquement aux économies de coûts de la communauté étudiante est de perpétuer les inégalités existantes; c’est pourquoi il est « impératif que les décisionnaires des États et des établissements créent des environnements où la population étudiante bénéficie d’un accès équitable aux ressources matérielles nécessaires à son succès. »

La vie est complexe et, comme l’a dit Audre Lorde, « personne ne vit qu’un seul problème ». L’idée, donc, que de s’intéresser uniquement aux économies ou aux résultats scolaires des personnes étudiantes améliorera leur expérience d’apprentissage est quelque peu fallacieuse. Soit, les REL peuvent entraîner de bons résultats scolaires et des économies de coûts. Cela dit, les personnes étudiantes se sentent-elles plus en sécurité en classe? Sur le campus? Dans leur communauté? Hoosen et coll. (2019) rappellent qu’« on ne peut pas analyser les REL hors contexte, ni continuer à concevoir et à utiliser des REL sans garder la justice sociale à l’esprit. » Il doit également y avoir un effort collectif pour faire évoluer le discours de l’écosystème éducatif large afin de révéler le plein potentiel de l’éducation libre.

Le besoin de mener des recherches sur l’efficacité des REL dans une perspective d’équité est extrêmement important. Avec les changements législatifs opérés en 2023 dans de nombreux pays, on peut comprendre que beaucoup craignent pour leur sécurité personnelle et hésitent à réclamer l’équité dans plusieurs domaines, y compris l’éducation. Cela dit, il est de la plus haute importance que le personnel enseignant, particulièrement les personnes privilégiées en position de pouvoir, adopte une approche équitable de l’éducation libre dans son ensemble, de la conception de programmes et de ressources à la recherche, la pédagogie et la pratique.  Abordez la reddition de comptes et la recherche du point de vue de la justice sociale. Nommez explicitement les inégalités structurelles sans tourner autour du pot!

McDermott (2020) avance que l’avenir de la recherche sur l’efficacité des REL pourrait comporter plus de données qualitatives pour inclure les voix étudiantes, et que la littérature gagnerait à être enrichie de recherche-action, une méthodologie basée sur l’action et la réflexion qui s’harmonise bien avec les approches de pédagogie critique.

Il existe différentes façons de mesurer l’efficacité des REL, que ce soit à l’échelle de la classe ou de l’État, d’où l’importance d’opter pour une approche à plusieurs volets. Il faut garder en tête que ces approches peuvent se chevaucher, selon le lieu et le contexte. Voici quelques grandes catégories qui visent simplement à vous aider à réfléchir à différentes façons de mesurer l’effet des REL à différents niveaux d’éducation.

Comment évaluer l’efficacité à différents niveaux? En classe? En tant que gestionnaire de projet de REL? Comment examiner l’efficacité à différents niveaux tout en tenant compte de l’équité? Comme nous l’avons vu plus tôt, ces grandes catégories offrent des exemples d’approches pour mesurer l’efficacité des REL provenant de différentes régions, desquelles vous pouvez vous inspirer. Selon votre contexte, certaines de ces catégories peuvent se chevaucher, comme les projets de REL et l’échelle de l’État, de la province ou du territoire.

 

Figure 5 : Niveaux d’efficacité des REL

La majorité des recherches concluent que non seulement les REL entraînent des économies pour les personnes étudiantes, mais elles leur permettent aussi d’avoir accès aux ressources éducatives plus tôt qu’avec les manuels traditionnels, et s’accompagnent de taux plus bas d’abandon aux études postsecondaires (Clinton et Khan, 2019). Levy et Tila (2022) font valoir l’importance de prendre également en compte l’attention parmi ces avantages. S’appuyant sur d’autres travaux de recherche en éducation, les auteures avancent que « les personnes étudiantes sont plus susceptibles d’être motivées, de participer et de mieux performer dans un cours lorsqu’elles sentent que leur professeur.e se soucie d’elles ». Cela dit, comment mesurer l’attention dans un compte rendu sur l’incidence des REL?

Miser sur l’approche narrative est une façon de faire efficace. Après tout, votre recherche raconte une histoire; c’est pourquoi adopter intentionnellement une approche narrative pour faire part de conclusions à la communauté ouverte peut inspirer le lectorat et générer de la curiosité, de la motivation, des convictions et un sentiment de fierté l’incitant à l’action. Dans vos recherches, rapports et présentations sur l’efficacité, commencez par mettre l’accent sur le caractère unique de votre approche. Comme mentionné dans les conseils pour la préparation de la publication dans le Guide Rebus sur la publication de manuels libres (à ce jour), il est essentiel de construire un récit qui plonge dans la naissance de l’idée, la nature du produit final, et toutes les bonnes raisons pour lesquelles il suscite de l’intérêt. Autrement dit, en quoi votre approche et votre contenu se démarquent-ils du lot?

Soulignez les efforts de collaboration de l’équipe qui vous entoure, et proposez des avenues pour que les gens puissent apprendre et se perfectionner grâce à vos recherches. Nous vous encourageons à profiter de l’occasion pour mener une réflexion critique en profondeur sur les histoires, les règles, la représentation et les modes de savoir dans vos interactions quotidiennes et dans votre domaine. Le guide Faire des vagues : guide pour remettre en question le statu quo dans la création des REL souligne également l’importance de diffuser ses découvertes. Comme l’a dit Maya Angelou : « Si vous apprenez, enseignez. Si vous recevez, donnez. »

Encourager les gens à diffuser leurs histoires permet d’assembler une mosaïque de savoirs et de points de vue pour créer un paysage narratif robuste et puissant. Non seulement cette approche nous permet-elle d’apprendre, mais elle permet également de cultiver l’empathie et la compréhension, et de générer des changements constructifs dans nos communautés et dans la société entière.

Les recherches menées dans le cadre du guide ont jeté la lumière sur les limites et l’étroitesse de la portée de la recherche sur l’efficacité des REL à ce jour. Ce constat constitue un retentissant appel à l’action visant à motiver le personnel enseignant, les gestionnaires et les autres parties prenantes qui travaillent sur des projets de REL à jouer un rôle majeur dans ce domaine d’étude essentiel.

De toute évidence, bien que la recherche actuelle sur l’efficacité des REL porte certains avantages, nous pourrions explorer davantage l’incidence des REL et nous appuyer sur celle-ci pour apporter de manière plus générale des changements structurels dans le domaine de l’éducation.