Accueil > Publications > Pour en savoir plus sur ce qu’est une analyse d’impact

Pour en savoir plus sur ce qu’est une analyse d’impact

L’exemple de la recherche Apprendre pour la vie

Complément au Journal de l’alpha no180 : À quoi sert l’alpha ?

Avec l’importance croissante de la gestion de programmes axée sur les résultats – requise des gouvernements fédéral et provinciaux bailleurs de fonds des organismes communautaires en éducation des adultes – ainsi que la diversification des intervenants en éducation des adultes des milieux communautaires, scolaires et collégiaux [1], deux organismes responsables des programmes d’alphabétisation et de formation de base en français dans les communautés francophones en Ontario et au Manitoba ont entrepris de démontrer l’impact de l’alphabétisation sur les personnes apprenantes. La Coalition ontarienne de formation des adultes (COFA) de l’Ontario et Pluri-elles du Manitoba ont dirigé en partenariat le projet avec la collaboration d’organismes œuvrant en alphabétisation et formation des adultes dans les divers milieux. La démarche de recherche réalisée entre 2007 et 2010 (Doucet, 2010) fut appuyée par deux consultantes professionnelles en recherche et put compter sur la participation active de formatrices et de formateurs, ainsi que de personnes apprenantes dans les centres locaux de formation des adultes.

Télécharger l’article (PDF).

Le projet de recherche visait les objectifs suivants :

  • augmenter les savoirs des intervenants, des collaborateurs, des partenaires, des chercheurs, et des bailleurs de fonds concernant l’impact de l’alphabétisation sur les personnes apprenantes et leur entourage ;
  • améliorer les pratiques d’alphabétisation visant le transfert des compétences, chez les personnes apprenantes, dans leur vie de tous les jours ;
  • renforcer les capacités des organismes livreurs de services d’alphabétisation et de formation de base à soutenir et à bonifier les ressources nécessaires aux transferts des compétences essentielles dans la vie courante.

Le projet partait de la question générale de l’impact de l’alphabétisation et de la formation de base des adultes sur les personnes apprenantes et leur entourage. L’exploration des modèles de recherche et une réflexion approfondie sur les résultats visés par le projet ont donné lieu à une enquête empirique de terrain auprès de 399 personnes apprenantes [2] et de proches témoins ainsi que d’un nombre indéterminé de formatrices. Les données empiriques quantitatives et qualitatives obtenues par questionnaires détaillés et lors de discussions de groupe ont permis de décrire, comparer et analyser les effets observés ou perçus des compétences acquises sur les personnes apprenantes elles-mêmes, ainsi que les impacts des transferts des compétences dans leur vie quotidienne et celle de leur entourage.

À partir du parcours et des constats de recherche, il s’agit dans ce présent article d’illustrer les réponses aux questions suivantes : Qu’est-ce qu’une analyse d’impact ? Comment la mener ? Quelles sont les conditions de validité des résultats ? Comment utiliser ces résultats pour l’action ?

Qu’est-ce qu’une analyse d’impact ?

Au sens strict, l’étude de l’impact d’une action ou d’une activité consiste à comprendre, à mesurer et à évaluer ses effets (Gauthier, 2003). Selon différentes disciplines, l’analyse d’impact peut présenter des variantes dans les définitions ; toutefois, nous avons retenu celle-ci : L’analyse d’impact est un processus qui consiste à identifier les éventuelles conséquences d’un changement ou à évaluer quels éléments doivent être modifiés afin d’effectuer un changement (Bohner et Arnold, 1996).

L’analyse d’impact permet en principe de connaitre les effets directs et les conséquences indirectes des modifications des compétences récentes et en cours. Elle contribue, entre autres, à :

  • documenter les modifications des compétences par l’apprentissage ;
  • identifier les conséquences des modifications des compétences dans la vie quotidienne.

Comment la mener ?

Les difficultés conceptuelles et méthodologiques de l’analyse d’impact sont importantes et ont été traitées graduellement par une approche en deux temps.

Dans la phase préparatoire, l’approche initiale de recherche a consisté en :

  • la revue et l’approbation du cadre stratégique et du cadre d’évaluation du projet de recherche ;
  • la revue des contextes en matière d’alphabétisation et de formation de base des adultes francophones au Manitoba et en Ontario ;
  • une revue exploratoire des études et recherches sur la thématique pertinentes à l’échelle canadienne et internationale et l’identification des recherches exemplaires ;
  • l’examen de l’unité d’analyse et des concepts clés ;
  • les options en méthodes et techniques de recherche les plus adéquates aux contextes et à l’unité d’analyse, aux ressources humaines, techniques et financières envisagées ;
  • la construction des instruments et des outils de recherche et leur mise à l’essai.

Cette approche, bien que complexe et exigeante, menée conjointement avec les deux partenaires de la recherche et les collaborateurs, et appuyée par les consultantes, a permis à l’équipe de partager l’information, les expériences et les réflexions, et de faire des choix stratégiques éclairés en passant de la formulation d’une problématique initiale à l’adoption d’une unité et d’un modèle d’analyse. Elle a également permis de définir les concepts clés autour desquels allaient s’articuler la construction des instruments et techniques de recherche.

Unité d’analyse

Une unité d’analyse consiste en un système d’actions qui comprend les relations entre les acteurs et entre leurs champs d’action, avec leurs attitudes, leurs compétences et leurs comportements. Ce système intègre également les sphères d’influence de proximité, ainsi que les sphères d’influence plus larges telles que les médias.

L’unité d’analyse de la présente recherche a été cernée par un processus interactif faisant appel aux connaissances empiriques, théoriques et pratiques des collaborateurs, menant à des options établies par consensus.

L’unité d’analyse qui a été examinée et retenue concerne les effets (directs) et les impacts (indirects, incluant d’autres influences) du transfert des compétences qu’effectue la personne apprenante dans différentes sphères de la vie quotidienne.

Compétences essentielles

Selon Satya Brink (2005) : Une compétence consiste en une habileté à répondre avec succès aux demandes individuelles ou sociales ou à réaliser une activité ou une tâche. Les compétences se manifestent (ou s’observent) dans les actions qu’un individu entreprend dans des situations ou des contextes particuliers (c’est-à-dire dans l’entourage immédiat et dans l’environnement socioéconomique et politique plus large). Elles n’ont pas d’existence interne indépendamment de l’action (qui implique les intentions, la raison et les buts). Cette conceptualisation est holistique en ce sens qu’elle intègre et relie les demandes extérieures, les caractères individuels (y compris l’éthique et les valeurs) et le contexte comme éléments essentiels d’une action compétente. (traduction libre).

Nos travaux se sont appuyés sur le Guide d’interprétation des profils de compétences essentielles du ministère des Ressources humaines et du développement des compétences du Canada (RHDCC, 2006). Ce guide présente neuf compétences essentielles nécessaires pour travailler, apprendre, vivre et s’adapter à des changements. Pour sa part, le site web Passeport-compétences de l’Ontario (PCO) du gouvernement de l’Ontario retient sept compétences similaires. Finalement, le questionnaire de l’étude a porté sur six compétences (lecture des textes, utilisation de documents, rédaction, informatique, communication verbale, calcul), tout en offrant aux personnes enquêtées la possibilité de mentionner des compétences non retenues (capacité de raisonnement, travail d’équipe, formation continue) dans leurs réponses aux questions ouvertes.

Les transferts

Notre recherche fut centré sur les effets et impacts des « transferts de compétences ». Or, au moment de la revue de la littérature, aucune étude ne définissait ce concept. Bien que les recherches consultées, qui portent sur les milieux de travail, utilisent invariablement les termes de « transferts des apprentissages », notre équipe de collaborateurs a préféré utiliser ceux de « transferts de compétences ». Nous avons donc transposé le concept de « transfert » tel qu’employé dans les termes « transferts des apprentissages » à ceux de « transfert des compétences », puisque notre recherche retient que l’apprentissage porte sur des compétences. La citation qui suit corrobore cette perspective.

Selon M. Taylor (1997, p. 43) : Il y a transfert des apprentissages quand l’apprentissage fait dans un contexte en particulier ou avec un matériel pédagogique en particulier influe sur la performance dans un autre contexte ou avec un matériel connexe, mais différent. […] Quand l’acquisition ou la performance ultérieure est facilitée, le transfert est positif. Quand l’acquisition ou la performance ultérieure est entravée, le transfert est négatif. Par ailleurs, le transfert peut être général, se répercutant sur une vaste gamme de nouvelles connaissances et compétences, ou encore spécifique, se répercutant uniquement sur des connaissances et des compétences particulières dans un domaine circonscrit.

Les impacts des transferts

Les impacts de l’apprentissage sont vus selon Schuller et ses collaborateurs (2004, p. 19) comme une résultante de l’acquisition de nouvelles de capacités qui, à leur tour, permettent de nouveaux développements et bénéfices, ayant des résultats (outcomes) multiples et continus.

Dans la présente recherche de terrain, les impacts observés et perçus par les personnes apprenantes elles-mêmes, leurs formatrices et leurs témoins dans la vie de tous les jours se révèlent correspondre de très près aux impacts relevés dans les principales recherches internationales consultées (Beder, 1999 ; gouvernement de l’Écosse, 2004) :

  • Les personnes en formation et, en plus grande proportion, les personnes qui ont terminé leur formation veulent réaliser ou ont déjà réalisé des objectifs personnels grâce à la formation.
  • Les personnes apprenantes obtiennent un emploi ou améliorent leurs conditions d’emploi au terme de leur formation.
  • La participation à un programme d’alphabétisation ou de formation de base des adultes a un impact positif sur l’intention ou le fait de poursuivre la formation.
  • La participation à un programme d’alphabétisation ou de formation de base des adultes a un impact positif sur la participation communautaire et l’engagement citoyen.
  • L’alphabétisation ou la formation de base des adultes a un impact positif sur l’implication des parents dans l’éducation de leurs enfants.
  • L’alphabétisation ou la formation de base des adultes a des effets positifs sur la confiance en soi.

Les résultats de que nous avons obtenus confirment que l’alphabétisation et la formation de base des adultes occasionnent non seulement des effets positifs dans le domaine de la vie personnelle et des impacts dans le domaine fonctionnel de l’emploi et de la formation continue, mais en outre a des impacts dans les ménages et la vie familiale, ainsi que dans la vie communautaire et citoyenne.

Modèle d’analyse

Le modèle conceptuel de départ tiré de Schuller et coll. (2004) s’appuie sur trois dimensions principales des bénéfices de l’apprentissage : la dimension identitaire-personnelle, la dimension économique et la dimension sociale, dimensions qui correspondent aux notions de capital identitaire, de capital social et de capital humain. Ces champs d’impacts ou de bénéfices des transferts de compétences ont été modifiés par l’équipe de collaborateurs durant le parcours préparatoire de recherche avec la subdivision de la dimension sociale en dimensions communautaire et familiale.

Suite à l’analyse des résultats, le modèle conceptuel a été réexaminé et refondu afin de mieux correspondre aux résultats obtenus. Il s’agissait en particulier de tenir compte des constats sur les facteurs déclencheurs internes, provoqués par une action initiale qui a eu des effets multiplicateurs, par exemple une volonté de communiquer avec la famille éloignée, la participation à un groupe d’intérêt, une aspiration de carrière, etc. ; et des facteurs déclencheurs externes, par exemple la naissance d’un enfant, l’immigration, la recherche d’un meilleur emploi, l’entrée à la retraite et l’intention de contribuer à la communauté, entre autres.

Ces constats relatifs aux facteurs déclencheurs, auxquels se conjuguent les mentions des impacts directs et indirects observés et perçus par les répondants, tels que révélés par les études de cas [3], ont conduit à proposer un modèle conceptuel servant également de modèle d’analyse.

Ce modèle comprend :

  • la position centrale des personnes apprenantes, les acteurs en action ;
  • la réintroduction des compétences génériques (Gintis, 1992) ou des compétences clés (Binkley et collab., 2000), qui activent ou favorisent l’action vers le changement, avec l’acquisition, le maintien et le transfert des compétences essentielles ;
  • l’ensemble des compétences essentielles qui ont toutes eu des effets bénéfiques à divers degrés reconnus par les personnes apprenantes, observations nuancées selon leur niveau d’entrée en formation, aspirations et expériences préalables ;
  • la proposition de retenir quatre champs principaux d’impacts des transferts de compétences.

Champs d’impacts des transferts

Les transferts de compétences observés empiriquement sur le terrain peuvent être regroupés en champs, milieux ou espaces de vie courante des personnes apprenantes et de leurs proches. Ces champs sont interreliés dans la vie de tous les jours. Il s’agit toutefois de distinguer et de retenir dans l’analyse des impacts, et éventuellement dans les pratiques de formation, les quatre dimensions suivantes :

  • les expériences d’autonomie, d’identité, et de mieux-être personnel et physique, dans le ménage et les réseaux interactifs de proximité de la famille et des amis ;
  • les expériences de participation à la communauté et ses réseaux sociaux d’appartenance, particulièrement significatives dans les communautés francophones en milieu minoritaire au Canada ;
  • les expériences fonctionnelles dans le contexte économique, sur le marché du travail ou la poursuite des études et la formation continue ;
  • les expériences de participation et d’engagement plus large aux organisations civiques et aux mouvements citoyens.

Quelles sont les conditions de validité des résultats ?

La validité de la recherche s’avère cruciale pour soutenir la crédibilité des données et l’analyse des résultats qui en est faite.

Les conditions de validité des résultats relèvent des méthodes et des techniques adoptées avant et au cours du travail d’enquête sur le terrain, ainsi que durant le traitement des données et leur analyse descriptive, comparative et explicative. Voici un aperçu des mesures prises à ces différentes étapes afin d’assurer une validité satisfaisante des résultats.

Il s’agit d’abord de poser des contrôles méthodologiques et techniques internes des données empiriques à recueillir, afin que la démarche d’analyse tire des constats bien fondés, par exemple par la triangulation des sources de données, par les apports de trois types de répondants, les personnes apprenantes, les formatrices et les personnes de l’entourage, qui ont offert des témoignages se renforçant mutuellement.

Il s’agit ensuite de poser des contrôles méthodologiques et techniques externes avant la recherche de terrain, permettant d’avancer que les résultats obtenus sont généralisables (ou non) au-delà des cas observés ; par exemple le fait qu’il y ait une large couverture de 27 centres de formation des adultes distribués sur un vaste territoire en Ontario et au Manitoba évite d’obtenir des résultats liés aux caractères d’une seule région et renforce la capacité de généralisation. On constate aussi une bonne répartition des répondants entre hommes et femmes ainsi qu’entre les « 39 ans et moins » et les « 40 ans et plus ».

Certains paramètres de l’échantillonnage et de la construction du questionnaire visaient la validité statistique. Ce n’est cependant que lors du traitement des données chiffrables qu’il a été possible d’établir la validité des opérations statistiques. Le nombre de répondants, 198 personnes apprenantes et 201 personnes de leur entourage fut suffisant dans l’ensemble pour analyser les grandes tendances et effectuer certains croisements entre les variables. Toutefois, le nombre de répondants n’était pas suffisant pour faire des analyses de multiples variables croisées à partir d’échantillons réduits.

Par ailleurs, la cueillette d’abondantes données qualitatives a apporté des informations descriptives au sujet de situations, d’interactions, de comportements selon les propos mêmes des répondants, reflétant leurs attentes, leurs opinions et points de vue, permettant ainsi de mieux comprendre ou d’illustrer les résultats quantitatifs et de les corroborer.

Les instruments

Le questionnaire destiné aux personnes apprenantes, aux formatrices et aux témoins fut construit par les partenaires de l’étude et revu par l’équipe de collaborateurs et les consultantes en recherche. Très systématique et exhaustif, il s’est avéré très long, ce qui n’avait pas été relevé lors des prétests et n’avait donc pas été modifié en conséquence. Toutefois, la présence de questions complémentaires sur les compétences et sous-catégories retenues a fourni une base de données comparatives et fiables qui subséquemment pourra être exploitée davantage en profondeur sur certains thèmes d’intérêt spécifique.

Le questionnaire destiné aux formatrices réunies en groupes de discussion fut par contraste très bref. Il a néanmoins permis de générer des données relatives à leurs connaissances et expériences empiriques et pratiques sur les stratégies et le matériel favorisant les transferts de compétences, très utiles pour une diffusion ciblée aux intervenants en formation.

L’analyse des données

Les analyses des données se sont effectuées sur trois plans avec la description des données quantitatives et qualitatives, les comparaisons des observations et des perceptions de différentes catégories de répondants, la comparaison des résultats de l’enquête de terrain avec ceux d’autres études réputées. La compréhension d’ensemble de la problématique, passant par une refonte du modèle conceptuel de départ à la lumière de la description et comparaison des données empiriques, a permis d’obtenir un modèle d’analyse qui rend compte de la place des personnes apprenantes, des formatrices et des proches en tant qu’acteurs en action au centre des processus d’apprentissage, de transfert et d’impact des compétences dans la vie de tous les jours (voir la figure ci-dessous).

Source : Paule Doucet, Apprendre pour la vie, 2010, p. 164.

Comment utiliser ces résultats pour l’action ?

L’équipe de collaborateurs a envisagé de faire une adaptation et une application concrètes des contenus du rapport de recherche, soit l’énumération et les brèves descriptions des outils utilisés par les formatrices en vue de faciliter les transferts de compétences sous forme de fiches pratiques. Les études de cas portant sur les expériences vécues de personnes apprenantes et les témoignages de leurs proches concernant les transferts d’apprentissage dans la vie de tous les jours pourraient être utilisées lors des formations, afin de susciter l’intérêt des personnes apprenantes et la discussion entre participants.

Dès l’énoncé du cadre stratégique initial, la recherche avait d’ailleurs visé des utilisations qui contribueraient à :

  • une meilleure compréhension, dans le milieu de la formation des adultes et chez les groupes d’intérêt des impacts de l’alphabétisation sur les personnes apprenantes et leur entourage ;
  • une amélioration des pratiques d’enseignement qui favorisent le transfert des compétences dans la vie de tous les jours chez les personnes apprenantes ;
  • l’acquisition de connaissances et l’adoption, par les organismes offrant des services d’alphabétisation et de formation de base, de stratégies qui leur permettent de mieux reconnaitre et consigner l’impact de la formation sur la vie des personnes auxquelles ils offrent ces services.

Il appartient maintenant aux responsables et aux intervenants en alphabétisation et en formation de base des adultes, à tous les niveaux, de s’informer des constats de la recherche afin de s’en approprier pour éclairer leurs décisions et leurs actions au bénéfice des personnes apprenantes francophones et de leurs communautés, en particulier des communautés francophones en situation minoritaire. Il appartient aussi aux responsables de l’alphabétisation et de la formation de base des adultes de poursuivre leurs actions en concertation afin d’améliorer les conditions en faveur de l’apprentissage pour la vie.

Paule Doucet,
Doucet associés Inc.,
services de recherche, d’analyse et de conseil.

Pour en savoir plus sur les partenaires de cette recherche

Pluri-elles Inc.

Coalition ontarienne de formation des adultes (COFA).

Rapport de recherche Apprendre pour la vie – L’impact de l’alphabétisation sur les personnes apprenantes et leur entourage.

Obtenir un résumé de ce rapport de recherche sur le site du Centre de documentation sur l’éducation des adultes et la condition féminine (CDÉACF).

Références

Beder, H. (1999). The Outcomes and Impacts of Adult Literacy Education in the United States (page consultée le 28 mai 2010), NCSALL Report, n° 6.

Binkley, M. R., R. Sternberg, S. Jones et D. Nohara (2000). An Overarching Framework for Understanding and Assessing Life Skills, Adult Literacy and Lifeskills Survey. Rapport non publié.

Bohner, S.A. et R.S. Arnold, dir. (1996). Software Change Impact Analysis. Los Alamitos, Californie, É.-U., IEEE Computer Society Press.

Brink, S. (2005). Enquête sur la littératie et les compétences des adultes de 2003. Principaux résultats et répercussions (page consultée le 28 mai 2010), Ottawa, Ressources humaines et Développement des compétences Canada.

Doucet, Paule (2010). Apprendre pour la vie : L’impact de l’alphabétisation sur les personnes apprenantes et leur entourage. Rapport de recherche-action, Ottawa, Coalition ontarienne de formation des adultes, Pluri-elles (Manitoba) inc.

Gauthier, Y. (2003). Analyse d’impact ou démarche marketing ? (page consultée le 3 octobre 2016) dans Techniques Financières et Développement n°70, mars 2003.

Gintis, H. (1992). Pour une société démocratique postlibérale, dans G. Boismenu, P. Hamel et G. Labica, Les formes modernes de la démocratie, Montréal, P.U.M., pp. 263-291.

Gouvernement de l’Écosse/Scottish Government (2006). Evaluation of the Scottish Adult Literacy and Numeracy (ALN) Strategy – Final Report (page consultée le 28 mai 2010), Scottish Executive Social Research.

Gouvernement de l’Ontario. Passeport-compétences de l’Ontario (page consultée le 3 octobre 2016).

Ressources humaines et Développement des compétences Canada (RHDCC) 2006. Guide d’interprétation des profils de compétences essentielles.

Schuller, T., J. Preston, C. Hammond, A. Brassett-Grundy et J. Bynner (2004). The Benefits of Learning : The Impact of Education on Health, Family Life and Social Capital, Londres, Routledge Falmer.

Taylor, M. (1997). Transfert d’apprentissage. La planification de programmes d’éducation efficaces en milieu de travail = Transfer of Learning : Planning Effective Workplace Education Programs, Ottawa, Secrétariat national à l’alphabétisation, Ressources humaines et Développement des compétences Canada.


[1Dans le cursus de formation, l’enseignement collégial se situe entre l’enseignement secondaire et l’enseignement universitaire.

[2Les personnes apprenantes comprenaient des personnes en formation de base des adultes et d’autres ayant fréquenté les centres de formation des adultes, qu’elles aient terminé, cessé ou complété ailleurs leur formation. Les personnes apprenantes ayant participé à l’enquête étaient volontaires. Les études de cas consistent à partir du questionnaire, d’extraire des répondants d’abord classifiés en 6 cas types, selon des groupes d’âge, de genre et de stage de formation, afin d’en dresser des portraits descriptifs davantage « parlants », en reliant à une même personne apprenante toutes les réponses qualitatives qui s’y rapportent, les siennes propres, celles d’un témoin et d’une formatrice.

[3Les études de cas consistent à partir du questionnaire, d’extraire des répondants d’abord classifiés en 6 cas types, selon des groupes d’âge, de genre et de stage de formation, afin d’en dresser des portraits descriptifs davantage « parlants », en reliant à une même personne apprenante toutes les réponses qualitatives qui s’y rapportent, les siennes propres, celles d’un témoin et d’une formatrice.