L'évaluation qualitative en éducation à la solidarité internationale (ECSI)

L’ECSI a pour finalité d'entraîner modifications cognitives et comportementales basées sur la compréhension de la complexité et de notre impact sur le monde. Cette éducation tend à se généraliser depuis quelques années, notamment portée par des acteurs de l’économie sociale et solidaire. Or, les modalités de mise en œuvre des appels à projets ne permettent pas d’évaluation qualitative.

L’évaluation qualitative en éducation à la citoyenneté et à la solidarité internationale (ECSI)

L’éducation à la citoyenneté et à la solidarité internationale est un ensemble de méthodes d’enseignement populaire visant à donner aux apprenants « des clés de compréhension des déséquilibres mondiaux et à encourager leur réflexion sur les moyens de réduire la pauvreté et les inégalités »[1].Elle promeut une vision systémique. Elle incite à comprendre la complexité du monde, l’interdépendance qui en découle, ainsi que les origines des inégalités et des exclusions au niveau mondial.

En plus de la prise de conscience, elle favorise l’engagement citoyen en faveur d’un monde plus solidaire et durable. Elle a comme finalité de favoriser « une solidarité entre les territoires, les générations, les groupes sociaux »[2]. Ainsi, au-delà de la mise en place des actions, une problématique resurgit régulièrement : Comment peut-on savoir si les apprenants modifient de manière effective leur réflexion, leurs manières de voir les choses et leurs comportements ? L’intérêt de cet article, basé sur un mémoire de recherche est de définir quelles sont les conditions d’une évaluation qualitative pertinente pour mesurer l’impact que ces interventions peuvent avoir.

L’approche systémique de l’ECSI

La difficulté principale dans l’ECSI, selon le Ministère de l’éducation[3], est liée à la thématique même. Effectivement, la complexité des interdépendances, les enjeux géopolitiques, les problématiques sur certains thèmes comme l’accès à l’eau, celles liées aux guerres, à l’économie, etc. restent difficiles à comprendre dans leurs entièretés par un public non-initié.

Cette manière d’appréhender le savoir est une approche pertinente pour aborder la complexité du monde. Elle évite le cloisonnement de ces savoirs par matière communément employée dans l’éducation formelle et qui a pour limites de fournir des représentations partielles du monde. Les interventions par le biais de l’interdisciplinarité devraient permettre de donner des informations se rapprochant au maximum de la réalité observée et donc plus cohérente avec les problématiques de la citoyenneté, du développement et de la solidarité internationale.

Cette difficulté trouve également écho chez l’intervenant : Il faut être capable de comprendre le maximum de thèmes. Or, traiter ces questions tout en gardant un recul nécessaire pour ne pas être biaisé est très compliqué. L’enseignement nécessite toujours beaucoup de lectures, de théorie, de temps, il est nécessaire de croiser les sources afin d’être le plus objectif possible. Il faut partir du principe que comme les formateurs, les apprenants ont des idées préconçues, de préjugés et de clichés qu’il est difficile de casser, et ce même lorsqu’il s’agit d’enfants[4]. De plus, certains concepts peuvent aller dans le sens inverse des idées qu’ils se font du monde : nous pouvons essayer de déconstruire des concepts sur l’ethnocentrisme, si ce n’est pas appuyé d’exemple et d’un soutien sur le plus long terme, il sera compliqué pour les apprenants de s’approprier l’idée.

La question de l’évaluation

Lorsque nous parlons d’évaluation, on y associe directement l’idée de critères, d’indicateurs. Effectivement, il parait évident de comparer les résultats concrets avec les résultats attendus. La culture de l’évaluation est de plus en plus omniprésente dans les projets et l’ECSI n’y coupe pas. Mais comment définir les fameux résultats attendus ?

Il existe un outil que beaucoup de structures connaissent et maîtrise: le cadre logique. Il s'agit d'une matrice, généralement représentée sous la forme d’un tableau. Il est commun de le voir dans les bilans et encore plus commun que les bailleurs demandent à l’avoir lors de la rédaction des projets. Cela tient au fait qu’il résume le projet dans un « simple » tableau et que c’est un outil d’évaluation en soi car il fournit des indicateurs permettant une comparaison entre la réalité observée et les objectifs prévus. Or, il comprend généralement des données quantitatives, qui fournissent des informations qui peuvent être comptées. Il pourra par exemple répondre à des questions telles que « Combien ? », « Qui était impliqué », etc. grâce à des questionnaires pré et post actions, des observations ou des examens de documents et de base de données[5].

L'évaluation qualitative ne cherche pas à quantifier ou à mesurer, elle consiste le plus souvent à recueillir des données verbales permettant une démarche interprétative. Elle peut se faire en amont de l’action afin d’avoir une « photo » des comportements, puis de les comparer à la fin de l’action, pour relever une modification significative. François-Marie Gérard[6], explique que lorsque l’on parle de l’évaluation qualitative en éducation, il faut se concentrer sur trois objectifs pour vérifier de la viabilité de l’action d’éducation :

- La connaissance (domaine du cognitif)

- L’attitude (domaine de la représentation et de la potentielle capacité à agir)

- Le comportement (domaine de l’agir effectivement engagé)

En combinant les données d'un cadre logique pertinent et ces trois objectifs, nous pourrions avoir un aperçu des résultats des actions d'ECSI. Mais dans le contexte les appels à projets publics et privés, les bilans se font souvent trop tôt pour avoir toutes les données nécessaires à une réelle conclusion. Il serait intéressant d'avoir assez de recul pour enfin mener une enquête sur le long terme. 

Les difficultés de l’évaluation qualitative en ECSI

Les effets supposées de l’ECSI peuvent se manifester des années plus tard. C’est l’idée de « planter une graine », qui va germer pour en finalité conduire les individus à effectuer un choix plutôt qu’un autre. Or, il n’est pas possible de suivre les apprenants sur plusieurs années pour évaluer les changements dans la configuration actuelle des financements et des projets. Pour vérifier les changements de comportements, il faut effectivement travailler dans la durée, ce qui est difficilement applicable dans les faits, car les financements des personnes en charges des projets s’arrêtent en même temps que celui-ci et peu de structures peuvent se permettre de travailler sur le long terme, hors de ce champ d’actions. Les bailleurs, conscients de cette situation problématique, insistent généralement sur les aspects quantitatifs, plus « facilement » récoltables et valorisables. Quand bien même il serait possible de « suivre » les personnes sur le long terme, d’autres problématiques émergent.

L’évaluation entraîne une mesure à l’état A des bénéficiaires, comparé avec un état B. Cette mesure doit se faire si possible avec des outils qui éliminent les potentielles interférences du contexte par rapport à l’évolution des publics. Or, au-delà des temps d’enseignement à la citoyenneté et à la solidarité internationale, il existe un grand nombre d’informations qui sont parvenues aux utilisateurs, qui peuvent avoir un changement encore plus grand, positif ou négatif. Les publics ne vivent pas dans un monde isolé, ou uniquement les informations reçues dans le cadre de l’enseignement ont un impact sur eux.

Christian Hugues[6] propose une méthode rigoureuse pour essayer de définir des critères pertinents d’évaluation : la méthode expérimentale. Il propose de sélectionner deux groupes d’apprenants et deux formateurs de même niveau, dont l’un aurait suivi des/une intervention(s) d’ECSI (le groupe expérimental) et l’autre non (le groupe « contrôle »). Il faudrait définir certains critères, afin de les mesurer « à chaud », c'est-à-dire juste après les/l’intervention(s), puis « à froid », quelques mois après. On pourra ainsi noter si les apprenants ont retenu les informations, ont modifié leurs habitudes et comportements – dans les domaines que l’on souhaite faire évoluer - selon les critères qui auraient été définis.

Conclusion

Afin de mener des évaluations qualitatives pertinentes d'actions d'ECSI il faut être vigilant sur deux points. À la suite aux actions d’éducation, il faut disposer d’un temps assez long pour repérer les évolutions potentielles à moyen-long terme. Il faut également définir des indicateurs permettant d’évaluer si les choix entrepris par les apprenants sont dus à des motivations entraînées par les actions d’éducation. Il faut nécessairement prendre en compte que les individus ne sont pas isolés et que toutes sortes d’informations leur parviennent.

Le budget lié aux actions peut être important, les initiatives originales et potentiellement pertinentes, mais si le suivi n’est pas fait, il est difficile de s’avoir si elles étaient adaptées. Les appels à projets mettent trop l’accent sur l’évaluation quantitative et ne donnent pas les moyens et le temps aux intervenants d’effectuer des évaluations complètes, précises.  Cependant, les différents contextes d’interventions liés aux appels à projets ne le permettent pas toujours.

 

[1] « Enseignements élémentaire et secondaire », Selon le programme de l’éducation nationale consultable sur http://www.education.gouv.fr/cid49122/mene0900812n.html,

[2] Éducation à la citoyenneté et à la solidarité internationale : un plaidoyer constant, par Laurence RIGOLLET, Cheffe de projet à EDUCASOL, 2016

[3] Note de service du 26 mai 1983 rédigée par le Ministère de l’éducation nationale

[4] Vander Kelen, M, Lauwers O & Licata L (2006). Développement moral et développement des préjugés chez l’enfant : Introduction aux domaines d’étude et illustration à travers le phénomène du « victimisateur heureux ». In O. Klein & S. Pohl (Éd.), Psychologies des stéréotypes et des préjugés (p. 57-101). Bruxelles ; Labor, page 64

[5] Quantitative and Qualitative methods in Impact Evaluation and Measuring results, Sabine Garbarino, Jeremy Holland, 2009

[6]Chercheur, formateur d’adultes, auteur de plusieurs ouvrages, il est directeur adjoint du BIEF, le bureau d’ingénierie en éducation et en formation à Louvain-la-Neuve""

[7] Christian Huges est le fondateur d’Evalua, un bureau spécialisé dans le pilotage et l’évaluation des interventions des organismes publics. Il a notamment travaillé à plusieurs reprises dans l’évaluation de l’Education à la citoyenneté et la solidarité internationale

 

 

Le Club est l'espace de libre expression des abonnés de Mediapart. Ses contenus n'engagent pas la rédaction.