Skip to navigation – Site map

HomeIssues25(2)ArticlesConstruction d’un outil d’évaluat...

Articles

Construction d’un outil d’évaluation de la qualité des actions d’accompagnement pédagogique. Synthèse d’échanges et d’analyse de pratiques professionnelles en Communauté française de Belgique

Didier Salmon, Dorothée Baillet, Marie Boulvain, Bernard Cobut, Michel Coupremanne, Dominique Duchâteau, Anne-France Lanotte, Pascale Dubois, Sabine Goemaere, Bernadette Noël, Mireille Houart and Pauline Slosse

Abstracts

The quality of student learning support services in higher education depends on several factors that need to be dealt with and analysed in order to enhance their effectiveness. A team of teachers and researchers from different Belgian higher education institutions, active in these fields, has explored the quality assurance process of these services in order to outline their main features, their difficulties and their limits.

The members of the team confronted their experiences and elaborated a framework for assessment practices that was presented at the 25th AIPU congress held in May 2006 in Montpellier.

This paper presents a framework that highlights the key questions that must be addressed in the assessment process of a student learning support unit. The dimensions of the framework are described and further clarified through three concrete examples.

Top of page

Full text

1. Introduction

1Depuis l’année 2004, le groupe de recherche AdAPTE (Groupe de recherche sur les Actions d’Accompagnement Pédagogique, leur Typologie et leur Evaluation) travaille à la production d’outils pour l’analyse des dispositifs d’accompagnement pédagogique à disposition des étudiants de première génération pendant leur première année d’étude dans l’enseignement supérieur. Ce groupe, constitué de chercheurs et de praticiens issus de la plupart des universités et de quelques Hautes Ecoles de la Communauté française de Belgique, membres de l’AIPU-CFWB (Section belge de l’Association Internationale de Pédagogie universitaire), a choisi un mode de production basé sur un échange maximum de pratiques, d’abord au niveau national puis au niveau international. Pour chaque outil, la construction comporte trois étapes. Au cours de la première étape, différents membres du groupe font état de leur expérience personnelle et formalisent leur pratique en fonction d’un thème lié à la problématique de l’accompagnement pédagogique. Dans un deuxième temps, l’ensemble du groupe de recherche construit un outil synthétisant les travaux et les échanges. Dans une troisième phase, l’outil est présenté à l’ensemble de la communauté scientifique lors d’un congrès de l’AIPU à l’occasion d’un mini-colloque, et enrichi par l’apport du débat clôturant celui-ci. L’objectif du groupe AdAPTE est donc de produire une réflexion théorique à partir d’expériences de terrain et non pas de valider l’utilisation de modèles théoriques dans des exemples pratiques.

2La « Grille de description et d’analyse des actions d’accompagnement pédagogique » présentée lors du congrès de 2004 à Marrakech (Salmon, Cobut, Coupremanne, Delhaxhe, Dubois, Lamme, Noël, Parmentier & Pollet, 2004) et le « Modèle pour la construction des actions d’accompagnement pédagogique » présenté lors du congrès de 2006 à Monastir (Salmon, Cobut, Coupremanne, Delhaxhe, Dubois, Goemaere, Houart, Noël, Pollet & Slosse, 2006) constituent les deux premiers outils construits.

3Lors des deux premiers mini-colloques, l’évaluation de l’accompagnement pédagogique a fait l’objet de nombreux débats et questionnements. L’évocation omniprésente dans les échanges des difficultés et des limites de l’évaluation a permis de pointer cette démarche comme une pierre d’achoppement du métier d’accompagnateur. Diverses facettes de l’évaluation qui posent particulièrement problème dans ce type d’actions peuvent être épinglées. Elles concernent tant la validité du recueil des données que la pertinence du choix de critères et d’indicateurs de réussite. En vue d’un troisième mini-colloque et d’un atelier organisé lors du 25e congrès de l’AIPU à Montpellier, le groupe AdAPTE a donc décidé de se pencher en profondeur sur la démarche de l’évaluation pour en formaliser les caractéristiques, les difficultés et les limites, intégrant ainsi sa réflexion dans la démarche qualité qui constitue le thème général du congrès.

4A l’instar de la méthodologie adoptée pour les mini-colloques précédents, le groupe de recherche a procédé, pendant deux années, à une description méticuleuse des expériences d’évaluation des actions d’accompagnement, dans des contextes aussi variés que l’accompagnement à distance, la guidance liée à des contenus d’enseignement, les cours préparatoires ou les séances de formation aux méthodes de travail. Le groupe a ensuite analysé et comparé ces expériences dans le but de les formaliser. Ce travail de formalisation a été enrichi par les apports des participants au mini-colloque et à l’atelier du congrès de l’AIPU 2008. Il se concrétise dans un modèle dynamique (figure 1) qui relie entre elles les différentes questions contenues dans le processus d’évaluation d’une action ou d’un dispositif d’accompagnement pédagogique.

Figure 1 : Modèle dynamique du processus d’évaluation de l’accompagnement pédagogique

Figure 1 : Modèle dynamique du processus d’évaluation de l’accompagnement pédagogique

5Cette réflexion se matérialise également dans un tableau (figue 2) plus élaboré où chaque case reprend de manière synthétique les éléments de réponse à chacune des questions apparaissant lors du processus d’évaluation d’une action ou d’un dispositif d’accompagnement pédagogique. La description détaillée de ce tableau fait l’objet de la première partie de l’article.

6Les questions sont les suivantes. Quel est le commanditaire de l’évaluation ? Quels sont les buts de l’évaluation? Sur quoi porte la prise d’information réalisée pour évaluer ? Avec quels outils évalue-t-on ? Auprès de qui évalue-t-on ? Quand évalue-t-on ? Comment évalue-t-on ? Quelles sont les limites et les difficultés de l’évaluation ?

7Ce tableau ainsi construit se lit de manière transversale et selon le contexte. Le(s) élément(s) adéquat(s) de réponse à chaque question permet(tent) de définir la façon dont l’évaluation est menée, les difficultés rencontrées et les limites associées.

8Après la première partie du présent article où chaque élément du modèle est explicité, une lecture transversale du tableau sera proposée sur la base de la description de trois exemples d’évaluation d’action dans des contextes différents. Nous n’aborderons pas dans ce texte la forme que pourrait prendre le rapport issu du processus d’évaluation d’une action ou d’un dispositif d’accompagnement pédagogique tant cette forme dépend à la fois des exigences du commanditaire et des contraintes du processus que nous décrivons à travers l’analyse des sept éléments du modèle.

Figure 2 : Tableau synthétique des éléments constitutifs du processus d’évaluation de l’accompagnement pédagogique

Figure 2 : Tableau synthétique des éléments constitutifs du processus d’évaluation de l’accompagnement pédagogique

2. Sept éléments constitutifs d’un modèle dynamique de l’évaluation d’une action d’accompagnement pédagogique

2.1. Les commanditaires du processus d’évaluation

9La volonté d’évaluer les dispositifs d’accompagnement pédagogique des étudiants peut émaner de différents commanditaires.

10Au niveau de la Communauté française de Belgique, les autorités politiques en matière d’éducation et de formation exigent que les institutions d’enseignement leur soumettent un rapport annuel d’activités sur les moyens que celles-ci mettent en œuvre pour améliorer le taux de réussite des étudiants de première année dans l’enseignement supérieur.

11Au sein des institutions d’enseignement, les autorités académiques et les directions des Hautes-Ecoles souhaitent s’assurer que les ressources affectées au soutien des étudiants sont adéquates, et disposer de références scientifiques sur lesquelles s’appuyer pour définir ou infléchir leur politique d’encadrement pédagogique. Les étudiants, eux, lorsqu’ils sont présents dans les organes de concertation, sont en droit de demander une évaluation des dispositifs d’accompagnement qui leur sont proposés, voire imposés s’ils estiment que leur efficacité pourrait être améliorée.

12Sur le terrain, les accompagnateurs ont le souci d’accroître l’efficacité des services de soutien et d’accompagnement des étudiants de première année. Ils se préoccupent d’identifier les axes à privilégier afin de proposer des supports qui répondent le mieux possible aux besoins et aux demandes des étudiants.

2.2. Les buts du processus d’évaluation

13Certaines évaluations visent à justifier l’action d’accompagnement auprès des autorités, qu’elles soient politiques ou institutionnelles. La démarche permet de légitimer les budgets attribués à l’action et, éventuellement, de demander davantage de moyens.

14S’il s’agit d’un accompagnement à caractère disciplinaire, l’évaluation permet de montrer l’adéquation auprès des professeurs des modalités de fonctionnement de l’action choisies par les accompagnateurs, qui ne dépendent pas nécessairement du ou des titulaires concernés. Elle peut également être mise en place afin de mesurer la satisfaction des étudiants (un taux de satisfaction élevé intéresse l’institution pour l’image qu’elle procure à l’extérieur).

15Enfin, il peut s’agir d’évaluer une réforme mise en place par l’un des niveaux de hiérarchie académique (faculté, section, etc.).

16Toutefois, le plus souvent, les évaluations peuvent être menées également dans une optique de régulation du dispositif d’accompagnement avec parfois une dimension de contenu. Il s’agit alors principalement de formaliser la mise en œuvre du dispositif, d’en relever les points forts et faibles ainsi que les incidents critiques, et de déterminer la pertinence du dispositif. Cette analyse critique est réalisée en vue d’améliorer le fonctionnement du dispositif, d’y apporter des modifications organisationnelles et de contenus, et, s’il s’agit d’une expérience, d’envisager la nécessité de sa prolongation ou de son extension.

17L’évaluation peut également être conduite dans le but d’analyser l’impact de l’action sur la réussite et de mesurer les effets de l’accompagnement, c'est-à-dire d’établir une corrélation entre les résultats académiques des étudiants et leur participation à une activité d’accompagnement. En particulier, on peut vouloir déterminer à quel niveau et dans quelles conditions celui-ci est efficace.

18Dans tous les cas, un objectif corollaire est de susciter des propositions d’innovations provoquées par les réflexions introspectives antérieures et postérieures à l’évaluation proprement dite. Enfin, ce processus est souvent complété par une réflexion plus théorique sur l’accompagnement qui permet de faire avancer les connaissances sur cette problématique.

2.3. Les données récoltées dans le processus d’évaluation

19Après avoir identifié les buts de l’évaluation envisagée et avant de choisir un outil pour récolter des informations, il est essentiel de s’interroger sur le type de données que l’on souhaite collecter.

20Selon Cartier et Langevin (2001), on peut distinguer trois grands types de données : les données portant sur les modalités de l’action telles que l’information, la prévention, la remédiation et l’accompagnement formatif (Salmon, Cobut, Coupremanne, Delhaxhe, Dubois, Lamme, Noël, Parmentier & Pollet, 2004) les données plutôt qualitatives telles que les impressions des acteurs, le profil des participants ou encore les contenus diffusés lors de l’action d’accompagnement et enfin les données quantitatives portant essentiellement sur la participation au dispositif.

21Les données portant sur les modalités de l’action ont pour objectif de vérifier si le déroulement de l’action a bien été fidèle, conforme à ce qui avait été prévu. Ainsi, par exemple, si cette dernière porte sur la diffusion d’informations concernant les règles de report et de dispense en vigueur au sein d’une institution, il s’agira de vérifier auprès des bénéficiaires que ceux-ci ont eu accès à l’information.

22Les données qualitatives peuvent se rapprocher de ce que Cartier et Langevin (2001) appellent « la satisfaction ou appréciation qualitative du dispositif expérimenté par les étudiants et les formateurs » et que nous intitulons impressions des acteurs. Les données qualitatives peuvent également concerner le profil des participants. Celui-ci peut être exploré en partant d’entrées très différentes comme celles définies par Salmon (2007) pour caractériser le profil psycho-éducatif de l’étudiant de première année. Dans cette construction, l’éducabilité (Lahire, 2003) est évaluée, d’une part, à partir de facteurs structurels qui sont mesurables en début de cursus mais qui ne peuvent pas varier pendant celui-ci et, d’autre part, de facteurs processuels qui eux peuvent évoluer en fonction des activités auxquelles l’étudiant participe (Parmentier, 1994). De ce fait, l’éducabilité de l’étudiant est caractérisée par un ensemble d’habitudes prédisposantes sur le plan intellectuel (Bodson, 1999 ; Parmentier & Romainville, 1998), mais aussi de compétences langagières (Pollet, 2001) et de capacités à décoder les spécificités des savoirs universitaires et le rapport au savoir (Rey, Caffieaux, Compère, Lammé, Persenaire, Philippe & Wallenborn, 2003 ; Rey, Baillet, Compère, Defrance & Lammé, 2005). Au sein du profil psycho-éducatif de l’étudiant, l’ensemble de ces capacités sont mises en relation avec les concepts d’engagement académique (Pirot & De Ketele, 2000), de sentiment personnel d’efficacité (Bandura, 2002) et de dynamique motivationnelle (Viau, 2004). Réparties de manière inégale entre étudiants, elles influencent le positionnement de l’étudiant au sein de l’institution universitaire ainsi que son devenir académique et professionnel.

23Enfin, les données quantitatives renvoient à ce que Cartier et Langevin (2001) appellent la participation ou appréciation quantitative ou qualitative de la présence des étudiants à l’activité. A travers ces données, des dimensions telles que la participation des étudiants (le taux global de participation, le nombre de présences enregistrées lors d’une action) ou encore les types de demandes les plus couramment rencontrées au sein d’une action d’accompagnement pédagogique ou en fonction des périodes de l’année (notions que les étudiants déclarent vouloir retravailler, difficultés que les étudiants identifient plus fréquemment) peuvent être explorées.

2.4. Les outils utilisés pendant le processus d’évaluation

24Que ce soit individuellement ou collectivement, qu’il s’agisse d’informations objectives disponibles directement sur les étudiants ou de leurs impressions personnelles récoltées par enquête, de nombreux outils peuvent être utilisés pour récolter les données nécessaires à l’évaluation des actions pédagogiques.

25La première source d’information est la fiche signalétique que l’étudiant remplit lors de son inscription dans l’institution d’enseignement supérieur. Selon les institutions, les données récoltées par ce biais peuvent être indicatrices de sa situation socio-familiale, de son parcours scolaire antérieur ou encore de ses motivations à s’engager dans le cursus choisi.

26D’autres outils correspondent à la récolte d’informations auprès de l’étudiant par voie écrite. Leur utilisation est, par essence, individuelle. L’outil sans doute le plus fréquemment utilisé est le questionnaire. Anonyme ou non, il permet l’utilisation de questions fermées, semi-ouvertes ou ouvertes. Son administration peut avoir lieu en présentiel, mais il peut aussi être complété directement en ligne ou encore envoyé par courrier électronique. Le traitement des réponses est d’autant plus facile et rapide que la forme des questions proposées est fermée, mais cet outil comporte également des désavantages tels que les réponses « socialement attendues » ou coincées dans un canevas préétabli.

27Pour contrer les désavantages de questions trop fermées, on peut demander aux participants de rédiger un texte libre, laissant ainsi la possibilité d’exprimer, sans aucun cadre, vécus et ressentis mais, dans ce cas, la difficulté du traitement exhaustif de ce type de données apparaît.

28Un troisième type d’outils coïncide avec les rencontres en face à face : entretiens libres ou semi-dirigés avec les participants, debriefing avec les enseignants et/ou les accompagnateurs de l’action pédagogique. A nouveau, ce type d’évaluation peut être mené individuellement ou en groupe et en fonction de la mise en œuvre être grand consommateur de ressources humaines.

29A côté de ceux nécessaires à la récolte des données, il existe aussi des outils utiles pour rassembler les données et permettre leur traitement statistique ou autre. Constituées à partir des données récoltées par les outils précédents, ces bases de données peuvent également contenir des éléments issus des listings de résultats aux différentes évaluations soumises aux étudiants pendant leur parcours académique ou encore d’autres informations recueillies par d’autres biais. Les bases de données ainsi construites permettent de mettre en relation les caractéristiques structurelles ou processuelles individuelles de chaque étudiant avec la participation à l’une ou l’autre action pédagogique.

2.5. Les acteurs interrogés pendant le processus d’évaluation

30L’évaluation d’un dispositif ou d’activités d’accompagnement peut être réalisée auprès des étudiants qui y ont participé entièrement ou partiellement, mais également auprès de ceux qui ont estimé ne pas devoir s’y engager volontairement (pas de besoins identifiés) ou en ont été empêchés par manque d’information. Lorsque l’évaluation s’organise dans la foulée de l’action, les étudiants sont plus facilement accessibles et les taux de réponses sont alors plus importants. Lorsque l’évaluation est réalisée plus tard, obtenir un échantillon représentatif des étudiants ayant participé à l’action peut se révéler difficile. En particulier, lorsqu’une action a pour objectif la réflexion autour du projet d’étude d’un étudiant en difficulté, la possibilité moindre d’obtenir des éléments d’évaluation de la part des étudiants ayant quitté le cursus initial peut entraîner des disproportions dans l’analyse des réponses.

31Les professionnels de l’accompagnement peuvent aussi être interrogés, ou s’interroger, à propos des dispositifs auxquels ils ont participé et qu’ils ont parfois aussi contribué à mettre en place. Dans ce cas, l’objectif principal poursuivi est souvent d’améliorer l’offre et la qualité des actions qu’ils mènent. Bien souvent, ces évaluations permettent également de justifier le travail de ces professionnels auprès des autorités académiques ou de l’instance subsidiant le dispositif mais également d’illustrer l’utilité des actions proposées aux futurs étudiants utilisateurs.

32Enfin, tous les membres des équipes pédagogiques qui interviennent dans le cursus de première année, qu’ils soient assistants ou professeurs, sont des acteurs qu’il est intéressant d’intégrer dans le processus d’évaluation, et ce, qu’ils aient été impliqués directement ou non dans le dispositif d’accompagnement évalué. Non seulement ces enseignants peuvent se révéler des témoins privilégiés pour observer des effets de l’accompagnement, mais en plus le fait d’être consultés permet également une prise de conscience à la fois de l’existence de ces dispositifs et du rôle qu’ils pourraient y jouer.

2.6. Les moments propices pour un processus d’évaluation

33Au départ de l’analyse des démarches d’évaluation des dispositifs d’accompagnement, deux temps forts peuvent être identifiés : l’évaluation à chaud (immédiate) et l’évaluation différée.

34L’évaluation immédiate peut intervenir à la fin de chacune des différentes actions constituant un dispositif d’accompagnement, indépendamment les unes des autres (systématiquement ou ponctuellement). Elle peut également être réalisée au terme de l’ensemble du dispositif ou d’une partie significative de celui-ci et permettre alors une vision plus globale de ce dernier. Ce type d’évaluation porte généralement sur le degré de satisfaction des étudiants par rapport à l’atteinte des objectifs annoncés, la qualité des moyens et démarches mises en place ainsi que la rencontre de leurs attentes. Lorsqu’elle est réalisée à la fin de l’action, l’évaluation permet également de la clôturer physiquement, d’assurer éventuellement la transition et les liens avec d’autres actions, de révéler l’avis (positif ou négatif) des étudiants, ce qui peut donner lieu à un examen plus approfondi au service d’une régulation, voire aussi d’une pérennisation.

35L’évaluation différée intervient un certain temps après que l’action d’accompagnement se soit physiquement clôturée. La période séparant la fin de l’activité (ou l’ensemble des activités) du moment d’évaluation doit être d’une durée suffisante pour permettre aux participants de mettre en œuvre les acquis liés à celle-ci. Ce type d’évaluation programmé soit après une session d’examens, soit quelques mois, voire même une année après les activités permet d’envisager de pouvoir identifier certains effets du processus d’accompagnement, à savoir si les actions menées ont influencé les comportements et les résultats des étudiants. Une telle évaluation différée peut être pratiquée de façon systématique ou rester ponctuelle selon la visée qui la définit.

2.7. Les limites et les difficultés d’un processus d’évaluation

36Dans la description des six premiers éléments du modèle, nous avons déjà relevé un certain nombre de limites et de difficultés qui se dessinent dans un processus d’évaluation d’une action ou d’un ensemble d’actions d’accompagnement pédagogique. Dans ce dernier point, nous souhaitons lister l’ensemble de ces freins.

37Une première difficulté réside dans le choix des critères de l’évaluation de l’action. Il peut s’avérer délicat. En effet, in fine, l’ensemble des acteurs vise une réussite des étudiants mais le développement de stratégies d’étude efficaces, l’épanouissement des étudiants, une meilleure affiliation… constituent également des éléments de critères positifs.

38D’autres limites sont liées au fait que quel que soit le dispositif à évaluer, le recueil d’une information suffisamment représentative n’est jamais facile à réaliser.

39Le public visé par les actions est souvent fort hétérogène alors que certains éléments du profil des étudiants participant apparaissent fort homogènes. En effet, les actions, même si elles sont en principe destinées à tous, restent essentiellement focalisées sur des étudiants qui abandonnent ou qui décrochent plus que les autres. De plus, pour ces étudiants, il s’avère difficile de récolter leur avis alors qu’ils ont quasiment ou totalement quitté l’institution au moment où l’on souhaite recueillir l’information. Il s’avère aussi difficile de recueillir des données sur le profil des étudiants qui ne participent pas alors qu’ils en auraient eu besoin. Ces derniers sont-ils très différents de ceux qui y participent ? Enfin, même si le public participant aux actions apparaît assez homogène au vu de sa situation académique, la diversité des profils éducatifs de ces étudiants est très large alors que la taille du groupe est souvent réduite. Il n’est donc que difficilement envisageable de construire des relations statistiques satisfaisantes sur ces petits groupes par manque de représentativité.

40Une recherche en cours vise, par le biais d’entretiens, à faire expliciter par des étudiants aux profils contrastés les éléments individuels (bagage socio-économique et culturel, vulnérabilité de l’étudiant, type d’attribution causale concernant son passé scolaire) et contextuels (spécificités facultaires, disciplinaires, caractéristiques des environnements) qui ont contribué à la mise en place ou non de comportements d’aide (Neuville, Frenay, Noël & Wertz, 2008).

41Dans le même ordre d’idée, un bref sondage réalisé auprès des étudiants de première et de deuxième années a permis, bien que portant sur un très petit échantillon, de mettre en évidence qu’une des raisons pour laquelle certains étudiants ne participent pas aux actions d’accompagnement réside dans le fait qu’ils se sont rendu compte trop tard de l’utilité de ces dernières durant l’examen ou quand les notes sont publiées (Baillet 2005-2008).

42Enfin, une autre recherche en cours semble montrer que la très grande majorité des étudiants en milieu d’année académique se surévaluent largement. Il est dès lors naturel dans cet état d’esprit qu’ils ne fassent pas appel aux dispositifs d’aide qui leur sont proposés (Piret, Dozot, Pondeville, Houart & Dony, 2008).

43D’autres freins liés à la composition des équipes d’accompagnement peuvent justifier la difficulté d’évaluer systématiquement toutes les actions d’accompagnement. Les équipes dédiées à ces actions travaillent souvent en contingent restreint et doivent faire des choix dans les initiatives à prendre. La plupart du temps, les membres de ces équipes décident de se consacrer essentiellement à l’action et au suivi de l’étudiant. De plus, l’évaluation d’une action ou d’un dispositif suppose une récolte d’informations qui ne sont pas toujours directement disponibles (telles que les données de réussite de l’année) et dont l’analyse et l’interprétation sont onéreuses en temps et en ressources humaines. Le coût (humain, financier…) est un des critères dont doivent tenir compte les équipes pour mettre en place des actions réalistes et compatibles avec les délais fixés par les éventuels commanditaires. Enfin, malgré la déontologie des membres des équipes d’accompagnement, leur implication à la fois dans l’action et dans l’évaluation peut générer une certaine ambiguïté. Par exemple, la communication d'un rapport d'évaluation au commanditaire de l'action, aux collègues ou aux participants se fera sans doute différemment et l'utilisation potentielle des résultats risque également d'être différente.

44Un certain nombre de limites existent aussi au niveau du choix et de l’utilisation des outils. Lorsque des questionnaires sont rédigés sous forme de questions fermées, l’exploitation est souvent plus aisée mais le type d’interrogations limite l’apport d’informations, notamment qualitatives. A l’inverse, lorsque les questionnaires sont élaborés sous forme de questions ouvertes, l’analyse de contenu indispensable exige beaucoup de temps. De plus, un questionnaire trop long démotive les étudiants et s’avère moins riche en informations que ce que l’on escomptait. Nous soulevons là le problème de l’implication de l’étudiant dans un processus d’évaluation quel qu’il soit (questionnaires, enquêtes). Lors de la construction du questionnaire, il faut aussi être attentif à la formulation claire et concise des questions. Enfin, le questionnaire est l’outil par définition le plus adéquat pour obtenir des faits plus « objectifs ». Il convient peu, voire pas du tout à la récolte de sentiments, d’explicitation d’un mal-être.

45En ce qui concerne la mise en place d’entretiens, il va sans dire que lorsqu’on est face à un large public, cette technique s’avère souvent trop lourde à appliquer et, pour ces raisons, ne touche généralement qu’un public restreint. Le type d’entretiens (libre ou dirigé) a un impact sur l’information recueillie.

46Les discussions évaluatives, lorsqu’elles sont orales et collectives, ne sont guère représentatives car elles constituent un frein à la reconnaissance publique d’une aide reçue antérieurement, d’autant plus que si elles ont lieu en différé (par exemple quelques mois plus tard), le recul accentue l’imprécision des souvenirs ainsi que le sentiment que la réussite peut être attribuée à ses propres mérites.

47Enfin, un dernier ensemble de limites porte sur les conditions d’évaluation. De façon générale, la présence aux actions d’aide reste facultative. Certains accompagnateurs prennent note systématiquement de la présence à ces actions, mais d’autres pas. Dans ce dernier cas, il n’est pas possible de faire un lien avec la réussite de l’étudiant.

48En outre, le bilan est souvent réalisé à court terme, dès que l’action a été menée, par exemple via un questionnaire de satisfaction à l’issue de l’action. Ceci engendre évidemment un manque de recul de la part de l’étudiant pour « évaluer » l’action. En effet, même s’il s’avère satisfait, l’étudiant évalue difficilement l’utilité de l’action car il n’a pas encore eu l’occasion de confronter ce contenu à la réalité quotidienne du métier d’étudiant. Il est également important de tenir compte, dans la formulation des questions, de la confusion possible par les participants entre l'utilité/inutilité perçue et le caractère plaisant/déplaisant de l'action à laquelle ils ont participé. Par ailleurs, lorsque cette évaluation est différée dans le temps, quelques mois, voire un an après l’action, nous sommes alors confrontés à une imprécision des souvenirs, qui ne sont plus représentatifs de l’action qui a été réellement menée. Et pourtant, évaluer des effets s’inscrivant dans la durée (méthode de travail, persévérance dans les études) s’avère très intéressant.

49De plus, le choix du moment (par exemple, fin du cours versus début du cours) où l’on va procéder à l’évaluation n’est pas sans impact sur la motivation même des étudiants à remplir ce questionnaire et sur la validité des informations recueillies. Les évaluations sont rarement obligatoires et certains étudiants peuvent préférer éviter de répondre, pour ne pas perdre de temps ou parce qu'ils ne perçoivent pas l'intérêt de l'évaluation.

50Enfin, la contextualisation de l’évaluation est importante. En effet, chaque institution évalue des actions qu’elle a choisi de mener en fonction de son environnement spécifique (taille de l’institution d’enseignement supérieur, public large ou restreint) et donc une évaluation standard d’un système est exclue. De là, les comparaisons entre institutions, si elles sont pertinentes, sont difficiles à établir.

3. Trois exemples d’évaluation d’action pédagogique en contexte

3.1. Évaluation d’un dispositif de Guidances à l’Université libre de Bruxelles

51Depuis une vingtaine d’années, l’Université libre de Bruxelles a mis en place un dispositif de soutien et d’accompagnement appelé « Guidances ». Exclusivement destiné aux étudiants inscrits en première année, il est basé sur le principe du libre accès. En Faculté des Sciences psychologiques et de l’Éducation, il prend deux formes complémentaires avec, d’une part, des entretiens individualisés et, d’autre part, des séances d’accompagnement collectives centrées sur le contenu des cours que nous appelons « guidances » ou « séances de guidance ».

52Chaque année, ce dispositif fait l’objet d’une évaluation diffusée aux autorités académiques et aux enseignants concernés via un rapport d’activités (Baillet, 2005-2008). Il répond essentiellement à deux grands objectifs : sur le plan institutionnel, justifier la nécessité de continuer à bénéficier d’un financement permettant la mise en place du dispositif et sur le plan organisationnel, adapter la structure aux besoins mis en évidence à travers le rapport.

53Même si des données plus qualitatives telles que le profil des participants ou encore le type de questions posées lors des séances de guidance apparaissent dans le rapport d’activités, l’évaluation du dispositif consiste principalement en une appréciation quantitative de la présence des étudiants lors des guidances ainsi qu’en la comparaison des notes qu’ils obtiennent aux examens par rapport à celles obtenues par les étudiants n’y ayant pas participé. Cette comparaison est réalisable grâce au relevé systématique des présences lors des séances de guidance ainsi qu’à l’autorisation d’accéder aux fichiers de délibération reprenant les notes obtenues lors des examens.

54Globalement, les analyses effectuées mettent plusieurs faits en évidence. Ainsi, près d’un étudiant sur deux inscrit en première année a participé à au moins une séance de guidance durant l’année académique. Ensuite, on constate des différences de moyenne significatives entre les étudiants ayant participé aux guidances et ceux n’y ayant pas pris part et ce, tant au niveau de la moyenne générale obtenue à la fin de l’année académique (où on peut constater un gain pouvant représenter jusqu’à trois points et demi sur un maximum de vingt) qu’au niveau de chaque cours considéré séparément (où les différences représentent des gains de un à cinq points). Enfin, on peut aussi relever, pour les étudiants participant aux guidances, un nombre croissant de demandes d’accompagnement individuel.

55Ces résultats sont critiquables à plusieurs égards et illustrent quelques limites et difficultés précédemment mises en évidence. En effet, une partie des étudiants participant au dispositif ne sont pas en réelle difficulté et il est très difficile de les différencier des autres. Ensuite, les analyses effectuées n’apportent que peu ou pas d’information qualitative sur les attentes des étudiants participant aux guidances. Ces analyses ne permettent pas de pointer les bénéfices que les étudiants retirent de leur participation aux séances de guidance. Le mode de recueil des données ne permet pas de déterminer pourquoi certains étudiants, pourtant en difficulté sur le plan académique, ne participent pas aux guidances. Enfin, même si les étudiants ayant participé aux guidances obtiennent statistiquement de meilleurs résultats aux examens, il est toutefois impossible d’établir un lien de cause à effet entre la participation aux guidances et la note obtenue à l’examen.

3.2. Évaluation d’un dispositif de coaching par courrier électronique à l’Université de Liège

56Différentes actions d’accompagnement pédagogique collectives et individuelles sont proposées aux étudiants par un service extra-facultaire, le Service Guidance Étude (ci-après, SGE). Ces actions portent sur la gestion du temps et du travail, principalement pour les étudiants de première année d’enseignement supérieur et sont quasi-systématiquement évaluées à l’initiative du SGE lui-même.

57Sans être commanditées par l’institution, ces évaluations font néanmoins l’objet de rapports aux autorités universitaires. Leurs objectifs sont de justifier la pertinence des actions entreprises et d’en réguler les modalités (atteinte des objectifs et correspondance avec les attentes des étudiants).

58Un cas particulier : le coaching par courrier électronique auquel tout étudiant de l’Université de Liège qui le souhaite peut s’inscrire. Il s’agit pour le coach d’envoyer des messages électroniques à l’étudiant à différents moments-clés de l’année, ces moments étant choisis en fonction des périodes de cours et des sessions d'examens. Souvent, un dialogue coach-coaché s'installe et donne lieu à des échanges personnalisés. Un des principaux soucis du coach est d'assurer une correspondance régulière tout en évitant de « harceler » l'étudiant.

59Depuis sa mise en place en septembre 2005, le coaching a fait l’objet d’une évaluation annuelle, reposant à la fois sur les impressions des étudiants, leur profil et leur participation.

60Pour s’inscrire au coaching, les étudiants étaient invités à préciser par écrit leurs attentes. Celles-ci ont été classées en différents types de demande. Le profil des étudiants a également été appréhendé (fiche signalétique) et complété par leurs résultats aux évaluations de fin d’année. Enfin, l’avis des étudiants coachés a été sollicité au terme de l’action (en fin d’année académique) par le SGE. Avec le dernier courriel de coaching, un questionnaire fermé et identifiable leur a été envoyé. Chacune des réponses pouvait être commentée par l’étudiant. Les questions portaient sur les modalités d’action (nombre de messages reçus, longueur, contenu, période d’envoi des messages), les impressions des acteurs (satisfaction générale, caractère rassurant, motivant, soutenant, incitant) et leur participation (nombre de messages envoyés au coach).

61Globalement, l’évaluation a montré que les inscriptions au coaching sont plus fréquentes en début d’année, mais persistent jusqu’à la fin de la seconde session et que les trois demandes principales sont les méthodes de travail, la gestion du temps et un souhait de suivi personnel. L’évaluation a également mis en évidence qu’un véritable échange s’est installé entre coach et coaché dans plus des trois quarts des cas et qu’un peu plus de la moitié des coachés ont réussi l'année. L'analyse des questionnaires a, quant à elle, montré un haut degré de satisfaction pour le dispositif mis en place et pour ses différentes modalités, avec quelques rares remarques sur la longueur de certains messages. Les échanges personnalisés ont été appréciés car les réponses des coachs correspondaient aux attentes et ont constitué une aide appréciable aux yeux des étudiants.

62Certaines limites sont à relever dans l'exploitation qu'on peut faire de cette évaluation. Menée sous différents angles (fiche signalétique, base de données, recueil d'opinion), l’évaluation ne permet cependant pas de disposer de données « complètes » pour tous les étudiants car le taux de retour des questionnaires est, comme souvent, assez faible. Le questionnaire a été envoyé « anonymement » par le service plutôt que par chaque coach à ses coachés pour permettre à ces derniers d'être francs et critiques par rapport à la relation qui s'est installée (ou non) durant l'année. Néanmoins, sans ce souci de « distance objective », les étudiants auraient peut-être été plus nombreux à répondre au questionnaire comme prolongement du coaching personnalisé. Une autre solution serait de les sensibiliser davantage à l’importance pour eux de s’engager dans ce processus d’évaluation.

63Les étudiants présentent des profils assez hétérogènes sur de nombreux aspects personnels (année d'étude, section, difficultés académiques et/ou personnelles, recours à d'autres modalités d'aide) ou relatifs au coaching lui-même (demande initiale, moment du démarrage, modalités des échanges). Des groupes sont donc difficilement identifiables et les mises en relation systématiques de certains éléments devraient être nuancées par les particularités de chacun.

64Les objectifs du coaching ne consistent pas uniquement à essayer d'amener l'étudiant à la réussite de l'année. Certaines réussites partielles sont parfois déjà de grandes victoires et en dehors d'un impact sur les résultats de l'étudiant, il s'agit d’encadrer celui-ci, de le soutenir dans ses décisions, ses doutes, ses difficultés. De réels apports non quantifiables tels que le sentiment d'être écouté, l'aide à la prise de recul ou la prise de confiance nous paraissent aussi importants mais sont difficilement évaluables « objectivement ». Par ailleurs, afin de ne pas lasser les étudiants, le questionnaire devait être court, et le plus fermé possible, ce qui ne permet pas toujours d'aborder certaines notions de façon nuancée.

3.3. Évaluation d’un dispositif obligatoire de soutien aux étudiants à la Haute École Francisco Ferrer à Bruxelles

65Depuis septembre 2007, le Centre d’Accompagnement Pédagogique (ci-après, CAP) de la Haute École Francisco Ferrer à Bruxelles (HEFF) organise pour tous les étudiants de première année un dispositif pédagogique visant à permettre à ces derniers de se préparer à l’exercice de leur « métier d’étudiant » en confirmant leur choix d’études, en les dotant d’outils d’apprentissage et en les intégrant à leur nouvel environnement (Boulvain & Cobut, 2008).

66Ce dispositif intitulé « Des AILES pour réussir ! » comprend cinq Activités d’Intégration Liées à l’Enseignement Supérieur : 1) un séminaire consacré au projet personnel et professionnel ; 2) une journée de Team Building ; 3) un séminaire de recherche documentaire ; 4) un séminaire de méthodes de travail ; et 5) un cours de français du supérieur. Le dispositif obligatoire se déroule pendant le premier quadrimestre et est valorisé en ECTS. Les étudiants sont évalués sur l’élaboration et la présentation d’un portfolio qui rend compte des différentes activités suivies, du contenu de ces dernières et des effets observés sur leur vie d’étudiant.

67CAP souhaite évaluer le dispositif de manière à analyser son déroulement et à améliorer, le cas échéant, son fonctionnement et son contenu, à en mesurer les effets sur les étudiants et à argumenter sur le bien-fondé d’un tel projet. Cette démarche est encouragée par le collège de direction de la Haute École et exigée par la Fondation Roi Baudouin dans le cadre du soutien financier apporté au projet.

68Un questionnaire visait à récolter des informations sur le sentiment d’efficacité et de satisfaction du dispositif perçu par les étudiants. Confidentiel, il comportait des questions à réponses fermées et offrait la possibilité aux étudiants de s’exprimer librement sur les aspects positifs et négatifs du dispositif. Un groupe « témoin » de 15 étudiants n’ayant pas participé au dispositif AILES a été également invité à remplir un questionnaire à réponses fermées au travers duquel il s’agissait de récolter des informations sur leur sentiment de pertinence a priori des différentes activités proposées.

69Le questionnaire a été soumis aux étudiants au mois de janvier 2008, soit cinq semaines après la fin du dispositif, lors de cours obligatoires afin d’atteindre le plus d’étudiants possible. Malgré cette précaution, seulement 477 étudiants sur 749 ont répondu au questionnaire. Des invitations, sur base d’un tirage aléatoire de noms, ont également été adressées par courriel aux étudiants de manière à mener avec eux des entretiens semi directifs afin d’obtenir des informations plus qualitatives. Faute d’étudiants aux rendez-vous, ces entretiens n’ont pu être menés.

70Parallèlement, un debriefing a été mené avec l’ensemble des animateurs du dispositif. A partir de leurs vécus, ceux-ci ont exprimé individuellement par écrit leurs avis positifs et négatifs au sujet du dispositif. Après le partage de leurs positions, ils ont formulé des propositions d’amélioration tant des contenus que de la mise en œuvre des actions d’accompagnement entreprises.

71Les difficultés de l’évaluation de cette expérience d’accompagnement peuvent résider dans la représentativité des différents échantillons. Par ailleurs, nous nous questionnons autour de la difficulté, voire l’impossibilité de mesurer le lien qui peut exister entre un sentiment même assez positif de satisfaction et d’efficacité de ce dispositif d’accompagnement et son réel impact sur la réussite académique des étudiants interrogés.

4. Conclusion

72Après la production d’un outil pour décrire et analyser les actions d’accompagnement pédagogique (2004), d’un modèle de construction des actions (2006) et d’un modèle dynamique du processus d’évaluation de l’accompagnement pédagogique (2008), le groupe AdAPTE continue à réfléchir sur la clarification et la formalisation (modélisation) des actions liées à l’accompagnement des étudiants de première année de l’enseignement supérieur. Plus singulièrement, la question de recherche qui fait l’objet des investigations pendant les années académiques 2008-2009 et 2009-2010 se centre sur « l’ajustement des dispositifs d’accompagnement et sur les processus d’innovation que cet ajustement génère ». Cette réflexion s’effectue en respectant la démarche méthodologique habituelle du groupe en trois étapes : premièrement, confrontation d'expériences personnelles en relation avec le sujet abordé, deuxièmement, formalisation des pratiques et production d’un outil, et troisièmement, présentation de l’outil et intégration des échanges à l’occasion d’un atelier organisé dans le cadre d’un colloque AIPU (Rabat en 2010).

Top of page

Bibliography

Baillet, D.(2005-2008). Les Guidances – Structure d’aide pédagogique destinée aux étudiants de BA 1. Rapports internes sous la direction de Rey, B., Belgique : Université libre de Bruxelles, Faculté des Sciences psychologiques et de l’Education.

Bandura, A. (2002). Self-Efficacy: The Exercise of Control. New York: Freeman & Co. Publishers.

Bodson, X. (1999). La vie d'étudiant. Analyse des manières d'être étudiant et de leurs conséquences sur la réussite et l'échec en première candidature à l'UCL. Thèse de doctorat. Louvain-la-Neuve : Université Catholique de Louvain, Unité d'anthropologie et de sociologie.

Boulvain, M. & Cobut, B. (2008). Un dispositif obligatoire de soutien aux étudiants de 1re BA à la Haute École Francisco Ferrer à Bruxelles. Des AILES pour réussir ! Actes du XXVe Congrès de l’Association internationale de Pédagogie Universitaire, Montpellier, mai 2008.

Cartier, S. & Langevin, L. (2001). Tendances et évaluations des dispositifs de soutien aux étudiants du postsecondaire dans le Québec francophone. Revue des sciences de l’éducation, 27(2), 353-381.

Salmon, D, Cobut, B., Coupremanne, M., Delhaxhe, M., Dubois, P., Lamme, A., Noël, B., Parmentier, P. & Pollet, M.C. (2004). Bilan et perspectives d’actions d’accompagnement pédagogique des étudiants de première année d’enseignement supérieur en Communauté française de Belgique. Actes du XXIe Congrès de l’Association Internationale de Pédagogie Universitaire, Marrakech,Université Cadi Ayyad, mai 2004.

Salmon, D., Cobut, B., Coupremanne, M., Delhaxhe, M., Dubois, P., Goemaere, S., Houart, M., Noël, B., Pollet, M.C. & Slosse, P. (2006). L'accompagnement pédagogique des étudiants dans l'enseignement supérieur : conditions, actions et questions sur les critères de qualité. Actes du XXIIIe Congrès de l’Association Internationale de Pédagogie Universitaire, Monastir : Faculté de Pharmacie de l’Université de Monastir, mai 2006.

Lahire, B. (2003). Les difficultés scolaires des étudiants issus des milieux populaires. Actes du Colloque « Démocratie, classes préparatoires et grandes écoles ». Paris : École Normale Supérieure de Paris.

Neuville S., Frenay, M., Noël, B. & Wertz, V. (2008). Recherche d’aide et dispositifs d’accompagnement : pourquoi les étudiants qui en ont le plus besoin y recourent souvent le moins ? Recherche FRFC (UCL/FUCaM).

Parmentier, P. (1994). La réussite des études universitaires. Facteurs structurels et processuels de la performance académique en première année de médecine. Thèse de doctorat. Louvain-la-Neuve : Université Catholique de Louvain, Faculté de Psychologie et des Sciences de l'Éducation.

Parmentier, P. & Romainville, M. (1998). Les manières d'apprendre à l'université. In Frenay, M., Noël, B., Parmentier, P. & Romainville, M. L'étudiant-apprenant. Grille de lecture pour l'enseignant universitaire. Louvain-la-Neuve : Éditions De Boeck Université.

Piret, A., Dozot, C., Pondeville, S., Houart, M. & Dony, M. (2008). Sentiment de compétence des étudiants de première année du supérieur : tout va très bien, Madame la Marquise. Actes du XXVe Congrès de l’Association internationale de Pédagogie Universitaire, Montpellier : Universités de Montpellier, mai 2008.

Pirot, L. & De Ketele, J.M. (2000).L’engagement académique de l’étudiant comme facteur de réussite à l’université. Étude exploratoire menée dans deux facultés contrastées. Revue des sciences de l’éducation, 26(2), 367-394.

Pollet, M.C. (2001). Pour une didactique des discours universitaires. Étudiants et système de communication à l’université. Bruxelles : Éditions De Boeck Université.

Rey, B., Caffieaux, C., Compère, D., Lammé, A., Persenaire, E., Philippe, J. & Wallenborn G., (2003). Étude épistémologique, didactique et textuelle des savoirs enseignés à l'Université et dans les Hautes Écoles. (Sous la direction de : Rey, B.) Rapport de recherche commanditée. Bruxelles : Ministère de la Communauté française de Belgique, Ministère de l’Enseignement supérieur.

Rey, B., Baillet, D., Compère, D., Defrance, A. & Lammé, A. (2005). Pratiques pédagogiques dans l’enseignement supérieur et rapport au savoir des étudiants venant de milieux défavorisés. (Sous la direction de : Rey, B.) Rapport de recherche commanditée. Bruxelles : Ministère de la Communauté française de Belgique, Ministère de l’Enseignement supérieur.

Salmon, D. (2007). L’évolution du profil psycho-éducatif d’un étudiant de première année. Construction d’une enquête par questionnaires auprès des étudiants de première année à la FUSAGx. Communication au séminaire AdAPTE. Gembloux : FUSAGx.

Viau, R. (2004).La motivation en contexte scolaire. Louvain-la-Neuve : Éditions De Boeck Université.

Top of page

List of illustrations

Title Figure 1 : Modèle dynamique du processus d’évaluation de l’accompagnement pédagogique
URL http://journals.openedition.org/ripes/docannexe/image/252/img-1.jpg
File image/jpeg, 64k
Title Figure 2 : Tableau synthétique des éléments constitutifs du processus d’évaluation de l’accompagnement pédagogique
URL http://journals.openedition.org/ripes/docannexe/image/252/img-2.jpg
File image/jpeg, 544k
Top of page

References

Electronic reference

Didier Salmon, Dorothée Baillet, Marie Boulvain, Bernard Cobut, Michel Coupremanne, Dominique Duchâteau, Anne-France Lanotte, Pascale Dubois, Sabine Goemaere, Bernadette Noël, Mireille Houart and Pauline Slosse, “Construction d’un outil d’évaluation de la qualité des actions d’accompagnement pédagogique. Synthèse d’échanges et d’analyse de pratiques professionnelles en Communauté française de Belgique”Revue internationale de pédagogie de l’enseignement supérieur [Online], 25(2) | 2009, Online since 14 September 2009, connection on 16 April 2024. URL: http://journals.openedition.org/ripes/252; DOI: https://doi.org/10.4000/ripes.252

Top of page

About the authors

Didier Salmon

Académie universitaire Wallonie-Europe (AUWE)
Toute correspondance à propos de cet article peut être adressée à
Monsieur Didier Salmon, Coordinateur du groupe AdapteFUSAGX – PBS (Unité de physique des biosystèmes)
Passage des Déportés, 2, 5030 – Gembloux
Téléphone : +3281622493  - GSM/Répondeur : +32479258991
Courriel : salmon.d@fsagx.ac.be

By this author

Dorothée Baillet

Coordination des Guidances
Faculté des Sciences psychologiques et de l’Education
Université libre de Bruxelles (ULB)

By this author

Marie Boulvain

Service d’orientation et de soutien à la réussite (CAP Ferrer)
Haute Ecole Francisco Ferrer de Bruxelles (HEFF)

Bernard Cobut

Service d’orientation et de soutien à la réussite (CAP Ferrer)
Haute Ecole Francisco Ferrer de Bruxelles (HEFF)

By this author

Michel Coupremanne

Haute Ecole Léonard de Vinci (HELdV)

Dominique Duchâteau

Service Guidance Etude
Administration de l’enseignement et des étudiants
Université de Liège (ULg)

By this author

Anne-France Lanotte

Service Guidance Etude
Administration de l’enseignement et des étudiants
Université de Liège (ULg)

By this author

Pascale Dubois

Centre d’Information, de Conseil et d’Orientation
Université de Mons-Hainaut (UMH)

Sabine Goemaere

Centre de Pédagogie Universitaire
Accompagnement pédagogique des étudiants
Facultés universitaires catholiques de Mons (FUCaM)

By this author

Bernadette Noël

Centre de Pédagogie Universitaire
Accompagnement pédagogique des étudiants
Facultés universitaires catholiques de Mons (FUCaM)

Mireille Houart

Service de Pédagogie universitaire
Facultés universitaires Notre-Dame de la Paix de Namur (FUNDP)

By this author

Pauline Slosse

Service de Guidance interfacultaire en Chimie
Université libre de Bruxelles (ULB)

By this author

Top of page

Copyright

CC-BY-NC-SA-4.0

The text only may be used under licence CC BY-NC-SA 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search