Évaluation par compétences : comment les apprenants en APC sont évalués

L’évaluation par compétences permet de juger si un apprenant est capable d’exécuter une tâche au niveau exigé en milieu de travail, et consigne le résultat (compétent ou pas encore compétent) au regard de critères de performance écrits. Elle remplace l’examen de fin de cours, qui classe les apprenants les uns par rapport aux autres, par un ensemble de preuves, recueillies de plusieurs manières, qui montrent ce que chaque apprenant sait réellement faire. Bien menée, c’est la composante de la formation par compétences qui donne tout son sens à un certificat.

Qu’est-ce que l’évaluation par compétences ?

Dans la formation par compétences (approche par compétences, APC), les résultats attendus sont définis en premier. Chaque unité d’un programme est tirée d’une norme professionnelle et précise ce qu’une personne compétente doit être capable de faire, dans quelles conditions et selon quel niveau d’exigence. Ces énoncés constituent les critères de performance.

L’évaluation par compétences est le processus qui consiste à recueillir des preuves de la performance d’un apprenant et à les comparer à ces critères. Le jugement est binaire au niveau de chaque critère : satisfait ou non satisfait. Un apprenant est compétent dans une unité lorsque tous ses critères sont satisfaits. Un apprenant qui ne les a pas encore tous satisfaits est jugé « pas encore compétent » ; il est informé précisément des critères restants et bénéficie d’un apprentissage complémentaire ainsi que d’une nouvelle possibilité d’être évalué.

Il en découle trois caractéristiques, qui la distinguent de l’expérience scolaire de la plupart des gens.

• Elle est critériée. La norme est fixée à l’avance et l’apprenant est mesuré par rapport à elle, et non par rapport au reste de la classe.
• Elle est fondée sur des preuves. Le jugement repose sur ce que l’évaluateur a vu, examiné ou vérifié, et non sur une impression.
• Elle est continue et renouvelable. L’évaluation a lieu lorsque l’apprenant est prêt, et un apprenant pas encore compétent peut être réévalué au lieu d’être recalé.

En quoi diffère-t-elle des examens traditionnels ?

Les différences apparaissent le plus clairement lorsqu’on les compare côte à côte.

Le passage du Ghana d’une multiplicité de régimes d’examen à une évaluation fondée sur les normes, dans le cadre du Ghana TVET Qualifications Framework (cadre ghanéen des certifications de l’enseignement et de la formation techniques et professionnels, EFTP), est au fond un passage de la colonne de gauche à celle de droite. C’est aussi la partie la plus exigeante de la transition, ce qui explique que notre travail de réforme de l’évaluation en EFTP commence si souvent ici.

Qu’est-ce qui constitue une preuve de compétence ?

Le jugement étant fondé sur des preuves, la qualité d’une évaluation dépend de la qualité et de la diversité de ces preuves. Les évaluateurs s’appuient généralement sur six types de preuves.

1. L’observation directe de la performance. L’évaluateur observe l’apprenant exécuter la tâche en atelier, sur site ou dans un environnement simulé, et consigne ce qui est fait au moyen d’une grille d’observation. C’est la preuve la plus solide d’une compétence pratique.
2. Les preuves par le produit. L’évaluateur examine un ouvrage réalisé ou achevé par l’apprenant (un joint soudé, un vêtement, un tableau électrique câblé, un jeu de comptes ou une parcelle labourée, par exemple) au regard de la finition et des spécifications exigées par la norme.
3. Le questionnement. Des questions orales ou écrites vérifient les connaissances sous-jacentes : pourquoi une étape est réalisée dans cet ordre, ce qui se passerait si une condition changeait, quelle règle de sécurité s’applique. Le questionnement confirme également que la performance observée a été comprise, et non simplement imitée.
4. Les preuves de portfolio. Un ensemble d’échantillons de travaux, de photographies, de carnets de bord, de dessins et de réflexions constitué au fil du temps, chacun étant relié aux critères qu’il étaye.
5. Les preuves issues du milieu de travail. Les documents d’un stage ou d’un apprentissage : fiches de travail, visas du superviseur, retours de clients, relevés de production.
6. Les rapports de tiers. Une déclaration structurée d’un superviseur ou d’un employeur qui a vu l’apprenant à l’œuvre, utilisée pour corroborer d’autres preuves plutôt que pour les remplacer.

Un jugement solide repose presque toujours sur plusieurs types de preuves. L’observation associée au questionnement constitue le minimum habituel pour une unité pratique ; les preuves de portfolio et du milieu de travail élargissent la base de jugement et montrent que la compétence se maintient dans le temps et en conditions réelles.

Qu’est-ce qui rend une évaluation solide ?

Quatre principes sont largement utilisés pour vérifier si une évaluation est digne de confiance. On les abrège souvent en VRFF.

Validité. L’évaluation mesure ce que la norme prévoit qu’elle mesure. Si le critère est « installe le raccord conformément aux spécifications du fabricant », un questionnaire à choix multiples sur les raccords n’est pas une preuve valide ; l’observation de l’installation, si.

Fiabilité. Deux évaluateurs formés, ou le même évaluateur à deux jours d’intervalle, parviendraient au même jugement à partir des mêmes preuves. La fiabilité repose sur des critères clairs, de bons instruments et la formation des évaluateurs, et c’est précisément ce que la vérification vise à protéger.

Équité. Chaque apprenant sait à l’avance ce qui sera évalué et comment, dispose d’une chance égale de démontrer sa compétence et peut contester une décision. L’équité comprend des aménagements raisonnables pour les apprenants en situation de handicap, à condition que la norme elle-même ne soit pas abaissée.

Flexibilité. Les preuves peuvent être recueillies de différentes manières, à différents moments et dans différents contextes, selon l’apprenant et la situation, tant que la validité et la fiabilité sont préservées. C’est la flexibilité qui rend possible la reconnaissance des acquis de l’expérience.

Lorsqu’un système d’évaluation est défaillant, c’est généralement l’un de ces principes qui a été négligé, et identifier lequel est le moyen le plus rapide d’y remédier.

Quels outils les évaluateurs utilisent-ils ?

Une bonne évaluation se planifie, elle ne s’improvise pas. Trois outils font l’essentiel du travail.

Les plans d’évaluation. Pour chaque unité, un plan précise quels critères seront évalués, par quelles méthodes, où, quand, avec quelles ressources et par qui. Il est convenu au préalable avec l’apprenant, ce qui constitue en soi une exigence d’équité.

Les grilles d’observation. Une liste des actions et résultats observables correspondant aux critères de performance, avec un espace pour consigner ce qui a été vu et indiquer si chaque élément est satisfait. Les grilles rendent l’observation cohérente d’un évaluateur à l’autre et constituent l’épine dorsale de la fiabilité.

Les grilles critériées et les consignes de notation. Lorsque la norme porte sur la qualité du résultat plutôt que sur un simple oui ou non, une grille critériée décrit à quoi ressemble « conforme à la norme » pour chaque critère, afin que les évaluateurs jugent la finition, la précision ou la tolérance de la même manière. Dans la méthodologie d’Eljen, ces instruments et consignes de notation sont élaborés lors de la Phase 2 : Développement des programmes, en parallèle des spécifications d’unités et des supports d’apprentissage, puis validés avec les entreprises lors de la Phase 3 : Validation par les parties prenantes, afin qu’ils reflètent les attentes réelles du milieu de travail plutôt que les préférences d’un formateur. Ils font également partie de ce que le CTVET (Commission for Technical and Vocational Education and Training, l’autorité ghanéenne de régulation de l’EFTP) s’attend généralement à examiner lors de l’accréditation des programmes.

Qui fait quoi : évaluateur et vérificateur

Deux rôles garantissent l’intégrité du système.

L’évaluateur planifie l’évaluation avec l’apprenant, recueille et examine les preuves, rend le jugement « compétent » ou « pas encore compétent » pour chaque critère, fait un retour à l’apprenant et tient les dossiers. Les évaluateurs doivent eux-mêmes être compétents dans le métier et formés aux pratiques d’évaluation.

Le vérificateur interne, parfois appelé modérateur, contrôle l’évaluateur plutôt que l’apprenant. Il échantillonne les dossiers et les preuves d’évaluation, observe les évaluateurs à l’œuvre, compare les décisions entre évaluateurs et entre cohortes, et confirme que les instruments et les jugements sont conformes à la norme. Lorsqu’il constate une dérive, il intervient avant qu’elle n’aboutisse à la délivrance d’un certificat.

La vérification externe est ce même contrôle, effectué pour le compte de l’organisme certificateur ou de l’autorité de régulation, par échantillonnage entre établissements, afin qu’un certificat ait la même valeur quel que soit le lieu où il a été obtenu. Ensemble, la vérification interne et la vérification externe forment la boucle de rétroaction dont dépend le système d’assurance qualité d’un établissement.

Qu’est-ce que la reconnaissance des acquis de l’expérience ?

De nombreuses personnes qualifiées, au Ghana et ailleurs en Afrique, ont appris leur métier par l’apprentissage, le travail informel ou l’expérience sur le terrain, et ne détiennent aucun certificat. La reconnaissance des acquis de l’expérience (RAE/RPL) applique l’évaluation par compétences à des compétences qui existent déjà.

Le candidat est évalué au regard de la même norme professionnelle qu’un apprenant en formation, selon les mêmes principes et avec les mêmes types de preuves : un portfolio de travaux antérieurs, des rapports de tiers rédigés par des employeurs, l’observation de la performance et le questionnement. Les unités dans lesquelles le candidat est compétent sont créditées ; il ne se forme ensuite qu’aux unités restantes. La RAE n’est possible que parce que la norme, et non le cours, constitue le point de référence. C’est l’un des arguments les plus forts en faveur de certifications fondées sur des normes professionnelles élaborées avec les entreprises.

Erreurs courantes à éviter

Les établissements qui passent à l’évaluation par compétences ont tendance à commettre les mêmes erreurs.

1. N’évaluer que les connaissances. Un test écrit est administré, une note est consignée et l’unité est validée. Rien n’a été observé. Le certificat atteste désormais une compétence qui n’a jamais été démontrée.
2. Des examens en une seule session. L’évaluation est programmée une seule fois, à la fin, pour tout le monde, sans tenir compte du degré de préparation. Les apprenants compétents mais anxieux échouent ; ceux qui ne sont pas encore compétents n’ont aucun recours.
3. Aucune possibilité de réévaluation. Un résultat « pas encore compétent » est traité comme un échec, sans retour sur les critères non satisfaits ni seconde tentative. Cela vide l’approche de tout son sens.
4. Des instruments qui ne correspondent pas aux critères. Des grilles rédigées de mémoire à partir du cours plutôt qu’à partir de la spécification de l’unité, de sorte que ce qui est évalué n’est pas ce qu’exige la norme.
5. Des évaluateurs qui évaluent leur propre enseignement sans vérification. Sans vérificateur interne, les exigences dérivent sans que personne ne s’en aperçoive, et le jugement de chaque évaluateur devient une affaire privée.
6. Des dossiers non traçables. Les jugements sont consignés, mais les preuves qui les fondent ne sont pas conservées ou ne peuvent pas être rattachées à un apprenant et à un critère, si bien qu’un vérificateur ou un examinateur chargé de l’accréditation n’a rien à examiner.
7. La conversion en notes. Les résultats par critère sont discrètement transformés en pourcentages « pour les parents » ou « pour le relevé de notes », réintroduisant le classement par la petite porte.

Chacune de ces erreurs peut être corrigée, et la plupart relèvent de la formation et des instruments plutôt que des moyens ; voir nos services d’évaluation par compétences. Si votre établissement réforme son système d’évaluation, ou prépare pour la première fois des évaluateurs et des vérificateurs, parlez-nous du meilleur point de départ.