Un chef de projet qui doit remettre, un vendredi après-midi, le rapport d'évaluation d'un projet achevé écrit souvent : « Les objectifs ont été atteints et la collaboration s'est bien déroulée. » Cette seule phrase ne répond à aucune des six questions posées par les critères CAD de l'OCDE, et c'est précisément là que la plupart des rapports d'évaluation restent bloqués.
Six critères, six questions
Relevance (pertinence). Le projet répondait-il à un besoin réel, au moment où il a été mené ? Un projet peut avoir été exécuté de manière techniquement parfaite et devenir malgré tout non pertinent, parce que la raison d'être initiale a entre-temps changé.
Coherence (cohérence). Ce critère a été ajouté lors de la révision de 2019 et pose la question suivante : ce projet s'inscrit-il dans la continuité d'autres politiques, programmes ou projets au sein de la même organisation ? Le projet a-t-il un effet renforçateur, ou entre-t-il en conflit avec une autre initiative ?
Effectiveness (efficacité). Les objectifs visés ont-ils réellement été atteints ? C'est la question la plus évidente, et en même temps celle à laquelle de nombreux rapports d'évaluation répondent le plus vaguement : par un résumé narratif plutôt qu'une affirmation vérifiable.
Efficiency (efficience). Les objectifs ont-ils été atteints avec un engagement raisonnable de temps, d'argent et de personnes ? Efficacité et efficience sont souvent confondues, mais ce sont deux questions distinctes : un projet peut être efficace (l'objectif est atteint) et pourtant inefficient (à un coût bien plus élevé que nécessaire).
Impact. Quels sont les effets plus larges et à long terme du projet, y compris les effets non anticipés ? Ce critère regarde au-delà des résultats directs du projet pour en examiner le rayonnement.
Sustainability (durabilité). Les bénéfices du projet persistent-ils après sa clôture et la dissolution de l'équipe projet ? Ce critère interroge explicitement la capacité financière, sociale et institutionnelle à maintenir les résultats dans le temps. Il est directement lié à la question de la réalisation des bénéfices, qui revient d'évaluation en évaluation.
Deux règles d'usage aussi importantes que les six critères
Les lignes directrices de l'OCDE contiennent deux avertissements au moins aussi importants que les critères eux-mêmes. Premièrement : les critères ne doivent pas être appliqués mécaniquement. Ils sont destinés à générer des questions d'évaluation adaptées à l'objectif et au contexte de l'évaluation spécifique, pas à servir de check-list que l'on coche sans réfléchir. Deuxièmement : tous les critères ne sont pas également pertinents dans chaque évaluation. L'évaluation d'un projet informatique interne de courte durée tire peu de profit d'une analyse approfondie de la cohérence ; l'évaluation d'un chantier de transformation pluriannuel, en revanche, oui.
Pourquoi « la norme » est une prétention excessive
Il est tentant de présenter les critères CAD de l'OCDE comme LE cadre mondial de référence pour l'évaluation de projet. Ce n'est pas exact. Ces critères ont été développés pour le contexte de la coopération au développement, où ils sont utilisés depuis les années 1990 pour évaluer programmes et interventions. Le fait qu'ils soient aujourd'hui largement appliqués en dehors de ce domaine, dans les politiques publiques, les évaluations à but non lucratif, et de plus en plus dans les évaluations de projets informatiques et d'infrastructure, est un constat réel, mais l'idée qu'ils seraient ainsi devenus la norme pour, par exemple, l'évaluation de projets informatiques ou de construction ne l'est pas. Ce qui est vrai en revanche : ce sont six critères qui, combinés à des cadres comme la revue britannique Gate 5, la pratique PRINCE2 et le modèle CIPP, convergent de manière frappante sur ce qu'ils attendent d'une bonne évaluation. Confronter les bénéfices à la promesse initiale, des critères fixés au préalable, et un regard qui va au-delà du projet lui-même.
Comment cela se traduit dans un rapport d'évaluation
Une évaluation qui applique sérieusement les critères de l'OCDE ne les retient pas tous les six automatiquement, mais argumente lesquels, parmi trois ou quatre, sont les plus pertinents pour cette évaluation précise, puis les développe sur le fond, avec une question d'évaluation explicite par critère, et non un paragraphe fourre-tout qui résume tout en un seul alinéa.
EvaluatieScore utilise les critères CAD de l'OCDE comme l'une des quatre références normatives de son référentiel 7×3, aux côtés de la revue britannique Gate 5, de la pratique PRINCE2 et du modèle CIPP. La catégorie 1 du référentiel (portée, objectif et questions d'évaluation) vérifie directement si une évaluation applique des critères fixés au préalable et argumentés, plutôt que des rubriques génériques.
Téléversez le rapport d'évaluation pour 15 € sur dutchmind.com/producten/evaluatiescore et découvrez comment il se positionne sur ces six questions.
Sources
- OECD DAC Network on Development Evaluation (EvalNet) (2019), Evaluation Criteria (herzien, DCD/DAC(2019)58 FINAL) — one.oecd.org.
- HM Government / Cabinet Office–IPA (nu NISTA) (2021), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0) — assets.publishing.service.gov.uk.
- PRINCE2-praktijk — End Project Report en Lessons Report Template (prince2.wiki, secundaire bron, geen officiële AXELOS-manual).
- Stufflebeam, D.L. (2015), CIPP Model checklist (2e ed.) — rszarf.ips.uw.edu.pl.