Vendredi après-midi, seize heures : le projet vient d'être livré et le chef de projet doit encore faire sortir le rapport d'évaluation avant le week-end — ce qui atterrit alors sur le papier est généralement un bilan sans structure fixe, un récit de ce qui s'est passé sans réponse systématique au pourquoi cela s'est déroulé ainsi, avec quels moyens, et si l'ensemble a produit ce qu'il devait produire. Le modèle CIPP de Daniel Stufflebeam offre malgré tout cette structure : quatre questions qui se posent tout aussi bien a posteriori qu'a priori.
Quatre lettres, quatre questions
CIPP signifie Context, Input, Process et Product : quatre moments d'évaluation qui se complètent plutôt qu'ils ne se chevauchent.
Context (contexte) interroge : quelle était la situation au démarrage du projet, et quel besoin en était à l'origine ? Cela rappelle la question de pertinence de l'OCDE, mais appliquée au moment du démarrage.
Input interroge : quels moyens, stratégies et plans ont été mobilisés pour répondre à ce besoin, et ces choix étaient-ils judicieux compte tenu des alternatives ? Ce moment d'évaluation se situe normalement avant l'exécution, mais a aussi sa place dans un bilan ex post : l'approche choisie était-elle, avec le recul, la bonne ?
Process (processus) examine l'exécution elle-même : le plan a-t-il été exécuté comme prévu, et quels écarts sont apparus en cours de route ?
Product (produit), le volet qui pèse le plus lourd pour l'évaluation ex post, se subdivise chez Stufflebeam en quatre sous-questions : impact (quels effets plus larges y a-t-il eu), effectiveness (les objectifs ont-ils été atteints), sustainability (les résultats persistent-ils) et transportability (l'approche est-elle transposable à d'autres situations ou projets). Pour ce dernier volet, le modèle impose un jeu de critères d'évaluation fixe : qualité, rentabilité, intégrité (probity), faisabilité, sécurité, équité et significativité.
L'exigence que la plupart des évaluations sautent : la méta-évaluation
L'élément le plus distinctif du modèle CIPP n'est pas la division en quatre elle-même, mais une exigence qui en est indissociable : Stufflebeam prescrit explicitement que l'évaluation elle-même soit soumise à des standards de méta-évaluation : utility (utilité), feasibility (faisabilité), propriety (bienséance), accuracy (précision) et evaluator accountability (responsabilité de l'évaluateur). Autrement dit : ce n'est pas seulement le projet qui est évalué, l'évaluation elle-même est aussi jugée sur sa qualité. Stufflebeam recommande explicitement que le commanditaire fasse réaliser une méta-évaluation indépendante, tandis que l'évaluateur qui effectue le travail proprement dit doit lui-même rester indépendant dans son jugement.
C'est une double couche d'indépendance rarement appliquée dans la pratique, mais qui constitue l'argument normatif le plus tranchant en faveur d'un principe qui revient dans presque tout cadre faisant autorité, de Gate 5 à la RPE 2022 : une évaluation rédigée uniquement par l'équipe projet elle-même, sans aucune forme de contradiction ou de regard extérieur, est par définition une évaluation plus faible qu'une évaluation qui a été soumise à un contrôle.
Une exigence explicite aussi pour les leçons
Outre l'exigence de méta-évaluation, le modèle CIPP impose que les rapports d'évaluation finale mentionnent explicitement des leçons, y compris les erreurs à éviter. Cela rejoint directement ce que nous abordons dans un autre article sur la différence entre documenter et apprendre : le modèle CIPP n'exige pas seulement que les leçons soient consignées par écrit, mais qu'elles soient suffisamment concrètes pour désigner réellement des erreurs à éviter : pas un constat vague, mais une leçon spécifique et traçable.
Pourquoi ce n'est pas qu'un modèle académique
Le modèle CIPP est issu de la littérature méthodologique centrale de la recherche en évaluation, pas de la pratique de la gestion de projet elle-même. C'est précisément ce qui en fait la valeur : là où les critères CAD de l'OCDE, Gate 5 et la pratique PRINCE2 sont surtout construits à partir du terrain, CIPP fournit le fondement méthodologique qui explique pourquoi l'indépendance, des critères fixés au préalable et des leçons orientées vers l'action ne sont pas des thèmes récurrents par hasard. Ils sont ancrés méthodologiquement dans la manière dont la recherche en évaluation, en tant que discipline, est elle-même structurée.
Comment cela se traduit dans le référentiel EvaluatieScore
Le modèle CIPP est l'une des quatre références normatives du référentiel EvaluatieScore, et la preuve la plus solide en faveur de l'indépendance comme critère de qualité explicite : la catégorie 4 du référentiel (qualité méthodologique et indépendance) vérifie directement si une méthode d'évaluation a été précisée, si un contrôle indépendant ou externe démontrable a eu lieu, et si les sources et données de l'évaluation sont transparentes.
Confrontez concrètement la catégorie 4 à votre propre rapport : téléversez-le pour 15 € sur dutchmind.com/producten/evaluatiescore et voyez si le test d'indépendance prescrit par Stufflebeam se retrouve aussi dans votre évaluation.
Sources
- Stufflebeam, D.L. (2015), CIPP Model checklist (2e ed.) — rszarf.ips.uw.edu.pl.
- HM Government / Cabinet Office–IPA (nu NISTA) (2021), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0) — assets.publishing.service.gov.uk.
- Regeling periodiek evaluatieonderzoek 2022 (RPE) — wetten.overheid.nl.