Un jefe de proyecto que un viernes por la tarde debe entregar el informe de evaluación de un proyecto finalizado escribe enseguida: «Los objetivos se han alcanzado y la colaboración ha ido bien». Esa única frase no responde a ninguna de las seis preguntas que plantean los criterios CAD de la OCDE, y es precisamente ahí donde se quedan atascados la mayoría de los informes de evaluación.
Seis criterios, seis preguntas
Relevance (relevancia). ¿Respondía el proyecto a una necesidad real, en el momento en que se ejecutó? Un proyecto puede haberse ejecutado técnicamente a la perfección y aun así haberse vuelto irrelevante, porque el motivo original ha cambiado entre tanto.
Coherence (coherencia). Este criterio se añadió en la revisión de 2019 y pregunta: ¿encaja este proyecto con otras políticas, programas u otros proyectos dentro de la misma organización? ¿Refuerza el proyecto otras iniciativas, o entorpece alguna de ellas?
Effectiveness (eficacia). ¿Se han alcanzado realmente los objetivos previstos? Es la pregunta más obvia, y a la vez la que en muchos informes de evaluación recibe la respuesta más vaga: con un resumen narrativo en lugar de una afirmación verificable.
Efficiency (eficiencia). ¿Se han alcanzado los objetivos con un uso razonable de tiempo, dinero y personas? Eficacia y eficiencia se usan a menudo indistintamente, pero son dos preguntas distintas: un proyecto puede ser eficaz (se alcanzó el objetivo) y a la vez ineficiente (a un precio mucho más alto del necesario).
Impact (impacto). ¿Cuáles son los efectos más amplios y a largo plazo del proyecto, incluidos los efectos no previstos? Este criterio mira más allá de los resultados directos del proyecto, hacia su irradiación.
Sustainability (sostenibilidad). ¿Se mantienen los beneficios del proyecto una vez finalizado y disuelto el equipo? Este criterio pregunta explícitamente por la capacidad financiera, social e institucional para mantener los resultados en el tiempo. Está directamente emparentado con la pregunta sobre la realización de beneficios que reaparece evaluación tras evaluación.
Dos reglas de uso tan importantes como los seis criterios
Las directrices de la OCDE contienen dos advertencias al menos tan importantes como los propios criterios. Primera: los criterios no deben aplicarse de forma mecánica. Están pensados para generar preguntas de evaluación adecuadas al objetivo y al contexto de esa evaluación concreta, no como una lista de verificación que se marca sin pensar. Segunda: no todos los criterios son igual de relevantes en cada evaluación. Una evaluación de un proyecto de TI interno de corta duración tiene poco que ganar con un extenso análisis de coherencia; una evaluación de un proceso de transformación plurianual, en cambio, sí.
Por qué "el estándar" es una pretensión demasiado grande
Es tentador presentar los criterios CAD de la OCDE como el marco mundial de referencia para la evaluación de proyectos. Eso no es exacto. Los criterios se desarrollaron para el contexto de la cooperación al desarrollo, donde se utilizan desde los años noventa para valorar programas e intervenciones. Que ahora se apliquen ampliamente fuera de ese ámbito, en política pública, en evaluaciones del tercer sector y cada vez más también en evaluaciones de proyectos de TI e infraestructura, es un hecho real, pero de ahí no se sigue que se hayan convertido en el estándar para, por ejemplo, la evaluación de proyectos de TI o de construcción. Lo que sí es cierto: son seis criterios que, combinados con marcos como la revisión Gate 5 británica, la práctica PRINCE2 y el modelo CIPP, coinciden de forma llamativa en lo que esperan de una buena evaluación. Comprobar los beneficios frente a la promesa original, con criterios establecidos de antemano, y una mirada que va más allá del propio proyecto.
Cómo se traduce esto en un informe de evaluación
Una evaluación que aplica en serio los criterios de la OCDE no elige los seis automáticamente, sino que argumenta cuáles tres o cuatro son más relevantes para esa evaluación concreta, y los desarrolla después en profundidad, con una pregunta de evaluación explícita por criterio, no con un párrafo genérico que lo resume todo en una sola frase.
EvaluatieScore utiliza los criterios CAD de la OCDE como uno de los cuatro anclajes normativos que sustentan su rúbrica 7×3, junto con la revisión Gate 5 británica, la práctica PRINCE2 y el modelo CIPP. La categoría 1 de la rúbrica (alcance, objetivo y preguntas de evaluación) comprueba directamente si una evaluación utiliza criterios establecidos de antemano y argumentados, en lugar de encabezados genéricos.
Suba el informe de evaluación por 15 € a dutchmind.com/producten/evaluatiescore y vea cómo puntúa en estas seis preguntas.
Fuentes
- OECD DAC Network on Development Evaluation (EvalNet) (2019), Evaluation Criteria (herzien, DCD/DAC(2019)58 FINAL) — one.oecd.org.
- HM Government / Cabinet Office–IPA (nu NISTA) (2021), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0) — assets.publishing.service.gov.uk.
- PRINCE2-praktijk — End Project Report en Lessons Report Template (prince2.wiki, secundaire bron, geen officiële AXELOS-manual).
- Stufflebeam, D.L. (2015), CIPP Model checklist (2e ed.) — rszarf.ips.uw.edu.pl.