El informe final de un proyecto de TI del Estado neerlandés ya finalizado termina en una carpeta de archivo del disco compartido, sin que lo lea quien dirige el proyecto y que, tres meses después, empieza un proyecto comparable. Ese mismo proyecto tuvo que pasar antes de comenzar por una comprobación obligatoria; tras la entrega, ya nadie pregunta qué fue de los beneficios prometidos.
Cómo surgió la comprobación previa obligatoria
El origen es conocido: una serie de proyectos de TI del Estado fallidos o muy por encima de presupuesto y plazo dio lugar a la comisión de investigación parlamentaria presidida por Ton Elias. La comisión Elias concluyó en su informe final (2014) que, antes del inicio de los proyectos de TI, no se reflexionaba lo suficiente sobre el cómo y el porqué del enfoque elegido. La respuesta del gobierno que siguió (2015) resultó en la creación de la Oficina de Comprobación de TI (Bureau ICT-toetsing), posteriormente rebautizada como Consejo Asesor de Comprobación de TI (AcICT).
Desde entonces, el AcICT comprueba los grandes proyectos de TI frente a un conjunto de reglas básicas, y esas reglas básicas están, sin excepción, orientadas a la fase previa y durante la ejecución. ¿Está fundamentado el business case? ¿Es realista el enfoque? ¿Están identificados los riesgos? Es exactamente ahí donde encajan herramientas como CaseCheck (business case) y PlanScore (plan de ejecución): el instrumental que puso en marcha la comisión Elias se sitúa por completo en la parte previa.
Lo que no existe después
Busque un instrumento comparable y obligatorio para la fase posterior a la entrega, una comprobación al estilo AcICT que determine, a posteriori, si un proyecto de TI hizo lo que prometió, y no lo encontrará. No existe ninguna obligación institucionalizada a nivel estatal de determinar, tras la finalización de un proyecto individual, si los beneficios del business case realmente se han realizado, y qué debería aprender la organización de ello para el siguiente proyecto.
La alternativa más cercana es el Reglamento de Investigación de Evaluación Periódica (RPE) 2022, que obliga a los ministerios a evaluar periódicamente las políticas, en ciclos de cuatro a siete años, prorrogables, sobre eficacia y eficiencia, con una validación experta independiente obligatoria para los regímenes de subvención superiores a diez millones de euros. Es un marco serio, pero es un instrumento de evaluación de políticas, no de evaluación de proyectos. Se centra en regímenes de subvención y programas de política, no en si este proyecto de TI, aquel proceso de reforma o aquella reorganización entregó lo prometido de antemano. La brecha que la comisión Elias reveló en el lado ex ante sigue abierta en el lado ex post.
Confirmación independiente del mismo patrón
Esto no es solo una conclusión de 2014. Ya en 2013, el Tribunal de Cuentas neerlandés constató en el informe Aanpak van ICT door het Rijk 2012 que "el proceso de aprendizaje mutuo a partir de lecciones generales de las revisiones realizadas se encuentra todavía en una fase inicial." El Tribunal añadió que la realización de beneficios de los business cases se vigilaba todavía muy poco, y recomendó usar los business cases tanto antes del arranque como durante la ejecución, como instrumento de dirección. Dos fuentes independientes, con diez años de diferencia, señalan la misma brecha: el Estado comprueba a fondo de antemano, pero la capacidad de aprendizaje después es demostrablemente débil.
Qué significa esto para su proyecto
Este patrón no es exclusivo del Estado neerlandés. En la mayoría de las organizaciones, públicas o privadas, existe una puerta, revisión o momento de aprobación antes del inicio de un proyecto, y a veces algunos momentos de dirección intermedios durante la ejecución. Lo que ocurre después de la entrega, a menudo no es más que una charla informal, si es que llega a producirse. No hay ninguna instancia que pregunte: ¿es esto una evaluación, o un ejercicio de marcar casillas?
Precisamente ahí es donde encaja una herramienta como EvaluatieScore: no como sustituto de una pesada evaluación de política RPE, ni como competidor del AcICT, sino como instrumento accesible entre los marcos formales y obligatorios y el "ya lo comentamos por encima" informal. EvaluatieScore valora un informe de evaluación ex post en siete categorías, desde el alcance y las preguntas de evaluación hasta la realización de beneficios, la independencia metodológica y las lecciones aprendidas, y revela en pocos minutos si una evaluación es sustancial o decorativa.
Sin causalidad demostrada, pero con una brecha constatable
Conviene ser claros: no existe evidencia científica de que una evaluación ex post bien ejecutada conduzca automáticamente a mejores proyectos futuros. Lo que sí está bien fundamentado: la brecha instrumental entre la comprobación ex ante (obligatoria, institucionalizada) y la evaluación ex post (voluntaria, no estructurada) es real y se ha constatado de forma independiente en más de una ocasión. Una evaluación sometida a criterios claros puede contribuir a lecciones mejor aseguradas. Esa es una afirmación distinta, más modesta y mejor fundamentada que "proyectos demostrablemente mejores", y es la que aplica EvaluatieScore.
Suba su propio informe de evaluación en dutchmind.com/producten/evaluatiescore y reciba por 15 € una puntuación en siete categorías, con puntos de partida concretos sobre dónde la evaluación carece de contenido, o bien se mantiene sólida.
Fuentes
- Tijdelijke commissie ICT-projecten (commissie-Elias), Eindrapport "Grip op ICT" + kabinetsreactie (2014/2015) — pianoo.nl.
- Regeling periodiek evaluatieonderzoek 2022 (RPE) — wetten.overheid.nl.
- Algemene Rekenkamer (2013), Aanpak van ICT door het Rijk 2012 — rekenkamer.nl.