Het eindrapport van een afgerond Rijks-ICT-project belandt in een archiefmap op de gedeelde schijf, ongelezen door de projectleider die drie maanden later aan een vergelijkbaar traject begint. Datzelfde project moest vóór de start nog langs een verplichte toets; ná oplevering vraagt niemand meer wat er van de beloofde baten terechtkwam.
Hoe het verplichte vooraf ontstond
De aanleiding is bekend: een reeks mislukte of fors over budget en tijd gelopen ICT-projecten bij de Rijksoverheid leidde tot de parlementaire enquête onder leiding van Ton Elias. De commissie-Elias concludeerde in haar eindrapport (2014) dat er vóór de start van ICT-projecten onvoldoende werd nagedacht over het hoe en waarom van de gekozen aanpak. De kabinetsreactie die daarop volgde (2015) resulteerde in de oprichting van het Bureau ICT-toetsing, later omgedoopt tot het Adviescollege ICT-toetsing (AcICT).
Het AcICT toetst sindsdien grote ICT-projecten aan een set basisregels, en die basisregels zijn, zonder uitzondering, gericht op de fase vóór en tijdens de uitvoering. Is de business case onderbouwd? Is de aanpak realistisch? Zijn de risico's in kaart? Dat is precies waar tools als CaseCheck (business case) en PlanScore (plan van aanpak) op aansluiten: het instrumentarium dat de commissie-Elias heeft losgemaakt, zit volledig aan de voorkant.
Wat er ná afloop níét bestaat
Zoek naar een vergelijkbaar, verplicht instrument voor de fase ná oplevering, een AcICT-achtige toets die achteraf vaststelt of een ICT-project heeft gedaan wat het beloofde, en je vindt hem niet. Er is geen rijksbrede, geïnstitutionaliseerde verplichting om na afloop van een individueel project vast te stellen of de baten uit de business case daadwerkelijk zijn gerealiseerd, en wat de organisatie daarvan zou moeten leren voor het volgende project.
Het dichtstbijzijnde alternatief is de Regeling Periodiek Evaluatieonderzoek (RPE) 2022, die departementen verplicht om beleid periodiek, in cycli van vier tot verlengbaar zeven jaar, te evalueren op doeltreffendheid en doelmatigheid, met een verplichte onafhankelijke expertvalidatie bij subsidieregelingen boven de tien miljoen euro. Dat is een serieus kader, maar het is een beleidsevaluatie-instrument, geen projectevaluatie-instrument. Het richt zich op subsidieregelingen en beleidsprogramma's, niet op de vraag of dít ICT-project, dát verbouwingstraject of die reorganisatie heeft opgeleverd wat vooraf beloofd was. Het gat dat de commissie-Elias blootlegde voor de ex-ante-kant, blijft voor de ex-post-kant openstaan.
Onafhankelijke bevestiging van hetzelfde patroon
Dit is niet alleen een conclusie uit 2014. Al in 2013 constateerde de Algemene Rekenkamer in het rapport Aanpak van ICT door het Rijk 2012 dat "het onderlinge leerproces op basis van algemene lessen uit uitgevoerde reviews, verkeert nog in een beginstadium." De Rekenkamer voegde daaraan toe dat de realisatie van baten uit business cases nog te weinig werd bewaakt, en beval aan om business cases zowel vóór de start als tíjdens de looptijd als stuurinstrument te gebruiken. Twee onafhankelijke bronnen, tien jaar uit elkaar, wijzen naar hetzelfde gat: het Rijk toetst voorafgaand grondig, maar het lerend vermogen ná afloop is aantoonbaar zwak ontwikkeld.
Wat dit betekent voor jouw project
Dit patroon is niet uniek voor de Rijksoverheid: ook in jouw organisatie, publiek of privaat, bestaat waarschijnlijk een gate, review of goedkeuringsmoment vóór de start van een project, en soms een aantal tussentijdse stuurmomenten tijdens de uitvoering. Wat er ná oplevering gebeurt, is vaak niet meer dan een informele nabespreking, als die er al komt. Er is geen instantie die vraagt: is dit een evaluatie, of een afvinkoefening?
Dat is precies de ruimte waarin een tool als EvaluatieScore past: niet als vervanging van een zware RPE-beleidsevaluatie, en niet als concurrent van AcICT, maar als laagdrempelig instrument tussen de formele, verplichte kaders en het informele "we bespreken het nog even nabij". EvaluatieScore beoordeelt een ex-post-evaluatierapport op zeven categorieën, van scope en evaluatievragen tot batenrealisatie, methodologische onafhankelijkheid en lessons learned, en legt binnen enkele minuten bloot of een evaluatie inhoudelijk is, of decoratief.
Geen bewezen causaliteit, wel een aantoonbaar gat
Er bestaat geen wetenschappelijk bewijs dat een goed uitgevoerde ex-post-evaluatie automatisch tot betere toekomstige projecten leidt. Wat wel stevig onderbouwd is: het instrumentele gat tussen ex-ante-toetsing (verplicht, geïnstitutionaliseerd) en ex-post-evaluatie (vrijwillig, ongestructureerd) is reëel en meermaals onafhankelijk vastgesteld. Een evaluatie die getoetst is aan heldere criteria kan bijdragen aan beter geborgde lessen. Dat is een andere, bescheidener en beter te onderbouwen claim dan "bewezen betere projecten", en het is de claim die EvaluatieScore hanteert.
Upload je eigen evaluatierapport op dutchmind.com/producten/evaluatiescore en ontvang voor €15 een score op zeven categorieën, met concrete aanknopingspunten voor waar de evaluatie inhoud mist of juist standhoudt.