Het afsluitformulier ligt er al
Vrijdagmiddag, drie weken na de livegang van de nieuwe zaaksysteemmigratie bij een middelgrote gemeente. De borrel is achter de rug, het projectteam is alweer voor een deel op andere klussen gezet. Wat er wel ligt: een afsluitformulier met een tevredenheidscijfer van een 7,8, een incidentenlogboek met veertien meldingen uit de eerste twee weken, en de notulen van een retrosessie waarin iedereen "vooral positief" was. Vraag de projectleider of er een evaluatie is geweest, en het antwoord is meestal: ja, kijk maar.
Alleen: dit zijn drie losse documenten, geen evaluatie. En het verschil zit niet in de hoeveelheid papier.
Vier bouwstenen, een rubric
OECD DAC, de Britse Gate 5-toets, de PRINCE2-praktijk en het CIPP-model van Stufflebeam zijn onafhankelijk van elkaar ontwikkeld — voor ontwikkelingssamenwerking, voor grote infrastructuurprojecten, voor projectmanagement in het algemeen, voor onderwijs en beleid. Toch landen ze op dezelfde vier bouwstenen: baten toetsen tegen de oorspronkelijke belofte, een vorm van onafhankelijke validatie, criteria die vooraf zijn vastgesteld (niet achteraf verzonnen), en lessen die ergens toe leiden in plaats van alleen worden opgeschreven.
Leg het afsluitformulier van de gemeente naast die vier bouwstenen. Het tevredenheidscijfer toetst niet tegen de belofte uit de business case — het meet hoe het team zich voelde bij oplevering. Het incidentenlogboek registreert wat misging, niet of de beoogde baten (minder doorlooptijd per zaak, minder telefonische navraag bij de balie) zijn gehaald. En niemand buiten het projectteam heeft ernaar gekeken.
Dat is geen kritiek op de gemeente. Het is de normale staat van zaken: de bouwstenen liggen vaak al half klaar in de organisatie, alleen nooit bij elkaar.
Waarom fragmenten niet optellen tot een evaluatie
De Algemene Rekenkamer constateerde in 2013 al dat "het onderlinge leerproces... nog in een beginstadium" verkeert. Dat is geen oordeel over de kwaliteit van individuele documenten — gemeenten en andere organisaties documenteren doorgaans genoeg. Het is een oordeel over de afwezigheid van een proces dat de losse stukken bij elkaar brengt en er iets van maakt.
Drie fragmenten die elk een bouwsteen half raken, leveren geen evaluatie op zolang niemand ze naast elkaar legt en de vraag stelt die alle vier de bouwstenen samen dwingen te beantwoorden: zijn de beloofde baten er, aantoonbaar, gecontroleerd door iemand die niet zelf verantwoordelijk was voor het opleveren ervan? Dat is een andere vraag dan "hoe vonden we het gaan" — en het is precies de vraag die een tevredenheidscijfer en een incidentenlogboek niet beantwoorden, hoe zorgvuldig ze ook zijn opgesteld.
Wat dit oplevert — en wat niet
Een goede evaluatie die de vier bouwstenen wel combineert, levert een onderbouwd antwoord op de vraag of de beloofde baten er zijn gekomen, en een lijst aanbevelingen die aantoonbaar ergens landen. Dat een dergelijke evaluatie ook daadwerkelijk tot betere volgende projecten leidt, is met het beschikbare bewijs niet hard te maken — het enige kwantitatieve onderzoek daarnaar (Kotnour, 2000) is oud, indirect en op een casus gebaseerd. Wat wel te onderbouwen is: zonder de vier bouwstenen bij elkaar, blijft evalueren steken bij losse documenten die aanvoelen als afronding, maar niets toetsen.
Begin met naast elkaar leggen
Praktisch is de eerste stap niet om een nieuw evaluatieformat te ontwerpen, maar om te inventariseren wat er al ligt: het afsluitformulier, het incidentenlogboek, de retronotulen, de oorspronkelijke business case. Leg ze naast de vier bouwstenen en kijk welke er ontbreekt — in de praktijk is dat meestal de onafhankelijke validatie, of de toets tegen vooraf vastgestelde criteria. Dat gat is precies waar de volgende stap moet beginnen.