De blinde vlek van de zelfevaluatie
Vrijdagmiddag, half vijf, drie weken na oplevering: de projectleider zit alleen achter het toetsenbord en schrijft de eindrapportage over het eigen project. Niemand anders leest mee voordat het rapport de inbox van de opdrachtgever bereikt.
Vier onafhankelijk van elkaar ontwikkelde kaders voor projectevaluatie noemen ditzelfde punt, elk vanuit een andere hoek: de OECD DAC-criteria (breed toegepast, overdraagbaar kader, oorspronkelijk voor ontwikkelingssamenwerking), de Britse Gate 5-toets, de PRINCE2-praktijk en het CIPP-model van Stufflebeam. Los van elkaar ontstaan, komen ze op dezelfde bouwstenen uit: baten toetsen tegen de oorspronkelijke belofte, criteria die vooraf zijn vastgesteld (niet achteraf bedacht om het resultaat te laten passen), en, in alle vier de gevallen, een vorm van onafhankelijke validatie.
Wat "onafhankelijk" in de praktijk betekent
Onafhankelijk betekent niet per se extern. Het betekent: iemand die geen belang heeft bij een bepaalde uitkomst van de evaluatie beoordeelt (mee) of het resultaat overeenkomt met wat was beloofd. Bij Gate 5 is dat een aparte toetser buiten het projectteam. Bij CIPP zit het in de structuur van de vier vragen, die niet toelaten dat één perspectief het hele oordeel bepaalt. In de PRINCE2-praktijk wordt de evaluatie doorgaans belegd bij de stuurgroep of opdrachtgever, niet bij de projectmanager alleen.
De reden dat dit steeds terugkomt, is niet ingewikkeld: wie het project heeft gemaakt, heeft ook het meeste belang bij een positief verhaal erover. Een evaluatie die volledig door dezelfde persoon wordt geschreven die het project heeft geleid, mist per definitie die correctie.
Waarom dit in Nederland nog geen gewoonte is
Voor de start van een groot ICT-project bij het Rijk gelden inmiddels vaste regels, een direct gevolg van de commissie-Elias. Die regels zijn uitsluitend ex-ante: ze schrijven voor hoe je vooraf toetst of een project verantwoord van start gaat. Een vergelijkbaar verplicht instrument voor de andere kant van het traject, de evaluatie ná afloop, bestaat niet.
Dat gat is precies waar onafhankelijkheid als eerste sneuvelt. Zonder vast proces is de meest voor de hand liggende route dat de projectleider zelf een eindrapportage schrijft, vaak onder tijdsdruk van het volgende project. De Algemene Rekenkamer constateerde in 2013 dat het onderlinge leerproces tussen projecten "nog in een beginstadium" verkeert. Een evaluatie zonder onafhankelijke blik draagt daar weinig aan bij, hoe zorgvuldig de projectleider ook is.
Wat dit betekent voor uw volgende evaluatie
Onafhankelijkheid organiseren hoeft niet zwaar te zijn. Het kan een collega uit een ander team zijn die de eindrapportage tegen de oorspronkelijke businesscase houdt, een stuurgroeplid dat expliciet de vraag stelt of de beloofde baten er ook echt zijn gekomen, of een vast sjabloon met criteria die al bij de start van het project zijn vastgelegd, zodat er achteraf niet meer aan te sleutelen valt.
Concreet betekent dat: laat de eigen eindrapportage één keer toetsen door iemand die niet aan het project heeft gewerkt, bijvoorbeeld via de EvaluatieScore (dutchmind.com/producten/evaluatiescore, €15), voordat het rapport naar de opdrachtgever gaat.