Wetenschappelijke onderbouwing
De onderbouwing van EvaluatieScore
EvaluatieScore beoordeelt of een project-evaluatierapport een leermoment oplevert of een afvinkoefening blijft, op 7 categorieën die zijn afgeleid van vier gezaghebbende, onafhankelijk ontwikkelde kaders: OECD DAC, UK Gateway Gate 5, PRINCE2 en het CIPP-evaluatiemodel. In Nederland bestaat er, anders dan vóór de start van een project, geen verplicht instrument voor evaluatie áchteraf; zelfs de Algemene Rekenkamer constateerde dat het lerend vermogen van het Rijk op dit punt nog in de kinderschoenen staat. Die rubric is dus stevig normatief onderbouwd, maar EvaluatieScore claimt niet dat een goede evaluatie wetenschappelijk bewezen tot betere toekomstige projecten leidt — dat directe bewijs is dun en blijft, ook na verdiepend onderzoek, de zwakste plek van dit fundament. Als instapproduct van de Dutchmind-suite (€15) past die bescheidenheid: EvaluatieScore toetst tegen de kaders, niet tegen een garantie op resultaat.
Zo is deze beoordeling onderbouwd
De onderliggende body of knowledge is opgebouwd via deep research langs zes zoeklijnen en een gerichte vervolgronde, met adversariële verificatie door drie onafhankelijke checks per claim (37 claims getoetst, 20 bevestigd). Alleen bevestigde claims zijn in deze onderbouwing opgenomen; verworpen of ongeverifieerd materiaal is expliciet uitgesloten.
De beoordelingscategorieën en hun fundament
1 Scope, doel & evaluatievragen
OECD DAC (EvalNet, herzien 2019) benadrukt dat evaluatiecriteria niet mechanisch mogen worden toegepast, maar toegesneden moeten zijn op het doel en de context van de evaluatie. De Nederlandse Regeling Periodiek Evaluatieonderzoek (RPE 2022) eist dat evaluatievragen aansluiten bij de fase van het project en expliciet doeltreffendheid én doelmatigheid adresseren.
2 Batenrealisatie vs. business case/plan
UK Gateway Gate 5 (Cabinet Office/IPA, nu NISTA) toetst als onafhankelijke, externe review expliciet of de baten uit de business case daadwerkelijk worden gerealiseerd en of er governance is voor toekomstige batenmeting. Aanvullend wijst het OECD-sustainability-criterium op de institutionele en financiële capaciteit om baten over tijd vast te houden, en beschrijft de PRINCE2-praktijk (End Project Report) een vergelijking van gerealiseerde versus verwachte baten.
3 Doeltreffendheid & doelmatigheid
OECD DAC noemt effectiveness en efficiency als twee van de zes kerncriteria voor evaluatie. De RPE 2022 eist dat departementen beleid en projecten periodiek beoordelen op zowel doeltreffendheid als doelmatigheid, apart onderbouwd in plaats van als één vage conclusie.
4 Methodologische kwaliteit & onafhankelijkheid
Stufflebeams CIPP-model eist dat een evaluatie zelf wordt getoetst aan metaevaluatie-standaarden, bij voorkeur via een onafhankelijke metaevaluatie. UK Gateway Gate 5 is zelf een onafhankelijke, externe assurance-laag bovenop de interne Post Implementation Review, en de RPE 2022 verplicht onafhankelijke deskundigen bij subsidie-evaluaties boven €10 miljoen — drie los van elkaar ontwikkelde kaders die onafhankelijkheid als kwaliteitswaarborg benoemen.
5 Prestatie op tijd, kosten, kwaliteit, scope, risico
De PRINCE2-praktijk (End Project Report en Lessons Report) beschrijft een feitelijke vergelijking van raming versus werkelijk op tijd, kosten en inspanning, en een beoordeling van de effectiviteit van management controls. Dit is een secundaire bron (prince2.wiki, geen officiële AXELOS-manual) en wordt daarom geframed als gangbare PRINCE2-praktijk, niet als officiële vereiste.
6 Lessons learned & vervolgacties
Stufflebeams CIPP-model eist dat eindevaluatierapporten expliciet lessen benoemen, inclusief te vermijden fouten. Williams (2007, University of Southampton ePrints) toont dat lessen uit individuele projecten in de praktijk zelden worden opgenomen in het bredere beleid van een organisatie zonder gerichte inspanning en een aangewezen proces — documenteren is niet hetzelfde als leren.
7 Coherentie, bredere impact & duurzaamheid
OECD DAC voegde in de herziening van 2019 het coherence-criterium toe: de compatibiliteit van een interventie met ander beleid en andere interventies in dezelfde sector of organisatie. De impact- en sustainability-criteria vragen naar bredere, langetermijneffecten en de institutionele capaciteit om baten vast te houden.
Kernclaims uit het onderzoek
Elke claim hieronder is adversarieel geverifieerd: drie onafhankelijke controles per claim, en alleen wat overeind bleef is opgenomen.
Vier gezaghebbende, onafhankelijk van elkaar ontwikkelde kaders — OECD DAC, UK Gateway Gate 5, PRINCE2 en het CIPP-model — convergeren op vrijwel dezelfde bouwstenen voor een goed evaluatierapport: baten toetsen tegen de oorspronkelijke belofte, onafhankelijke validatie, vooraf vastgestelde criteria en actiegerichte lessons learned.
Bron: OECD DAC (2019); HM Government/Cabinet Office-IPA Gate 5 (2021); PRINCE2-praktijk; Stufflebeam CIPP (2015)
De OECD DAC Evaluation Criteria (herzien 2019) onderscheiden zes criteria — relevance, coherence, effectiveness, efficiency, impact, sustainability — met expliciete waarschuwing tegen mechanische toepassing.
Bron: OECD DAC Network on Development Evaluation (EvalNet), Evaluation Criteria, herzien 2019 (DCD/DAC(2019)58 FINAL)
UK Gateway Gate 5 (Cabinet Office/IPA, nu NISTA) is een onafhankelijke, externe assurance-review die expliciet beoordeelt of de baten uit de business case daadwerkelijk worden gerealiseerd en of er governance is voor toekomstige batenmeting.
Bron: HM Government/Cabinet Office-IPA (nu NISTA), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0, juli 2021)
Stufflebeams CIPP-model eist dat een evaluatie zelf wordt getoetst aan metaevaluatie-standaarden (utility, feasibility, propriety, accuracy, evaluator accountability), bij voorkeur via een onafhankelijke metaevaluatie.
Bron: Stufflebeam, D.L. (2015). CIPP Model checklist (2e ed.)
De commissie-Elias concludeerde dat vóór de start van ICT-projecten onvoldoende wordt nagedacht over het hoe en waarom; de tien basisregels die hieruit voortkwamen zijn uitsluitend ex-ante gericht — er bestaat geen vergelijkbaar verplicht Rijksoverheid-instrument voor ex-post evaluatie na afloop van een ICT-project.
Bron: Commissie-Elias, Eindrapport 'Grip op ICT' + kabinetsreactie (2014/2015)
De Algemene Rekenkamer stelde in 2013 letterlijk dat het onderlinge leerproces op basis van algemene lessen uit uitgevoerde Gateway Reviews nog in een beginstadium verkeert, en concludeerde dat de realisatie van baten uit business cases nog te weinig wordt bewaakt.
Bron: Algemene Rekenkamer (2013), Aanpak van ICT door het Rijk 2012
Williams (2007) toont aan dat lessen uit individuele projecten in de praktijk zelden worden opgenomen in het bredere beleid van een organisatie; zonder een gerichte inspanning en een aangewezen proces gaan lessen verloren en worden fouten herhaald.
Bron: Williams, T. (2007). Post-Project Reviews to Gain Effective Lessons Learned (via University of Southampton ePrints)
De Regeling Periodiek Evaluatieonderzoek (RPE 2022) verplicht departementen beleid en projecten periodiek te evalueren op doeltreffendheid en doelmatigheid, in cycli van 4 tot 7 jaar, met verplichte onafhankelijke expertvalidatie bij subsidieregelingen boven €10 miljoen.
Bron: Regeling periodiek evaluatieonderzoek 2022 (RPE), wetten.overheid.nl
Kernbronnen
- OECD DAC Network on Development Evaluation (EvalNet). Evaluation Criteria (herzien 2019, DCD/DAC(2019)58 FINAL). one.oecd.org
- OECD. Evaluation criteria (institutionele samenvattingspagina). oecd.org
- HM Government / Cabinet Office–IPA (nu NISTA). Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0, juli 2021). assets.publishing.service.gov.uk
- Stufflebeam, D. L. (2015). CIPP Model checklist (2e ed.). rszarf.ips.uw.edu.pl
- Commissie-Elias. Eindrapport "Grip op ICT" + kabinetsreactie (2014/2015). pianoo.nl
- Regeling periodiek evaluatieonderzoek 2022 (RPE). wetten.overheid.nl
- Kotnour, T. (2000). Organizational learning practices in the project management environment. International Journal of Quality & Reliability Management. researchgate.net
- Algemene Rekenkamer (2013). Aanpak van ICT door het Rijk 2012. rekenkamer.nl + zoek.officielebekendmakingen.nl/kst-33584-2.html
- Williams, T. (2007). Post-Project Reviews to Gain Effective Lessons Learned. eprints.soton.ac.uk
- Flyvbjerg, B. (2021/2022). Top Ten Behavioral Biases in Project Management: An Overview. Project Management Journal 52(6), SAGE; arxiv.org/pdf/2202.00125
Gebaseerd op onze Body of Knowledge, v1.1 (11 juli 2026)