Der Abschlussbericht eines abgeschlossenen IT-Projekts der niederländischen Zentralregierung landet in einem Archivordner auf dem gemeinsamen Laufwerk, ungelesen von der Projektleitung, die drei Monate später ein vergleichbares Vorhaben beginnt. Genau dieses Projekt musste vor dem Start noch eine verpflichtende Prüfung durchlaufen; nach der Lieferung fragt niemand mehr, was aus dem versprochenen Nutzen geworden ist.
Wie die verpflichtende Vorabprüfung entstand
Der Anlass ist bekannt: Eine Reihe gescheiterter oder deutlich über Budget und Zeit gelaufener IT-Projekte der niederländischen Zentralregierung führte zur parlamentarischen Untersuchung unter Leitung von Ton Elias. Die Elias-Kommission kam in ihrem Abschlussbericht (2014) zu dem Schluss, dass vor dem Start von IT-Projekten zu wenig über das Wie und Warum des gewählten Ansatzes nachgedacht wurde. Die darauf folgende Regierungsreaktion (2015) führte zur Gründung des Bureau ICT-toetsing, später umbenannt in Adviescollege ICT-toetsing (AcICT).
Das AcICT prüft seither große IT-Projekte anhand eines Satzes von Grundregeln, und diese Grundregeln richten sich ausnahmslos auf die Phase vor und während der Durchführung. Ist der Business Case fundiert? Ist der Ansatz realistisch? Sind die Risiken erfasst? Genau hier setzen Tools wie CaseCheck (Business Case) und PlanScore (Projektplan) an: Das Instrumentarium, das die Elias-Kommission in Gang gesetzt hat, sitzt vollständig auf der Vorderseite.
Was danach nicht existiert
Sucht man nach einem vergleichbaren, verpflichtenden Instrument für die Phase nach der Lieferung, einer AcICT-ähnlichen Prüfung, die im Nachhinein feststellt, ob ein IT-Projekt gehalten hat, was es versprach, findet man keines. Es gibt keine landesweite, institutionalisierte Verpflichtung, nach Abschluss eines einzelnen Projekts festzustellen, ob der im Business Case versprochene Nutzen tatsächlich realisiert wurde, und was die Organisation daraus für das nächste Projekt lernen sollte.
Die nächstliegende Alternative ist die Regeling Periodiek Evaluatieonderzoek (RPE) 2022, die Ministerien verpflichtet, Politik periodisch, in Zyklen von vier bis verlängerbar sieben Jahren, auf Wirksamkeit und Effizienz zu evaluieren, mit einer verpflichtenden unabhängigen Expertenvalidierung bei Förderregelungen über zehn Millionen Euro. Das ist ein ernstzunehmendes Rahmenwerk, aber es ist ein Instrument der Politikevaluation, kein Instrument der Projektevaluation. Es richtet sich auf Förderregelungen und Politikprogramme, nicht auf die Frage, ob dieses IT-Projekt, jenes Umbauvorhaben oder jene Reorganisation geliefert hat, was vorab versprochen wurde. Die Lücke, die die Elias-Kommission auf der Ex-ante-Seite offenlegte, bleibt auf der Ex-post-Seite bestehen.
Unabhängige Bestätigung desselben Musters
Das ist nicht nur eine Erkenntnis aus 2014. Bereits 2013 stellte der Algemene Rekenkamer (niederländischer Rechnungshof) im Bericht Aanpak van ICT door het Rijk 2012 fest, dass "der gegenseitige Lernprozess auf Basis allgemeiner Lehren aus durchgeführten Reviews sich noch in einem Anfangsstadium befindet." Der Rechnungshof fügte hinzu, dass die Realisierung des Nutzens aus Business Cases noch zu wenig überwacht wurde, und empfahl, Business Cases sowohl vor dem Start als auch während der Laufzeit als Steuerungsinstrument zu nutzen. Zwei unabhängige Quellen, zehn Jahre auseinander, weisen auf dieselbe Lücke hin: Der Staat prüft im Vorfeld gründlich, aber die Lernfähigkeit im Nachhinein ist nachweislich schwach ausgeprägt.
Was das für Ihr Projekt bedeutet
Dieses Muster ist nicht einzigartig für die niederländische Zentralregierung. In den meisten Organisationen, öffentlich oder privat, gibt es ein Gate, ein Review oder einen Genehmigungsmoment vor dem Start eines Projekts, und manchmal einige zwischenzeitliche Steuerungsmomente während der Durchführung. Was nach der Lieferung geschieht, ist oft nicht mehr als eine informelle Nachbesprechung, wenn diese überhaupt stattfindet. Es gibt keine Instanz, die fragt: Ist das eine Evaluation, oder eine Abhak-Übung?
Genau in diesem Raum bewegt sich ein Tool wie EvaluatieScore: nicht als Ersatz für eine schwergewichtige RPE-Politikevaluation und nicht als Konkurrent des AcICT, sondern als niedrigschwelliges Instrument zwischen den formellen, verpflichtenden Rahmenwerken und dem informellen "wir besprechen es noch kurz nachträglich". EvaluatieScore beurteilt einen Ex-post-Evaluationsbericht anhand von sieben Kategorien, von Umfang und Evaluationsfragen über Nutzenrealisierung und methodische Unabhängigkeit bis Lessons Learned, und legt innerhalb weniger Minuten offen, ob eine Evaluation inhaltlich ist oder dekorativ.
Keine bewiesene Kausalität, aber eine nachweisbare Lücke
Wichtig ist hier Klarheit: Es gibt keinen wissenschaftlichen Beweis dafür, dass eine gut durchgeführte Ex-post-Evaluation automatisch zu besseren zukünftigen Projekten führt. Was hingegen solide belegt ist: Die instrumentelle Lücke zwischen Ex-ante-Prüfung (verpflichtend, institutionalisiert) und Ex-post-Evaluation (freiwillig, unstrukturiert) ist real und wurde mehrfach unabhängig festgestellt. Eine Evaluation, die an klaren Kriterien gemessen wurde, kann zu besser verankerten Lehren beitragen. Das ist eine andere, bescheidenere und besser belegbare Aussage als "bewiesen bessere Projekte", und es ist die Aussage, die EvaluatieScore verwendet.
Laden Sie Ihren eigenen Evaluationsbericht hoch auf dutchmind.com/producten/evaluatiescore und erhalten Sie für 15 € eine Bewertung anhand von sieben Kategorien, mit konkreten Ansatzpunkten, wo der Evaluation Inhalt fehlt oder sie gerade standhält.
Quellen
- Tijdelijke commissie ICT-projecten (commissie-Elias), Eindrapport "Grip op ICT" + kabinetsreactie (2014/2015) — pianoo.nl.
- Regeling periodiek evaluatieonderzoek 2022 (RPE) — wetten.overheid.nl.
- Algemene Rekenkamer (2013), Aanpak van ICT door het Rijk 2012 — rekenkamer.nl.