2013 schrieb der niederländische Rechnungshof (Algemene Rekenkamer) in seinem Bericht Aanpak van ICT door het Rijk 2012 einen Satz nieder, der seither kaum Beachtung gefunden hat: "Der gegenseitige Lernprozess auf Basis allgemeiner Lehren aus durchgeführten Reviews befindet sich noch in einem Anfangsstadium." Dreizehn Jahre später liegt in mancher Aktenablage noch immer ein Evaluationsbericht, der nach der Fertigstellung nie wieder aufgeschlagen wurde — und genau das ist das Muster, auf das dieser eine Satz hinweist.
Was der Rechnungshof genau feststellte
Der Rechnungshof untersuchte damals, wie die niederländische Zentralregierung IT-Projekte anging, mit besonderem Augenmerk auf die Rolle von Gateway Reviews: den zwischenzeitlichen, unabhängigen Prüfmomenten während der Projektlaufzeit. Die Schlussfolgerung war zweigeteilt. Das Lernen aus diesen Reviews, die strukturelle Nutzung von Lehren aus dem einen Review für das nächste Projekt, steckte noch in den Kinderschuhen. Und der Rechnungshof stellte fest, dass die Realisierung des Nutzens aus Business Cases noch unzureichend überwacht wurde, und riet dazu, Business Cases sowohl zu Beginn als auch während der gesamten Laufzeit als Steuerungsinstrument zu nutzen.
Wichtig ist, genau zu sein, was der Rechnungshof nicht sagte. Der Bericht stellt nicht fest, dass überhaupt keine Ex-post-Evaluation stattfindet, diese Behauptung hält einer näheren Prüfung nicht stand. Was der Bericht tatsächlich sagt, ist schärfer und interessanter: Man stützt sich auf Gateway Reviews und das Handboek Portfoliomanagement, aber die Lernfähigkeit aus diesen Reviews, das Umsetzen einzelner Befunde in organisationsweite Verbesserung, war 2013 nachweislich noch nicht ausgereift.
Hat sich das inzwischen gebessert?
Eine ehrliche Antwort: Es gibt keine aktuelle, vergleichbare unabhängige Untersuchung, die belegt, dass dieses Muster inzwischen durchbrochen wurde. Was wir wissen, ist, dass die Elias-Kommission ein Jahr später (2014) eine größtenteils andere Lücke offenlegte: die Ex-ante-Prüfung war unzureichend. Die Reaktion darauf (die Gründung des AcICT) konzentrierte sich vollständig auf die Vorderseite von Projekten. Es ist keine vergleichbare, verpflichtende Institution für den Ex-post-Lernprozess entstanden, auf den der Rechnungshof 2013 bereits hinwies.
Das ist an sich aufschlussreich. Zwei unabhängige Instanzen signalisierten mit einem Jahr Abstand jeweils einen anderen Teil desselben Problems: die eine die Prüfung vorab, die andere das Lernen im Nachhinein. Nur der erste Teil erhielt eine strukturelle, institutionalisierte Lösung.
Warum "Anfangsstadium" eine präzise Diagnose ist, kein Vorwurf
Die Formulierung des Rechnungshofs ist funktional, nicht moralisierend. Ein Lernprozess, der sich in einem Anfangsstadium befindet, bedeutet nicht, dass nichts geschieht. Es bedeutet, dass es keinen wiederholbaren, verankerten Mechanismus gibt, um Lehren aus dem einen Review oder der einen Evaluation systematisch in den Ansatz des nächsten Projekts einfließen zu lassen. Genau diese Unterscheidung, zwischen gelegentlichem Aufschreiben und strukturellem Verändern, ist es, worauf der Rest dieser Blogreihe zurückgreift, unter anderem im Artikel über Williams (2007) und den Unterschied zwischen Dokumentieren und Lernen.
Erkennbar auch außerhalb der Zentralregierung
Wer in einer beliebigen Organisation, kommerziell, öffentlich, gemeinnützig, fragt, wie Evaluationen abgeschlossener Projekte weiterverfolgt werden, erhält selten eine überzeugende Antwort. Meist gibt es einen Bericht, eine Präsentation oder zumindest ein Protokoll der letzten Projektgruppensitzung. Was es selten gibt: einen nachweisbaren Mechanismus, mit dem die Organisation als Ganzes, nicht nur das eine Projektteam, diese Lehren nutzt. Das ist genau das "Anfangsstadium", auf das der Rechnungshof 2013 hinwies, und es ist ein Muster, das 2026 mindestens ebenso wiedererkennbar ist wie damals.
Was Sie damit tun können
Wenn Ihr Evaluationsbericht tatsächlich Lehren benennt, lautet die Folgefrage: Sind diese Lehren konkret und auf ein Ereignis zurückführbar, oder generisch ("die Kommunikation kann besser")? Und gibt es eine explizite Verknüpfung zu einer Folgemaßnahme und einem Eigentümer, oder bleibt es bei der Feststellung? Diese Unterscheidung, zwischen Dokumentation und einem verankerten Folgeprozess, ist eine der sieben Kategorien, anhand derer EvaluatieScore einen Evaluationsbericht beurteilt.
EvaluatieScore behauptet nicht, dass eine gute Evaluation nachweislich zu einem besseren nächsten Projekt führt. Dieser Beweis existiert schlicht nicht, und wir sind darüber transparent. Was das Instrument tatsächlich tut: prüfen, ob Ihre Evaluation gemäß den Rahmenwerken aufgebaut ist, die maßgebliche Institutionen (OECD, die britische Regierung, PRINCE2, das CIPP-Modell) an einen guten Evaluationsbericht stellen, einschließlich des Lessons-Learned-Teils, auf den der Rechnungshof 2013 bereits den Finger legte.
Legen Sie dieses letzte Kriterium neben Ihren eigenen jüngsten Evaluationsbericht: Steht bei der Folgemaßnahme ein Name, oder endet er bei der Feststellung? Prüfen Sie Ihren Bericht für 15 € auf dutchmind.com/producten/evaluatiescore.
Quellen
- Algemene Rekenkamer (2013), Aanpak van ICT door het Rijk 2012 — rekenkamer.nl.
- Tijdelijke commissie ICT-projecten (commissie-Elias), Eindrapport "Grip op ICT" + kabinetsreactie (2014/2015) — pianoo.nl.
- Williams, T. (2007), Post-Project Reviews to Gain Effective Lessons Learned — eprints.soton.ac.uk.