Der blinde Fleck der Selbstevaluation
Freitagnachmittag, halb fünf, drei Wochen nach der Lieferung: Die Projektleitung sitzt allein am Rechner und schreibt den Abschlussbericht über das eigene Projekt. Niemand liest mit, bevor der Bericht im Posteingang des Auftraggebers landet.
Vier unabhängig voneinander entwickelte Rahmenwerke für Projektevaluation greifen genau diesen Punkt auf, jeweils aus einem anderen Blickwinkel: die OECD-DAC-Kriterien (ein breit angewendetes, übertragbares Rahmenwerk, ursprünglich für die Entwicklungszusammenarbeit konzipiert), die britische Gate-5-Prüfung, die PRINCE2-Praxis und das CIPP-Modell von Stufflebeam. Getrennt voneinander entstanden, laufen sie auf dieselben Bausteine hinaus: Nutzen gegen das ursprüngliche Versprechen prüfen, im Voraus festgelegte Kriterien (nicht im Nachhinein erfunden, damit das Ergebnis passt), und, in allen vier Fällen, eine Form unabhängiger Validierung.
Was "unabhängig" in der Praxis bedeutet
Unabhängig bedeutet nicht zwingend extern. Es bedeutet: Jemand, der kein Interesse an einem bestimmten Ausgang der Evaluation hat, beurteilt (mit), ob das Ergebnis dem Versprochenen entspricht. Bei Gate 5 ist das eine separate Prüfinstanz außerhalb des Projektteams. Beim CIPP-Modell ist es in die Struktur der vier Fragen eingebaut, die verhindert, dass eine einzige Perspektive das gesamte Urteil bestimmt. In der PRINCE2-Praxis liegt die Evaluation in der Regel beim Lenkungsausschuss oder Auftraggeber, nicht allein bei der Projektleitung.
Der Grund, warum dieser Punkt immer wiederkehrt, ist nicht kompliziert: Wer das Projekt aufgebaut hat, hat auch das größte Interesse an einer positiven Darstellung. Einer Evaluation, die vollständig von derselben Person geschrieben wird, die das Projekt geleitet hat, fehlt per Definition diese Korrektur.
Warum das in den Niederlanden noch keine Selbstverständlichkeit ist
Für große IKT-Projekte des niederländischen Staates (des Rijk) gelten inzwischen feste Regeln vor dem Start eines Projekts, eine direkte Folge der parlamentarischen Untersuchungskommission Elias. Diese Regeln sind ausschließlich ex ante: Sie schreiben vor, wie im Voraus geprüft wird, ob ein Projekt verantwortungsvoll startet. Ein vergleichbares verpflichtendes Instrument für das andere Ende des Prozesses, die Evaluation im Nachhinein, gibt es nicht.
Genau in dieser Lücke fällt Unabhängigkeit als Erstes weg. Ohne festen Prozess liegt es am nächsten, dass die Projektleitung den Abschlussbericht selbst schreibt, oft unter dem Zeitdruck des nächsten Projekts. Der niederländische Rechnungshof (Algemene Rekenkamer) stellte 2013 fest, dass der gegenseitige Lernprozess zwischen Projekten sich "noch in einem Anfangsstadium" befinde. Eine Evaluation ohne unabhängigen Blick trägt dazu wenig bei, wie sorgfältig die Projektleitung sie auch verfasst.
Was das für Ihre nächste Evaluation bedeutet
Unabhängigkeit zu organisieren muss nicht aufwendig sein. Das kann ein Kollege aus einem anderen Team sein, der den Abschlussbericht mit dem ursprünglichen Business Case abgleicht, ein Mitglied des Lenkungsausschusses, das ausdrücklich fragt, ob der versprochene Nutzen tatsächlich eingetreten ist, oder eine feste Vorlage mit Kriterien, die bereits zu Projektbeginn festgelegt wurden, sodass im Nachhinein nichts mehr angepasst werden kann.
Konkret bedeutet das: Lassen Sie den eigenen Abschlussbericht einmal von jemandem gegenprüfen, der nicht am Projekt mitgearbeitet hat, zum Beispiel über EvaluatieScore (dutchmind.com/producten/evaluatiescore, 15 €), bevor der Bericht an den Auftraggeber geht.
Quellen
- OECD DAC Network on Development Evaluation (EvalNet) (2019), Evaluation Criteria (herzien, DCD/DAC(2019)58 FINAL) — one.oecd.org.
- HM Government / Cabinet Office–IPA (nu NISTA) (2021), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0) — assets.publishing.service.gov.uk.
- PRINCE2-praktijk — End Project Report en Lessons Report Template (prince2.wiki, secundaire bron, geen officiële AXELOS-manual).
- Stufflebeam, D.L. (2015), CIPP Model checklist (2e ed.) — rszarf.ips.uw.edu.pl.
- Tijdelijke commissie ICT-projecten (commissie-Elias), Eindrapport "Grip op ICT" + kabinetsreactie (2014/2015) — pianoo.nl.
- Algemene Rekenkamer (2013), Aanpak van ICT door het Rijk 2012 — rekenkamer.nl.