Das Abschlussformular liegt schon da
Freitagnachmittag, drei Wochen nach der Einführung des neuen Fallmanagementsystems in einer mittelgroßen Gemeinde. Der Umtrunk ist vorbei, ein Teil des Projektteams ist längst mit anderen Aufgaben betraut. Was es gibt: ein Abschlussformular mit einer Zufriedenheitsnote von 7,8, ein Vorfallsprotokoll mit vierzehn Meldungen aus den ersten zwei Wochen und das Protokoll einer Retrospektive, in der alle "überwiegend positiv" waren. Fragt man die Projektleitung, ob eine Evaluation stattgefunden hat, lautet die Antwort meist: ja, hier ist sie.
Nur: Das sind drei getrennte Dokumente, keine Evaluation. Und der Unterschied liegt nicht in der Menge des Papiers.
Vier Bausteine, ein Raster
OECD DAC, die britische Gate-5-Prüfung, die PRINCE2-Praxis und Stufflebeams CIPP-Modell wurden unabhängig voneinander entwickelt — für die Entwicklungszusammenarbeit, für große Infrastrukturprojekte, für Projektmanagement im Allgemeinen sowie für Bildung und Politik. Dennoch laufen sie auf dieselben vier Bausteine hinaus: Nutzen gegen das ursprüngliche Versprechen prüfen, eine Form unabhängiger Validierung, im Voraus festgelegte Kriterien (nicht nachträglich erfunden), und Lehren, die zu etwas führen, statt nur aufgeschrieben zu werden.
Hält man das Abschlussformular der Gemeinde gegen diese vier Bausteine, zeigt sich: Die Zufriedenheitsnote prüft nicht gegen das im Business Case gegebene Versprechen — sie misst, wie sich das Team bei der Lieferung gefühlt hat. Das Vorfallsprotokoll erfasst, was schiefging, nicht ob die angestrebten Nutzeneffekte (kürzere Bearbeitungszeit pro Fall, weniger telefonische Rückfragen am Schalter) erreicht wurden. Und niemand außerhalb des Projektteams hat sich das angesehen.
Das ist keine Kritik an dieser Gemeinde. Es ist der Normalzustand: Die Bausteine liegen in der Organisation oft schon halb bereit, nur nie zusammengeführt.
Warum Fragmente sich nicht zu einer Evaluation summieren
Der niederländische Rechnungshof (Algemene Rekenkamer) stellte bereits 2013 fest, dass "der gegenseitige Lernprozess... sich noch in einem Anfangsstadium" befinde. Das ist kein Urteil über die Qualität einzelner Dokumente — Gemeinden und andere Organisationen dokumentieren in der Regel genug. Es ist ein Urteil über das Fehlen eines Prozesses, der die einzelnen Teile zusammenführt und etwas daraus macht.
Drei Fragmente, die jeweils nur die Hälfte eines Bausteins abdecken, ergeben keine Evaluation, solange niemand sie nebeneinanderlegt und die Frage stellt, die alle vier Bausteine gemeinsam beantworten müssen: Sind die versprochenen Nutzeneffekte nachweislich eingetreten, geprüft von jemandem, der nicht selbst für ihre Lieferung verantwortlich war? Das ist eine andere Frage als "wie fanden wir, dass es gelaufen ist" — und es ist genau die Frage, die eine Zufriedenheitsnote und ein Vorfallsprotokoll nicht beantworten, so sorgfältig sie auch erstellt wurden.
Was das bringt — und was nicht
Eine Evaluation, die die vier Bausteine tatsächlich kombiniert, liefert eine fundierte Antwort auf die Frage, ob die versprochenen Nutzeneffekte eingetreten sind, sowie eine Liste von Empfehlungen, die nachweislich irgendwo ankommen. Ob eine solche Evaluation tatsächlich zu besseren Folgeprojekten führt, lässt sich mit den verfügbaren Belegen nicht fest untermauern — die einzige quantitative Untersuchung dazu (Kotnour, 2000) ist alt, indirekt und stützt sich auf einen einzelnen Fall. Was sich hingegen belegen lässt: Ohne die vier Bausteine zusammen bleibt Evaluation bei einzelnen Dokumenten stecken, die sich nach Abschluss anfühlen, aber nichts prüfen.
Fangen Sie mit dem Nebeneinanderlegen an
In der Praxis besteht der erste Schritt nicht darin, ein neues Evaluationsformat zu entwerfen, sondern zu erfassen, was bereits vorhanden ist: das Abschlussformular, das Vorfallsprotokoll, das Retrospektiven-Protokoll, den ursprünglichen Business Case. Legen Sie sie neben die vier Bausteine und sehen Sie, welcher fehlt — in der Praxis ist das meist die unabhängige Validierung oder die Prüfung gegen im Voraus festgelegte Kriterien. Genau dort sollte der nächste Schritt ansetzen.