"Wir besprechen das Projekt noch einmal kurz nach" ist einer der am häufigsten gehörten Sätze am Ende eines Projektverlaufs. Häufig wird tatsächlich auch etwas besprochen – eine Sitzung mit dem Team, ein paar Folien darüber, was gut und was schlecht lief, vielleicht ein Protokoll. Und trotzdem ist das, so gut gemeint es auch ist, meist keine Evaluation. Es ist eine Nachbesprechung. Der Unterschied liegt nicht in der guten Absicht, sondern darin, was vorab festgelegt wurde.
Was eine Evaluation zu einer Evaluation macht
Alle vier maßgeblichen Rahmenwerke, die einer strukturierten Projektevaluation zugrunde liegen (die OECD-DAC-Kriterien, die britische Gate-5-Prüfung, die PRINCE2-Praxis und das CIPP-Modell von Stufflebeam), teilen eine implizite Annahme: Eine Evaluation beginnt mit einer expliziten Frage, einem abgegrenzten Umfang und Kriterien, die festgelegt werden, bevor der Rückblick beginnt. Die OECD-Richtlinien sind hier ausdrücklich: Die sechs Kriterien sind normativ und generieren Evaluationsfragen, dürfen aber nicht mechanisch angewendet werden, sie müssen auf den Zweck und Kontext der jeweiligen Evaluation zugeschnitten werden.
Eine informelle Nachbesprechung lässt typischerweise genau dieses Element vermissen. Es wird nicht vorab festgelegt: Was wollen wir mit diesem Rückblick wissen, welcher Zeitraum oder welcher Teil des Projekts fällt in den Umfang, und anhand welcher Kriterien beurteilen wir, ob etwas gut oder schlecht lief? Stattdessen beginnt die Sitzung mit einer offenen Frage, "wie fandet ihr, wie es gelaufen ist?", und das Ergebnis wird davon bestimmt, wer am lautesten spricht, was kürzlich geschehen ist, oder was am angenehmsten zu sagen ist.
Der Unterschied ist prüfbar, nicht nur gefühlt
Diese Unterscheidung ist keine Frage von Stil oder Vorliebe: Sie lässt sich mit ein paar konkreten Fragen prüfen. Steht im Evaluationsbericht oder in dessen Vorbereitung eine explizite Evaluationsfrage, formuliert bevor die inhaltliche Besprechung beginnt? Gibt es einen abgegrenzten Umfang: welcher Teil des Projekts, welcher Zeitraum, welche Stakeholder fallen in die Evaluation und welche nicht? Und sind die Beurteilungskriterien begründet, statt generisch aus einer zufällig vorhandenen Vorlage kopiert?
Wenn die Antwort auf alle drei Fragen "nein" lautet, haben Sie keine Evaluation, sondern ein Gespräch. Das ist nicht per se wertlos, ein gutes Gespräch liefert manchmal brauchbare Einsichten, aber es ist nicht das, was ein Lenkungsausschuss, ein Auftraggeber oder ein künftiges Projektteam braucht, um sich auf das Ergebnis verlassen zu können.
Warum das oft übersprungen wird
Der Grund, warum Organisationen von einer Evaluation zu einer Nachbesprechung übergehen, ist selten Unwille. Es ist Zeitdruck: Das Projekt ist fertig, das Team wird aufgelöst oder auf das nächste Projekt verteilt, und eine strukturierte Evaluation mit vorab festgelegten Fragen fühlt sich an wie ein zusätzlicher Schritt, den niemand eingeplant hat. Die Nachbesprechung ist der kürzere Weg, und dieser kürzere Weg fühlt sich im Nachhinein an wie "wir haben es doch evaluiert", während der Inhalt dem nicht gerecht wird.
Genau deshalb ist diese Unterscheidung die erste Kategorie in der EvaluatieScore-Rubrik. Nicht weil Umfang und Evaluationsfragen der wichtigste Teil einer guten Evaluation sind (Nutzenrealisierung und Lessons Learned wiegen mindestens ebenso schwer), sondern weil ohne eine vorab festgelegte Frage und einen Umfang der Rest des Berichts methodisch auf Treibsand steht. Eine Schlussfolgerung zur Wirksamkeit ist wenig wert, wenn nicht vorab festgelegt wurde, was "wirksam" in diesem Kontext bedeuten würde.
Was Sie heute tun können
Bevor die nächste Evaluationssitzung geplant wird, gibt es eine Frage, die den Unterschied ausmacht: Was wollen wir mit dieser Evaluation wissen, und warum? Nicht "wie ist es gelaufen", sondern eine spezifische Frage: Wurde der Nutzen aus dem Business Case realisiert, hielt die Planung stand, funktionierte die Governance wie vorgesehen? Diese Frage, einmal formuliert, bestimmt von selbst den Umfang und die Kriterien. Ohne diesen Schritt beginnen Sie mit einer Diskussion statt mit einer Evaluation.
EvaluatieScore prüft einen Ex-post-Evaluationsbericht genau an diesem Punkt als erste von sieben Kategorien: Gibt es eine vorab festgelegte Evaluationsfrage, ist der Umfang oder die Abgrenzung benannt, und sind die gewählten Kriterien begründet statt generisch übernommen? Für 15 € sehen Sie innerhalb weniger Minuten, ob Ihr Bericht diese Prüfung besteht.
Prüfen Sie Ihren eigenen letzten Evaluationsbericht anhand dieser drei Punkte auf dutchmind.com/producten/evaluatiescore.
Quellen
- OECD DAC Network on Development Evaluation (EvalNet) (2019), Evaluation Criteria (herzien, DCD/DAC(2019)58 FINAL) — one.oecd.org.
- HM Government / Cabinet Office–IPA (nu NISTA) (2021), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0) — assets.publishing.service.gov.uk.
- PRINCE2-praktijk — End Project Report en Lessons Report Template (prince2.wiki, secundaire bron, geen officiële AXELOS-manual).
- Stufflebeam, D.L. (2015), CIPP Model checklist (2e ed.) — rszarf.ips.uw.edu.pl.