Auf der letzten Seite vieler Evaluationsberichte steht ein Satz, der mit „im Nachhinein“ beginnt — gefolgt von einer Erklärung, die oft Hindsight Bias oder Self-Serving Bias genannt wird. Beide klingen plausibel als Erklärung dafür, warum Projektevaluationen häufiger positiv ausfallen, als die Wirklichkeit rechtfertigt, und wir wollten wissen, ob diese Erklärung standhält, bevor wir sie in das EvaluatieScore-Produkt aufnehmen würden.
Was wir suchten, und was wir fanden
Beim Aufbau der Wissensbasis hinter EvaluatieScore haben wir gezielt nach peer-reviewten Belegen für die These gesucht, dass Hindsight Bias oder Self-Serving Bias Projektevaluationen spezifisch verzerren. Der maßgeblichste Kandidat, den wir fanden, ist Flyvbjerg (2021/2022, Project Management Journal, herausgegeben von SAGE), mit dem Titel "Top Ten Behavioral Biases in Project Management: An Overview", die umfangreichste peer-reviewte Bestandsaufnahme von Verhaltensverzerrungen im Projektmanagement, die es gibt.
Das Ergebnis dieser Recherche war eindeutig, und nicht das, was wir erwartet hatten. Flyvbjerg verortet Hindsight Bias ausschließlich als Ex-ante-Forecasting-Bias: den "Ich-habe-es-schon-immer-gewusst"-Effekt, der Overconfidence bei der Erstellung von Kosten- und Nutzenprognosen vor Projektbeginn befeuert. Der Artikel behandelt Hindsight Bias nicht als Phänomen, das Evaluationen, Retrospektiven oder Lessons-Learned-Prozesse nach Projektabschluss beeinflusst. Der Begriff "Self-Serving Bias" kommt zudem im gesamten Text kein einziges Mal vor: Das haben wir durch eine vollständige Textsuche geprüft und unabhängig reproduzieren lassen.
Mit anderen Worten: Selbst die stärkste verfügbare peer-reviewte Quelle zu Verhaltensverzerrungen im Projektmanagement stützt die Behauptung "Hindsight Bias verzerrt Evaluationsberichte" nicht. Mehr noch, diese Quelle verortet den Mechanismus ausdrücklich in einer anderen Phase des Projektlebenszyklus: vorab, nicht danach.
Warum wir das nicht einfach ignorieren oder heimlich trotzdem verwenden
Es wäre einfach gewesen, die Begriffe Hindsight Bias und Self-Serving Bias trotzdem zu verwenden, ohne sie an eine bestimmte Quelle zu koppeln. Sie klingen überzeugend, sie passen zur Intuition, die die meisten Projektmanager bereits haben, und wahrscheinlich würde niemand danach fragen. Wir tun das bewusst nicht, aus zwei Gründen.
Erstens: Es würde im Widerspruch zu der Art und Weise stehen, wie wir jede Behauptung in unseren Produkten belegen wollen. Wenn wir eine Aussage mit einem Namen oder einer Zahl verknüpfen ("Forschung von X zeigt, dass...") dann muss diese Forschung das auch tatsächlich zeigen. Tun wir das nicht, untergraben wir die Glaubwürdigkeit jeder anderen Behauptung, die wir sehr wohl solide belegt haben, wie etwa die instrumentelle Lücke zwischen Ex-ante- und Ex-post-Prüfung oder den Williams-(2007)-Befund zu Lessons Learned.
Zweitens: Es würde eine einfache, plausibel klingende Erklärung für ein Problem anbieten, das eigentlich eine andere, besser belegbare Ursache hat. Warum fallen selbstgeschriebene Evaluationen oft zu positiv aus? Nicht notwendigerweise, weil eine psychologische Verzerrung im Spiel ist, die wissenschaftlich für diesen spezifischen Kontext nachgewiesen wurde, sondern weil, wie mehrere maßgebliche Rahmenwerke (Gate 5, das CIPP-Modell, die RPE 2022) betonen, schlicht keine unabhängige, externe Prüfung stattgefunden hat. Das ist ein strukturelles, institutionelles Problem, fehlender Widerspruch, kein bewiesener kognitiver Mechanismus. Die daraus folgende Lösung ist auch eine andere: nicht "seien Sie sich Ihrer Bias bewusst", sondern "organisieren Sie einen unabhängigen Blick."
Was wir wohl sagen
Wir schließen nicht aus, dass ein Projektteam, das sein eigenes Projekt evaluiert, die Neigung hat, positiver zu urteilen, als ein Außenstehender es täte. Das ist eine plausible Annahme, und wir benennen sie auch, aber ausdrücklich als eigene Beobachtung, ohne sie mit einem Autorennamen oder einer Zahl zu verknüpfen. Was wir nicht tun, ist diese Annahme als "wissenschaftlich bewiesen" zu verkaufen, wenn die Quellenrecherche das nicht stützt.
Was das über die übrige Methode aussagt
Dieser Artikel unterscheidet sich bewusst von den anderen neun dieser Reihe: Er handelt nicht davon, was EvaluatieScore tatsächlich behauptet, sondern von einer Behauptung, die wir ausdrücklich untersucht und anschließend fallen gelassen haben. Wir denken, dass es genauso wichtig ist, das zu zeigen. Jede Behauptung hinter der EvaluatieScore-Rubrik, vom OECD-DAC-Rahmenwerk über die Gate-5-Nutzenprüfung bis zum Williams-(2007)-Befund zu Lessons Learned, wurde derselben Art von Prüfung unterzogen: zunächst nach der stärksten verfügbaren Quelle suchen, und dann ehrlich berichten, was diese Quelle belegt und was nicht, auch wenn das Ergebnis weniger dramatisch ist als die erste Intuition.
Sie können dieselbe Prüfung auf Ihren eigenen Evaluationsbericht anwenden – mit EvaluatieScore, für 15 € auf dutchmind.com/producten/evaluatiescore.
Quellen
- Flyvbjerg, B. (2021/2022), Top Ten Behavioral Biases in Project Management: An Overview, Project Management Journal 52(6) — arxiv.org/pdf/2202.00125.
- Williams, T. (2007), Post-Project Reviews to Gain Effective Lessons Learned — eprints.soton.ac.uk.
- HM Government / Cabinet Office–IPA (nu NISTA) (2021), Gate 5: Operations Review and Benefits Realisation (Assurance Portfolio Standard, V1.0) — assets.publishing.service.gov.uk.
- Stufflebeam, D.L. (2015), CIPP Model checklist (2e ed.) — rszarf.ips.uw.edu.pl.
- Regeling periodiek evaluatieonderzoek 2022 (RPE) — wetten.overheid.nl.