Gemeinnützige Organisationen versuchen mit Ihren Projekten eine möglichst grosse Wirkung zu erzielen. Es gilt die Lebensbedingungen von Menschen zu verbessern, den Zugang zu Bildung zu fördern, die Natur und Umwelt zu schützen oder die gesellschaftliche Solidarität zu stärken. Hierfür werden viel Engagement und viele Ressourcen in die Planung und die Durchführung von Projekten investiert, in den Aufbau von geeigneten Strukturen und Prozessen und in die Aus- und Weiterbildung von Projektbeteiligten. Doch werden die erwünschten Wirkungen tatsächlich auch erzielt? Hat man den richtigen und effizienten Weg dorthin gewählt? Was bewirkt eine Spende oder ein Förderbeitrag? Um diese zentralen Fragen zu beantworten, investieren Organisationen immer mehr in eine professionelle Wirkungsmessung.
Ein Text von Annette Jenny, WWF Schweiz
Was sind überhaupt Wirkungen?
Spricht man von Wirkungen, so beschreibt man in der Regel eine gewollte Veränderung. Dabei unterscheidet man zwischen der Wirkung, die bei einer Zielgruppe erreicht wird (Outcome) und Wirkungen in der Gesellschaft, Natur oder Umwelt (Impact). Um die Outcomes zu erreichen, werden in Projekten mittels Ressourcen und Rahmenvorgaben (Inputs) verschiedene Aktivitäten durchgeführt, wie der Aufbau von Strukturen und Prozessen oder die Entwicklung von Angeboten und Produkten. Die konkreten Leistungen und Ergebnisse aus diesen Aktivitäten werden Outputs genannt.
Aktivitäten, Outputs und ein Teil der Outcomes können meist direkt auf ein Projekt zurückgeführt werden. Um die erwünschten Impacts zu erreichen, sind allerdings meist Anstrengungen weiterer Akteure notwendig und sie können nicht einem einzelnen Projekt direkt zugeordnet werden. Die meisten Projekte haben jedoch den Anspruch zumindest etwas zu einem grösseren Impact beizutragen. Spricht man über Wirkungen, ist zudem immer wichtig zu beachten, dass es auch nicht-intendierte Wirkungen eines Projektes geben kann: teils können diese antizipiert werden, aber oftmals auch nicht.
Darstellungen von Wirkungslogik
Jedes gemeinnützige Projekt befolgt eine solche innere Wirkungslogik. Für die visuelle oder tabellarische Darstellung dieser Logik gibt es in der Praxis verschiedene Ansätze: Logic Models, Results Chains, Logframes oder Results Framework. Diese Konzepte haben Unterschiede in Darstellung, Detaillierungsgrad und Ausmass, in dem auch Kausalitäten zwischen Elementen dargestellt werden. Gemeinsam haben sie aber, dass sie die innere Logik eines Vorhabens beschreiben und zentrale Grundlage für die Wirkungsmessung sind. Eine einfache, aber sehr hilfreiche Art die Wirkungslogik eines Projektes darzustellen, ist das Wirkungsmodell. Die Abbildung 1 veranschaulicht ein Beispiel eines Wirkungsmodelles inklusive Lesebeispiel.
Abbildung 1: WWF Schweiz, 2017. Lesebeispiel zum Wirkungsmodell anhand «Coaching für Arbeitssuchende»: Einsatz von Arbeitszeit von hauptamtlichen oder ehrenamtlichen Coaches, finanzielle Mittel und Räumlichkeiten sowie Materialien wie Unterlagen und Computer (Inputs). Umsetzung von Coachings in geeigneten Räumlichkeiten und mit geeigneten didaktischen Methoden und Unterlagen (Aktivitäten). Daraus resultieren eine gewisse Anzahl geleisteter Coachingstunden mit einer Anzahl Teilnehmende, die idealerweise eine hohe Zufriedenheit haben mit den gebotenen Coachings (Outputs). Eine erste Wirkung (Outcome) daraus sind verbessertes Wissen und Fertigkeiten bei den Teilnehmenden, um Bewerbungen zu erstellen. Weitere erwünschte Outcomes sind dann, dass Bewerbungen selbstständig erstellt werden und erfolgreich sind. Dadurch verbessert sich die finanzielle und/oder soziale Situation der Coaching-Teilnehmenden. Als Impact wurde damit idealerweise ein Beitrag zur Senkung der Arbeitslosigkeit geleistet.
Was bringt eine Wirkungsmessung?
Rechenschaftslegung, Optimierung, Entscheidungsfindung – dies sind die wichtigsten Zwecke von Wirkungsmessung. Während für externe geldgebende Organisationen meist die Rechenschaftslegung im Vordergrund steht, besteht intern eher das Interesse, aus Erfahrungen zu lernen und das Handeln aufgrund von Daten und Erkenntnissen aus der Wirkungsmessung zu steuern. Die Wirkungsmessung ist also nicht nur für die geldgebende Organisationen interessant und wichtig, sondern stellt einen zentralen Bestandteil für das Weiterentwickeln von gemeinnützigen Projekten und Organisationen dar.
Beispiel: Das Bundesamt für Gesundheit BAG lancierte vor einigen Jahren eine Kampagne, um die Bevölkerung auf die Einführung von neuen Gefahrensymbolen (wie etwa der Totenkopf für hochgiftige Stoffe) vorzubereiten, da die Symbole international harmonisiert und angepasst wurden. Die Kampagne wurde mittels mehrerer Befragungswellen evaluiert, um zu prüfen, wie weit die Inhalte der Kampagne schon in der Bevölkerung angekommen waren. Die Erkenntnisse wurden genutzt, um Anpassungen an der Kampagne zu machen. (Evaluation durchgeführt von econcept AG)
Wie geht man für eine Wirkungsmessung vor?
Zentral ist, eine Wirkungsorientierung bereits ab Beginn der Planung von Projekten zu integrieren. Viele Organisationen arbeiten hierfür mit Projektmanagementstandards, welche die Wirkungsmessung und das Lernen aus dieser von Anfang an in die Planung einbeziehen. Häufig kommt bei NGOs der Ansatz des «Results Based Management (RBM)» zum Einsatz, mit dem Projekte über das Setzen und Messen von klaren Zielen gesteuert werden. Zentrale Elemente eines RBM sind die Problemanalyse, die Entwicklung von Massnahmen und Zielen basierend auf dieser Analyse und die laufende Überprüfung von Projektfortschritten und -wirkungen für mögliche Anpassungen im Projekt. Wichtig ist dabei auch die Erstellung einer Wirkungslogik (siehe oben) mit klaren Indikatoren für jede Ebene. Mittels Monitoring werden zu diesen Indikatoren regelmässig Informationen erhoben, mit dem Ziel, die Fortschritte des Projekts zu überprüfen. Ein Monitoring eignet sich vor allem dafür, Inputs (Ressourcen) und Outputs (Leistungen) sowie leicht erhebbare Outcomes zu erfassen. Mittels Evaluationen können im Unterschied zum Monitoring periodisch oder zu Projektabschluss anspruchsvoller zu erfassende Outcomes und/oder Impacts überprüft oder auch Abläufe und Prozesse vertieft analysiert werden. Gute Impactanalysen (siehe auch nächster Abschnitt) sind allerdings oftmals eine Herausforderung, da die Impacts selten auf die Aktivitäten einer einzigen Organisation zurück zu führen sind.
Welche spezifischen Formen von Wirkungsmessung gibt es?
Die meisten Projektevaluationen untersuchen, ob die Umsetzung von Massnahmen erfolgreich war und werten gesammelte Daten mittels Vorher-nachher-Vergleichen zu Outputs und Outcomes aus. Um kausale Effekte zwischen den Massnahmen und den beobachteten Outcomes festzustellen, reicht dies jedoch nicht, da externe Faktoren dabei meist nicht einberechnet werden. Diese beeinflussen die Resultate aber meist ebenso stark wie die Projektaktivitäten selbst. Es kann also nicht festgestellt werden, ob Wirkungen nun auf Grund des Projektes erfolgt sind oder auf Grund von veränderten Umständen im Kontext des Projektes. Mit Impact-Evaluationen werden kausale Wirkung der Massnahmen eines Projekts auf Outcomes oder Impacts mit wissenschaftlichen Methoden ermittelt. Das Design dieser Impact-Evaluationen ist damit anspruchsvoller und aufwändiger als dasjenige von üblichen Projektevaluationen: erforderlich sind beispielsweise Baselinedaten, Vergleichsgruppen und ausreichende Stichprobengrössen. Trotzdem können Impactevaluationen grossen Nutzen bringen, indem sie eine bessere Vergleichbarkeit in der Effektivität von Projekten unterstützt und zu einer evidenzbasierten Massnahmenauswahl beitragen.
Beispiel Impactevaluation: Vivamos Mejor, Gewinner Impact Award des NADEL, 2015
Die Studie wurde entworfen, um Fähigkeiten von Kindern in qualitätsverbesserten Vorschulen mit diejenigen von Kindern in Standarschulen in der gleichen Gegend zu vergleichen. Die Bewertung konzentrierte sich auf die sofortige Wirkung auf die kognitive, psychomotorische und psychosoziale Entwicklung der Kinder nach einem Jahr sowie auf die mittelfristige Auswirkungen auf z.B. die schulische Leistung der Kinder, dreieinhalb bis vier eineinhalb Jahre nach der Intervention. Ergebnis: Nach der Intervention verfügten die Kinder bald über verbesserte kognitive, psychosoziale, und psychomotorische Fähigkeiten. Bis zu viereinhalb Jahre nach der Intervention waren die Kinder besser in der Schule, eher in der richtigen Schulstufe für ihr Alter und sie zeigten ein höheres Niveau an prosozialen Verhalten im Vergleich zur Kontrollgruppe.
Die meisten Organisationen verfolgen zudem das Ziel einer effizienten Projektarbeit, womit eine wirtschaftliche Zielerreichung gemeint ist mit möglichst geringen Sach- und/oder Personalkosten für eine zu erzielende Leistung oder Wirkung. Dazu ist ein Vergleich der eingesetzten Mittel (Inputs) im Verhältnis der damit produzierten Leistungen (Outputs) oder auch Wirkungen (Outcomes) von Interesse. Um die Effizienz in Projekten zu messen, gibt es verschiedene Ansätze zur Ermittlung von Kosten-Nutzen-Verhältnissen (cost-benefit), welche sich beispielsweise darin unterscheiden, ob die Nutzenseite monetär oder nicht monetär ermittelt wird. Die Darstellung des monetären Nutzens stellt oftmals eine methodische Herausforderung dar. Auch stellen sich Wirkungen in sozialen Projekten oder im Umweltschutzprojekten oftmals erst verzögert ein. Dann ist eine rein ökonomische Sicht mit kurzfristigen Horizonten nicht zielführend. Trotzdem können diese Art von Analysen ihre Berichtung haben als Entscheidungshilfe und für die Rechenschaftsablage zu Projekten.
Beispiel Kosten-Nutzen: Ein Delfinschutzprojekt im Mekonggebiet des WWF wurde als Fallbeispiel für eine Kosten-Nutzen-Analyse herbeizogen. Die Tiere sind unter anderem durch illegale Fischereimethoden bedroht, weshalb sich der WWF neben anderen Massnahmen für die Reduktion solcher Methoden einsetzt durch die Schaffung von alternativen Einkommensquellen für die lokale Bevölkerung. Den Kosten des Projekts wurden in einer Teilanalyse der monetäre Nutzen durch Tourismuseinnahmen und weitere alternative Einkommen gegenübergestellt. Je nach Szenario (z.B. abhängig von der Anzahl Tourismusgäste) resultierte ein Nutzen-Kosten-Ration von 0.2 mit negativem Nettonutzen bis zu 7.3 mit positivem Nettonutzen. Dieses Beispiel zeigte aber auch, dass der direkte Nutzen eines Bestandeszuwachses von Delfinen nur schwierig monetär beziffert werden kann.
Wer führt die Wirkungsmessung durch und wieviel kostet dies?
Das Projektmonitoring wird meist durch die Projektverantwortlichen selbst durchgeführt. Ob ein Projekt darüber hinaus vertiefter evaluiert werden soll, kann anhand von verschiedenen Kriterien entschieden werden. Evaluationen können beispielsweise angemessen sein, wenn ein Projekt neue Massnahmen erprobt, es politisch umstritten ist oder das Projekt neue oder erweiterte Finanzierung benötigt. Für kleinere Projekte kann eine interne Evaluation (oder Selbstevaluation) ausreichen. Bei grösseren Projekten sollten Evaluationen von externen Fachleuten durchgeführt werden. Idealerweise werden auch zunehmend Ressourcen für Impactanalysen und Kosten-Nutzen-Analysen (siehe oben) investiert. So oder so benötigt Wirkungsmessung Ressourcen. Die ZEWO empfiehlt, den entsprechenden Aufwand von Anfang an im Budget einzuplanen. Sinnvoll ist es, jährlich etwa 0,5 bis 2,5% vom gesamten Aufwand einer Organisation für Aktivitäten und Dienstleistungen im Bereich des Monitorings und der Evaluation einzuplanen. Eine Faustregel für Projekte ist, dass – je nach Typ und Grösse – 5% bis 10% des Projektbudgets dafür eingesetzt werden sollten. Organisationen mit vielen kleinen Projekten müssen auswählen, bei welchen sie die Wirkung messen wollen. Für die Entscheidung bieten sich zum Beispiel folgende Kriterien an: Höhe des Projektvolumens, Höhe der Erwartungen an die Wirkungen oder Grad der politischen Bedeutsamkeit. Generell sollte für besonders innovative Projekte, bei denen noch wenig über Wirkungen und Wirkungszusammenhänge bekannt ist, mehr Ressourcen für die Wirkungsmessung reserviert werden als für Routineprojekte.
Herausforderungen der Wirkungsmessung
Die Wirkungsmessung mit dem Results Based Management Ansatz ist mittlerweile breit verbreitet, hat aber auch verschiedene Tücken. Beispielsweise: Der Ansatz geht davon aus, dass (soziale) Veränderungen vorausgesagt werden können; Allerdings zeigt die Realität, dass dies oftmals nicht der Fall ist. Wirkungsmodelle in Form von Logframes oder Results Frameworks reduzieren zwar die Komplexität eines Projektes, manchmal aber auch die Flexibilität, die Dinge auch anders anzupacken. Planungen sind zudem oftmals nie vollumfänglich akkurat – Umstände verändern sich während der Umsetzung eines Projekts. Und schliesslich können nicht alle wichtigen Ziele einfach gemessen werden – Veränderungen sind auch subjektiv und nicht immer direkt in Zahlen übersetzbar. Entsprechend finden andere Planungs- und Messungsansätze vermehrt Aufmerksamkeit für Vorhaben in komplexeren und dynamischeren Umfeldern. Beispiele hierfür sind agile Projektmanagementmethoden, die nicht von einer langfristigen Planbarkeit von Vorhaben ausgehen, sondern Projektschritte stärker sequenzieren und mit fortlaufenden Lernzyklen arbeiten. Oder auch der Ansatz der «Developmental Evaluation», wo die Wirkungsmessung stärker in den laufenden Implementierungsprozess eingebaut wird, indem die Evaluator*in Teil des Projektteams ist und das Team dabei unterstützt, das sich verändernde Umfeld zu analysieren und Massnahmen im Projekt weiter zu entwickeln oder anzupassen.
Über die Autorin
Annette Jenny
Annette Jenny war von 2016 bis Ende 2020 beim WWF Schweiz tätig und leitete die Abteilung Wirkungs- und Strategiesupport. Sie verfügt über eine solide wissenschaftliche Ausbildung und über ausgewiesene theoretische und praktische Erfahrungen im Projektmanagement, Strategieentwicklung und Wirkungsmessung. Dabei kann sie sowohl auf fundierte s inhaltliches Wissen in verschiedenen Bereichen der nachhaltigen Entwicklung als auch auf praktische Erfahrung in der internationalen Zusammenarbeit zurückgreifen. Neben einer Hochschulausbildung und Promotion in Sozial- und Umweltwissenschaften verfügt sie über ein Diploma of Advanced Studies in Evaluation. Nach verschiedenen Tätigkeiten an der Universität Zürich und ETH Zürich sowie einem Forschungsaufenthalt in Kuba, war sie bei Stiftungen, NGOs und Privatunternehmen angestellt, mit dem Ziel Leistungen, Wirkung und Prozesse in Organisationen zu verbessern.