DGUV Grundsatz 311-001 - Leitpapier zur Evaluation Grundverständnis in der gesetzlichen Unfallversicherung

Online-Shop für Schriften

Jetzt bei uns im Shop bestellen

Jetzt bestellen

Abschnitt 6 - 6 Arten von Evaluationen

Es gibt unterschiedliche Arten von Evaluationen. Sie werden in Abhängigkeit von den jeweiligen Rahmenbedingungen bei Vorhaben häufig miteinander kombiniert, um den konkreten Fragestellungen gerecht zu werden. Die nachfolgenden Kriterien können in Anlehnung an Bortz und Döring [4] bei der Beschreibung der Evaluationsarten unterschieden werden:

  • die Rollenverteilung zwischen den Evaluierenden und den Evaluierten,

  • die Funktionen von Evaluationen,

  • die Aspekte eines Evaluationsgegenstandes, die zu einem bestimmten Zeitpunkt untersucht werden,

  • die in der jeweiligen Evaluation genutzte Art der Datenerhebung und -auswertung.

Vertiefende Informationen finden sich in der ccc_3431_as_2.jpgDGUV-Information 211-043 "Gute Praxis der Evaluation von Präventionsmaßnahmen". Im folgenden Abschnitt werden verschiedene, häufig verwendete Arten von Evaluationen vorgestellt.

Interne und externe Evaluation

Abhängig von der Rolle der Evaluatorinnen und Evaluatoren lassen sich interne von externen Evaluationen unterscheiden. Selbstevaluation und interne Evaluation liegen vor, wenn die Bewertung von Personen vorgenommen wird, die selbst auch an der Gestaltung der Präventionsmaßnahme beteiligt sind oder aus derselben Institution kommen. Beispielsweise setzt das Kampagnenteam der DGUV die Kampagne um; das Evaluationsteam der DGUV evaluiert die Kampagne. Arbeitet das Evaluationsteam der DGUV auch an der Gestaltung der Kampagne aktiv mit, handelt es sich um eine Selbstevaluation als Spezialfall der internen Evaluation. Von externer Evaluation (Fremdevaluation) wird gesprochen, wenn Fachleute, die nicht zum Unternehmen oder der Institution gehören, mit der Beschreibung und Bewertung beauftragt sind. Externe mit Evaluation beauftragte Personen verfügen durch ihre Vergleichsmöglichkeiten mit anderen Evaluationsprojekten häufig über vielfältige Erfahrungen, sind neutral und bringen neue Sichtweisen ein. Interne Evaluatorinnen und Evaluatoren kennen den eigenen strukturellen Aufbau, die Präventionsthemen und -maßnahmen sowie die Zielgruppen besser und können so leichter wichtige Detailaspekte erkennen. In der Praxis sind beide Vorgehensweisen gleichermaßen zulässig und anerkannt.

Formative und summative Evaluation

Hinsichtlich ihrer Funktionen können formative und summative Evaluationen differenziert werden. Eine formative Evaluation, auch Prozessevaluation genannt, erfolgt während der Entwicklung und Durchführung einer Präventionsmaßnahme. Durch diese begleitende Evaluation werden die Durchführung der Präventionsmaßnahme sowie deren Wirkungen fortlaufend kontrolliert. Es werden Stärken und Schwächen identifiziert und wenn nötig Veränderungen initiiert. Die formative Evaluation wird zur kontinuierlichen Verbesserung eines Maßnahmenkonzepts und seiner Umsetzung angewandt sowie zur Identifikation von Wirkungsketten. Sie übernimmt somit eine Optimierungsfunktion.

Die summative Evaluation erfüllt demgegenüber eine Kontroll- und Legitimationsfunktion. Es werden die Eigenschaften der fertigen Dienstleistung bzw. deren Folgen, der Erfolg oder die Effizienz einer Präventionsmaßnahme bewertet.

Eine Ergänzung der summativen Evaluation um die formative Evaluation ermöglicht die Erfassung des Kontexts einer Präventionsmaßnahmenabwicklung. Evaluatorinnen und Evaluatoren können in der summativen Evaluation gefundene Effekte leichter interpretieren, da sie den Einfluss gegebenenfalls vorhandener Störgrößen auf die gefundenen Effekte besser abschätzen können als beim Verzicht auf eine formative Evaluation.

Globale und analytische Evaluation

Bei einer globalen Evaluation wird der Fragestellung oder dem Evaluationsgegenstand eine einzige Beurteilung zugeordnet. Ein Beispiel für eine globale Evaluation ist eine Zufriedenheitsabfrage am Ende eines Seminars.

Eine analytische Evaluation liegt vor, wenn auch Einzelheiten des Evaluationsgegenstands bewertet werden. Dabei lassen sich sowohl Komponenten (zum Beispiel die Vorbereitung einer Maßnahme) als auch Dimensionen (zum Beispiel die Schwierigkeit der Maßnahme) herausgreifen.

Input-, Output-, Outcome- und Impact-Evaluation

Bei Input- bzw. Strukturevaluationen werden persönliche, materielle und organisatorische Ressourcen bewertet, die den Verantwortlichen zur Verfügung stehen und in ein Programm investiert werden. In der Prävention gelten die Trägerschaft, die Projektorganisation, die organisatorische und personelle Vernetzung, die gegebene Organisationsstruktur, die Qualifikation der Mitarbeitenden, der Leistungsauftrag sowie die finanziellen und personellen Ressourcen als mögliche Indikatoren.

Eine Output-Evaluation meint hingegen die Beschreibung oder Untersuchung der zählbaren Dienstleistungen und Produkte (Outputs) eines zu evaluierenden Programms, über das spezifische Wirkungen erreicht werden sollen (zum Beispiel die Outputs/Komponenten einer Präventionskampagne).

Als Outcome-Evaluation wird eine Untersuchung der Auswirkungen (Outcomes) eines Evaluationsgegenstands auf der Ebene der Zielgruppe verstanden.

Von Impact-Evaluation spricht man, wenn eine Evaluation die Wirkung einer Maßnahme hinsichtlich betrieblich relevanter Kennzahlen oder auf gesellschaftlicher Ebene betrachtet.