Abschnitt 9 - 9 Ablauf einer Evaluation
Evaluationen werden von Expertinnen und Experten durchgeführt und/oder begleitet, die über die folgenden Kompetenzen verfügen:
methodische und fachliche Kompetenz,
Grundlagenwissen zu Sicherheit und Gesundheit,
Erfahrungen hinsichtlich deskriptiver und analytischer statistischer Verfahren.
Die Evaluatorinnen und Evaluatoren sind für den kompletten Ablauf der Evaluation verantwortlich - von der Klärung der Ziele über die Erstellung eines Evaluationskonzepts und dessen Umsetzung bis hin zur Bewertung und Darstellung der Ergebnisse. Die Evaluation sollte so früh wie möglich bei der Maßnahmenkonzeption berücksichtigt werden, ist aber inhaltlich und möglichst personell von der Konzeption der Maßnahme zu trennen. Das Evaluationskonzept wird erarbeitet, wenn Ziele, Intention und Inhalte der Präventionsmaßnahme weitestgehend feststehen.
Grundlage einer Evaluation ist die Evaluationsplanung anhand eines Evaluationskonzepts. Das Evaluationskonzept bereitet die komplette Evaluation vor, indem zunächst grundsätzliche Fragen beleuchtet werden. Hierzu sollten die in der Abbildung 2 dargestellten Punkte berücksichtigt werden.
Zur Erstellung des Evaluationskonzepts ist es erforderlich, den Evaluationsgegenstand genau zu kennen und zu ermitteln, welche Ziele damit erreicht, welche Veränderungen bei welcher Zielgruppe bewirkt werden sollen und was über den Evaluationsgegenstand herausgefunden werden soll. Damit wird das Erkenntnisinteresse ermittelt. Um das Evaluationskonzept zu erstellen, müssen Evaluatorinnen und Evaluatoren umfangreiche Informationen einholen und entsprechende Fragen stellen. Als Hilfsmittel kann hierfür die 
Checkliste zur Auftragsklärung verwendet werden.
Abb. 2 Ablauf einer Evaluation
Auf Basis der gewonnenen Informationen wird das Evaluationskonzept ausgearbeitet. Dabei werden die Fragestellungen finalisiert, es wird ein logisches Modell aufgestellt und Indikatoren abgeleitet. Des Weiteren muss festgelegt werden, mit welchen Evaluationsmethoden die Evaluation durchgeführt wird, so dass die Fragestellungen beantwortet werden können. Einen Überblick über unterschiedliche Methoden für die Evaluation von Präventionsmaßnahmen und eine Unterstützung bei der Auswahl der geeigneten Methode(n) bietet "Der Methodenkoffer - Eine Sammlung von Methoden zur Anwendung in Evaluationen". Auch muss entschieden werden, welches Evaluationsdesign zielführend ist. Schließlich werden - soweit möglich - Festlegungen zur Datenerhebung und -auswertung getroffen sowie Art und Zeitpunkt der Ergebnispräsentation ermittelt.
Eine häufig zu evaluierende Präventionsleistung bei den Unfallversicherungsträgern sind die Qualifizierungsmaßnahmen. Der in Abbildung 2 dargestellte Prozessablauf soll deshalb im Hinblick auf die Evaluation eines Seminars zum Thema "Rücken-fit am Arbeitsplatz" beispielhaft erläutert werden:
1. Gegenstand (Maßnahme, Produkt, Projekt) der Evaluation
Das Seminar "Rücken-fit am Arbeitsplatz" setzt sich aus drei Modulen à drei Tagen zusammen. Inhalte sind: theoretische Grundlagen, Kennen und Anwenden von verhältnis- und verhaltenspräventiven Einzelmaßnahmen zur Förderung der individuellen Rückengesundheit.
2. Ziele des Gegenstands
Muskel-Skelett-Erkrankungen sind eine der Hauptursachen von Arbeitsunfähigkeit und daher für die Unternehmen mit hohen Kosten verbunden. Ziel des Seminars "Rücken-fit am Arbeitsplatz" ist der Wissenserwerb zum Thema Rückengesundheit sowie das Kennen und Anwenden von Handlungsstrategien zur Prävention von Muskel-Skelett-Beanspruchungen. Insgesamt soll die Gesundheitskompetenz der Teilnehmenden erhöht und das allgemeine Wohlbefinden und die individuelle Rückengesundheit gesteigert werden.
3. Zielgruppe/Betroffene des Gegenstands
Zielgruppe der Maßnahme "Rücken-fit am Arbeitsplatz" sind Beschäftigte in Berufen, die durch Rückenbelastungen gekennzeichnet sind. Konkret sind es davon diejenigen, die am Seminar teilnehmen. Die Seminarteilnehmenden sollen verhaltens- und verhältnispräventive Maßnahmen im Betrieb erlernen, anwenden und im besten Fall auch an Kolleginnen und Kollegen weitergeben (Nebenwirkung). Die Zielgruppe wird über die aktive Teilnahme am Seminar erreicht.
4. Beteiligte an der Evaluation
Beteiligte können sein: Der/die Auftraggebende, der/die aufgrund der Evaluationsergebnisse entscheiden möchte, ob das Seminar weitergeführt oder verändert werden soll, die Fachabteilung, die das Seminar entwickelt hat und die Dozentinnen bzw. Dozenten, die das Seminarkonzept umsetzen. Nutzerinnen und Nutzer sind neben dem bzw. der Auftraggebenden, zum Beispiel auch die Fachabteilungen, die bei der erneuten Konzeption eines Rückentrainings die Evaluationsergebnisse berücksichtigen können.
Im Beispiel des Seminars kann zur Evaluation eine Vollerhebung vorgenommen werden, das heißt, in der Evaluation kann auf alle Seminarteilnehmenden und damit die Grundgesamtheit zurückgegriffen werden.
5. Zweck/Hintergrund der Evaluation
In unserem Beispiel soll die Evaluation zum einen Stärken und Schwächen des Seminarkonzepts identifizieren (formative Evaluation). Die Evaluation verfolgt somit den Zweck einer Optimierung. Zum anderen soll die Wirksamkeit des Seminars ermittelt werden (summative Evaluation). Dies dient dem Zweck der Legitimation. Schließlich soll das Treffen einer Entscheidung ermöglicht werden, nämlich ob das Seminar weitergeführt werden soll (Entscheidungsfunktion).
6. Ermittlung von Fragestellungen der Evaluation, logischem Modell und Indikatoren
Zur Evaluation von Seminaren wird als zugrundeliegendes Modell häufig das Vier-Ebenen-Modell von Kirkpatrick [6] eingesetzt. Auf Basis des jeweiligen Modells können die Fragestellungen und Indikatoren abgeleitet werden. Im Folgenden werden einige mögliche Indikatoren anhand des Vier-Ebenen-Modells von Kirkpatrick beschrieben:
Reaktionsebene: Zufriedenheit mit der Maßnahme
Lernerfolgsebene: Wissenszuwachs, Akzeptanz und Bereitschaft, die Maßnahme anzuwenden
Verhaltensebene: qualitative und quantitative Anwendung der Maßnahme, einschränkende Rahmenbedingungen
Gesamtresultat: Wohlbefinden der Teilnehmenden, Häufigkeit der Rückenbeschwerden, Arbeitsbedingungen im Betrieb und betriebliche Kennzahlen (zum Beispiel Fehlzeiten)
7. Modalitäten der Durchführung: Design und Methodik
Zur Evaluation von Qualifizierungsmaßnahmen hat sich die Methode der schriftlichen Befragung bewährt. Die Seminarteilnehmerinnen und -teilnehmer erhalten vorher, unmittelbar nach dem Seminar und drei Monate später jeweils einen Fragebogen (Prä-Post-Messung mit Follow-Up ohne Kontrollgruppe). Es werden in diesem Fall überwiegend quantitative Daten erhoben, die alle vier Ebenen des Modells von Kirkpatrick erfassen.
8. Datenerhebung
Zur besseren Interpretation der Ergebnisse der statistischen Tests wird prozessbegleitend dokumentiert, wie die Präventionsmaßnahmenabwicklung (= die Seminardurchführung) abgelaufen ist, beispielsweise wie viele der angemeldeten Seminarteilnehmerinnen und -teilnehmer tatsächlich am Seminar teilgenommen haben. Zusätzlich werden Daten zu den Rahmenbedingungen des Seminars erhoben, zum Beispiel ob es Störungen durch äußere Faktoren gegeben hat. Die Ergebnisse der Seminarevaluation sollten bis zur nächsten Jahresplanung vorliegen, so dass Änderungen im Seminarkonzept noch rechtzeitig realisiert werden können.
9. Auswertung der Daten
Die schriftliche Befragung wird für die drei erhobenen Messzeitpunkte im Hinblick auf die festgelegten Indikatoren ausgewertet. Im Idealfall sollte ein Wissensanstieg nach dem Seminar erfolgen. Ein erfolgreicher Transfer in den betrieblichen Alltag ist dann erfolgt, wenn die Anzahl der angewendeten Maßnahmen im betrieblichen Alltag steigt, das Wohlbefinden der Teilnehmerinnen und Teilnehmer sich verbessert, die Rückenbeschwerden insgesamt weniger werden und sich die Arbeitsbedingungen im Betrieb verbessern (statistische Mittelwertwertvergleiche über die drei Messzeitpunkte). Sollten die Ergebnisse nicht wie vorhergesagt ausfallen, kann die begleitende Prozessevaluation eventuell eine Antwort geben, beispielsweise hat der Dozent bzw. die Dozentin tatsächlich zum Thema "Rücken-fit" referiert oder ist es während der Seminardurchführung zu erheblichen Ablenkungen der Teilnehmerinnen und Teilnehmer von außen gekommen (zum Beispiel Lärm)?
10. Ergebnisdarstellung und Präsentation
Die Ergebnisse der Seminarevaluation werden in einer Power-Point-Präsentation aufbereitet. Diese wird in einem Ergebnisworkshop mit allen Beteiligten (zum Beispiel Fachabteilung, Seminarleitenden) vorgestellt, und es werden Maßnahmen abgeleitet.
Literatur
- [1]
Westermann, R.: Merkmale und Varianten von Evaluationen: Überblick und Klassifikation. Z. Psychol. 210 (2002) Nr. 1, S. 4-26
- [2]
Präventionsleistungen der Unfallversicherungsträger der Deutschen Gesetzlichen Unfallversicherung. Hrsg.: Deutsche Gesetzliche Unfallversicherung e.V. (DGUV), Berlin 2019,
www.dguv.de/publikationen Webcode: p012471 - [3]
Standards für Evaluation. Hrsg.: Deutsche Gesellschaft für Evaluation (DeGEval), Mainz 2017,
https://www.degeval.org/fileadmin/Publikationen/DeGEval_Standards_fuer_Evaluation_-_Erste_Revision__2016_.pdf, 21.09.2016 (abgerufen am 13.09.2021)
- [4]
Bortz, J.; Döring, N.: Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer-Verlag, Berlin Heidelberg 2016
- [5]
Schmidt, U.: In: 1. Fachgespräch Evaluation - "Standards setzen?!" - Die Beiträge des Fachgesprächs, gehalten am 25. und 26. März 2010 in Dresden - Deutsche Gesetzliche Unfallversicherung e.V. (DGUV), Berlin 2010,
www.dguv.de/publikationen Webcode: p010354 (abgerufen am 13.09.2021)
- [6]
Kirkpatrick, D. L.: Techniques for Evaluating Training Programs. In: Kirkpatrick, D. L. (Hg.): More Evaluating Training Programs. Alexandria: American Society for Training and Development 1987
DGUV Information 211-043: Gute Praxis der Evaluation von Präventionsmaßnahmen in der gesetzlichen Unfallversicherung. Hrsg.: Deutsche Gesetzliche Unfallversicherung e.V. (DGUV), Berlin 2020, www.dguv.de/publikationen Webcode: p211043
Der Methodenkoffer - Eine Sammlung von Methoden zur Anwendung in Evaluationen, Hrsg.:
Deutsche Gesetzliche Unfallversicherung e.V. (DGUV), Berlin 2021, www.dguv.de/publikationen Webcode: p021617
Checkliste zur Klärung eines Evaluationsauftrags bzw. Evaluationsprojekts. Hrsg.: Institut für Arbeit und Gesundheit der Deutschen Gesetzlichen Unfallversicherung (IAG); Fachbereich Organisation des Arbeitsschutzes der DGUV (FB ORG), Berlin 2018, https://www.dguv.de/medien/fb_org/dokumente/checkliste.pdf (abgerufen am 13.09.2021)
Weiterführende Literatur der DGUV
IAG Report 1/2021e: Evaluation of the ISSA Academy - using logic models, www.dguv.de/publikationen Webcode: p021823
IAG Report 1/2019: Evaluation der RAG-Kampagne "SICHERHEIT! Denk daran, bevor du loslegst." Ein Pilotprojekt der BG RCI für die Präventionsstrategie VISION ZERO, www.dguv.de/publikationen Webcode: p012834
DGUV Information 206-022: Verfahren und Methoden im Präventionsfeld "Gesundheit im Betrieb" - Empfehlungen für Präventionsfachleute, Berlin 2019, www.dguv.de/publikationen Webcode: p206022
IAG Report 5/2017: Die Evaluation der Präventionskampagne "Denk an mich. Dein Rücken" Planung, Durchführung und zentrale Ergebnisse, www.dguv.de/publikationen Webcode: p012662
IAG Report 3/2017: Evaluation in der gesetzlichen Unfallversicherung - Beispiele aus der Projektarbeit. Die Beiträge der Veranstaltungen "Fachgespräch Evaluation" in Dresden, gehalten in den Jahren 2012, 2014 und 2016, www.dguv.de/publikationen Webcode: p012627
Deutsche Gesetzliche
Unfallversicherung e.V. (DGUV)
Glinkastraße 40
10117 Berlin
Telefon: 030 13001-0 (Zentrale)
E-Mail: info@dguv.de
Internet: www.dguv.de