DGUV Grundsatz 311-001 - Leitpapier zur Evaluation Grundverständnis in der geset...

Online-Shop für Schriften

Jetzt bei uns im Shop bestellen

Jetzt bestellen
Abschnitt 8, 8 Ablauf einer Evaluation
Abschnitt 8
Leitpapier zur Evaluation Grundverständnis in der gesetzlichen Unfallversicherung (DGUV Grundsatz 311-001)
Titel: Leitpapier zur Evaluation Grundverständnis in der gesetzlichen Unfallversicherung (DGUV Grundsatz 311-001)
Normgeber: Bund
Amtliche Abkürzung: DGUV Grundsatz 311-001
Gliederungs-Nr.: [keine Angabe]
Normtyp: Satzung

Abschnitt 8 – 8 Ablauf einer Evaluation

Evaluationen werden von Experten durchgeführt und/oder begleitet, die über die folgenden Kompetenzen verfügen:

  • Methodische und fachliche Kompetenz

  • Grundlagenwissen zu Sicherheit und Gesundheit

  • Erfahrungen hinsichtlich deskriptiver und analytischer statistischer Verfahren

Die Evaluatoren sind für den kompletten Ablauf der Evaluation verantwortlich. Die Evaluation sollte so früh wie möglich bei der Maßnahmenkonzeption berücksichtigt werden, ist aber inhaltlich und möglichst personell von der Konzeption der Maßnahme zu trennen. Das Evaluationskonzept wird erarbeitet, wenn Ziele, Intention und Inhalte der Präventionsmaßnahme weitestgehend feststehen.

Im Idealfall werden alle 8 Prozessschritte der Evaluation eingehalten (vgl. Abb. 1):

Abb. 1 Ablauf einer Evaluation

Eine häufig zu evaluierende Präventionsleistung bei den Unfallversicherungsträgern sind die Qualifizierungsmaßnahmen. Der in Abbildung 1 dargestellte Prozessablauf soll deshalb im Hinblick auf die Evaluation eines Seminars zum Thema "Rücken-fit am Arbeitsplatz" beispielhaft erläutert werden:

Gegenstand festlegen und

  1. 1.

    Ziele der Maßnahme ermitteln:
    Ziel des Seminars "Rücken-fit am Arbeitsplatz" ist es, das die Teilnehmenden am Ende des Seminars theoretische Grundlagen zum Thema kennen, verhältnis- und verhaltenspräventive Einzelmaßnahmen zur Förderung der Rückengesundheit erlernen und auch am eigenen Arbeitsplatz anwenden. Insgesamt soll dadurch die Gesundheitskompetenz der Teilnehmenden erhöht und das allgemeine Wohlbefinden gesteigert werden.3)

  2. 2.

    Betroffene und Beteiligte ermitteln:
    Betroffene und Beteiligte sind in diesem Fall die Seminarteilnehmerinnen und -teilnehmer. Im weiteren Sinne sind auch die Dozenten von der Evaluation betroffen, weil diese Einfluss auf das Seminarkonzept nehmen. Auftraggeber ist in der Regel der Unfallversicherungsträger.

  3. 3.

    Zweck der Evaluation bestimmen:
    Zum einen soll die Evaluation Stärken und Schwächen des Seminarkonzepts identifizieren (formative Evaluation). Die Evaluation verfolgt also den Zweck der Optimierung. Zum anderen soll die Wirksamkeit des Seminars ermittelt werden (summative Evaluation), was dem Zweck der Legitimation dient (s. Kap. 4).

  4. 4.

    Erstellung eines Wirkungsmodells:
    Bei der Evaluation von Seminaren wird häufig das Vier-Ebenen-Modell von Kirkpatrick (1987) eingesetzt (s. Kap. 7):

    • Reaction (= Reaktionsebene)

    • Learning (= Lernerfolg der Person)

    • Behavior (= Änderung im Verhalten)

    • Result (= Effektivität der Qualifizierungsmaßnahme)

  5. 5.

    Ermittlung von Fragestellungen und Indikatoren

    Auf Basis des Vier-Ebenen-Modells von Kirkpatrick können die Fragestellungen und Indikatoren direkt abgeleitet werden:

    • Reaction (= Reaktionsebene): Wird die Qualifizierungsmaßnahme von den Teilnehmenden in ihren einzelnen Bestandteilen und insgesamt positiv bewertet? Was läuft gut, was kann verbessert werden?

    • Learning (= Lernerfolg der Person): Haben die Teilnehmenden theoretische Grundlagen sowie verhältnis- und verhaltenspräventive Einzelmaßnahmen zum Thema Rückengesundheit erlernt und somit ihre Gesundheitskompetenz gesteigert?

    • Behavior (= Änderung im Verhalten): Wenden die Teilnehmenden die verhältnis- und verhaltenspräventive Einzelmaßnahmen in ihrem Arbeitsumfeld an?

    • Result (= Effektivität der Maßnahme): Hat sich das allgemeine Wohlbefinden der Teilnehmenden verbessert?

  6. 6.

    Design und Methodik festlegen:
    Zur Evaluation von Qualifizierungsmaßnahmen hat sich die Methode der schriftlichen Befragung bewährt. Häufig werden Qualifizierungsmaßnahmen nur während und unmittelbar nach der Maßnahme evaluiert. Mit diesen Erhebungen können zumindest Rückschlüsse zur Reaktionsebene sowie zum Lernerfolg der Teilnehmenden gezogen werden und Stärken und Schwächen der Qualifizierungsmaßnahme ermittelt werden.

    Will man allerdings auch Aussagen zur Verhaltensänderung und Effektivität der Qualifizierungsmaßnahme treffen, sollten die Teilnehmenden auch vor dem Seminar befragt werden (Vorher-Nachher-Messung).

    Langfristige Effekte lassen sich erst dann messen, wenn eine weitere Messung mit zeitlichem Abstand zur Qualifizierungsmaßnahme erfolgt (Follow-Up-Messung).

    Als Königsweg der Evaluation, der in der Praxis in der Regel kaum realisierbar ist, gilt außerdem der Vergleich über alle Messzeitpunkte mit einer Kontrollgruppe, die keine Qualifizierungsmaßnahme erhalten hat. Als Beispiel soll hier die Vorher-Nachher-Messung plus Follow-Up-Messung ohne Kontrollgruppe weiter dargestellt werden.

  7. 7.

    Datenerhebung, Auswertung und Interpretation:
    Die Seminarteilnehmerinnen und -teilnehmer erhalten vorher, unmittelbar nach dem Seminar und 3 Monate später einen Fragebogen mit Fragen zu folgenden Themenblöcken:

    • Bewertung der Qualifizierungsmaßnahme durch die Teilnehmenden (nur nachher)

    • Wissenstest zur verhältnis- und verhaltenspräventiven Einzelmaßnahmen zum Thema Rücken

    • Anwendung von Einzelmaßnahmen im Arbeitsalltag

    • Fragen zum allgemeinen Wohlbefinden

    Zur statistischen Auswertung werden mit Hilfe eines Statistikprogramms in der Regel Mittelwerte und Häufigkeiten berechnet. Darüber hinaus lässt sich prüfen, ob bezüglich der Indikatoren eine signifikante Veränderung zwischen den Messzeitpunkten erfolgt ist (statistische Tests auf Mittelwertunterschiede).

    Zur besseren Interpretation der Ergebnisse der statistischen Tests wird prozessbegleitend dokumentiert, wie die Präventionsmaßnahmenabwicklung (= die Seminardurchführung) abgelaufen ist: z. B. wie viele der angemeldeten Seminarteilnehmenden haben tatsächlich am Seminar teilgenommen, hat der Dozent tatsächlich zum Thema "Rücken-fit" referiert, ist es während der Seminardurchführung zu erheblichen Ablenkungen der Seminarteilnehmenden von außen gekommen (z. B. Lärm)? Die Erfassung der Präventionsmaßnahmenabwicklung ist wesentlich bei der Überprüfung angenommener Wirkungsverläufe.

  8. 8.

    Ergebnisdarstellung und Präsentation
    Die Ergebnisse müssen für alle Beteiligten verständlich dargestellt und rückgemeldet werden. Aus den Ergebnissen sollten Maßnahmen ableitbar sein, die zur Optimierung der Qualifizierungsmaßnahme beitragen.

3)

Eine Checkliste zur Auftragsklärung entsprechend der 8 Prozessschritte kann vom IAG bezogen werden.