Abschnitt 7 - 7 Vergleichsmaßstäbe für Evaluationen
Vergleichsmaßstäbe können dabei helfen, die Evaluationsergebnisse von Präventionsmaßnahmen einzuordnen und zu bewerten. Diese Vergleichsgrößen bieten damit in der Planungsphase eine Orientierung bei der Entwicklung des Evaluationskonzepts und in der Abschlussphase eine Hilfe bei der Interpretation der Ergebnisse.
In Anlehnung an Schmidt [5] können die Vergleichsmaßstäbe in vier Referenzgrößen unterteilt werden. Diese sind nicht trennscharf, denn sie können einzeln oder kombiniert herangezogen werden:
Vergleich mit anderen Präventionsmaßnahmen: Evaluationsergebnisse zur Durchführung oder Wirksamkeit einer Präventionsmaßnahme werden mit Ergebnissen ähnlicher Präventionsmaßnahmen verglichen. Es wird keine absolute Bewertung durchgeführt, sondern eine relative. Beispiel: Die Zufriedenheit mit dem Seminar x und die Bewertung des Transfererfolgs von Seminar x wird mit den Ergebnissen zur Zufriedenheit mit dem Seminar y und dem Transfererfolg von Seminar y verglichen.
Vergleich zwischen angestrebten Zielen und Zielerreichung: Die Wirksamkeit der Präventionsmaßnahme wird daran festgemacht, ob die Ziele der Präventionsmaßnahme erreicht wurden. Beispiel: Ob eine Präventionskampagne erfolgreich war, wird danach beurteilt, inwieweit die Kampagnenziele, die vor Beginn der Kampagne im Fachkonzept festgeschrieben wurden, erreicht wurden.
Vergleich von Ergebnissen zu unterschiedlichen Messzeitpunkten: Es werden zu verschiedenen Messzeitpunkten, zum Beispiel vor, während und unmittelbar nach Abschluss sowie Monate nach Abschluss der Durchführung einer Präventionsmaßnahme Daten erhoben, die dann miteinander verglichen werden können. Hier lässt sich der relationale Fortschritt ermitteln. Beispiel: Die Befragung zu einer neuen Ausbildung erfolgt vor Beginn der Ausbildung, zwischen den Ausbildungsmodulen, am Abschluss der Ausbildung und acht Monate nach Ausbildungsende. Es werden jeweils die gleichen Daten erhoben, sodass Veränderungen bei den Teilnehmenden, beispielsweise bezüglich ihrer Kompetenz und ihrer Fertigkeiten, identifiziert werden können.
Vergleich mit normativ gesetzten oder auf Basis theoretischer Modelle abgeleiteter Qualitätsstandards: Es wird ermittelt, ob eine Präventionsmaßnahme normativ gesetzte oder aus theoretischen Modellen abgeleitete Qualitätsstandards erreicht. Normative Standards sind bei solchen Präventionsmaßnahmen bedeutsam, bei denen es um Normierung bzw. die Gewährleistung von Standards geht. Beispiel: In Vorschriften der gesetzlichen Unfallversicherung sind bestimmte Normen festgeschrieben. Mittels Evaluation kann festgestellt werden, ob bei der Umsetzung einer Vorschrift in Unternehmen diese Normen erreicht werden. Theoretische Modelle dienen als Strukturierungshilfe, welche die Ableitung der Evaluationskriterien und des Evaluationsdesigns anleiten. Beispiel: Die Evaluation eines Seminars wird am Vier-Ebenen-Modell von Kirkpatrick [6] geplant. Damit werden die Zufriedenheit, der Lernerfolg, die Verhaltensveränderung und die Effekte im Betrieb gemessen.