Abschnitt 11.7 - 11.7 Methoden zur Prüfung und Bewertung von Gestaltungslösungen
Software wird über die verschiedenen Einsatzphasen häufig überprüft und bewertet. Dabei wird ein Ist-Zustand mit einem Soll-Zustand verglichen. Soll-Ist-Unterschiede sind Hinweise auf Softwaremängel oder -fehler. Sie zeigen sich dadurch, dass mit einer aktuellen Softwarelösung die allgemeinen und spezifizierten Anforderungen für die Nutzung noch nicht erreicht wurden und die Aufgabenbearbeitung noch nicht angemessen unterstützt wird. (Teil-) Aufgaben oder Anforderungen, für die noch keine vollständige Gestaltungslösung entwickelt wurde, bleiben zunächst unberücksichtigt.
Soll-Ist-Unterschiede und Maßnahmen sollten dokumentiert werden. Ein Prüfkonzept beschreibt den Entwicklungsstand der Software anhand mehrerer Fragen:
Was soll (aktueller Zustand eines Prüfgegenstandes)
wogegen (Anforderungen und daraus abgeleitete Prüfkriterien)
mit welchem Kriterium
wann (Zeitpunkt im Entwicklungsprozess oder in der Phase des Einsatzzyklus)
von wem
wie (Funktionstest, Benutzungstest)
womit (Prüfablauf und -methoden) geprüft und bewertet werden?
Bei der Überprüfung und Bewertung helfen Dokumenten- und Produktanalyse, Beobachtung sowie schriftliche und mündliche Befragung. Weitere hilfreiche Methoden sind im Anhang 4 (Beispielhafte Methoden zur formativen Evaluation von Gebrauchstauglichkeit) dargestellt. Es gibt nicht die richtige, allgemein gültige Methode. Die Auswahl ist abhängig von der Aufgaben- und Zielstellung im Entwicklungsprozess zu treffen. Die Wahl der Methode sollte begründet und dokumentiert werden.
Allen Methoden gemeinsam ist, dass mit ihrer Hilfe nie alle Mängel der ergonomischen Gestaltung der Software aufgedeckt werden können. Wie aufgedeckte Mängel behoben werden können, geht aus den Verfahrensanleitungen meist nicht hervor.
Bei einem Funktionstest wendet eine Testperson eine Funktion an. Sie wird während des Ausprobierens beobachtet und es wird geprüft, ob ein vorab definierter Effekt erzielt wird. Da eine Funktion in ihren Möglichkeiten begrenzt ist, wird es wenige alternative Wege des Ausprobierens geben. Zur Erhöhung der Zuverlässigkeit eines Testergebnisses sind mehrfache Tests durch unterschiedliche Testpersonen durchzuführen. Eine getestete Funktionalität reicht für Aussagen zur Nutzungsqualität noch nicht aus.
Bei einem Benutzungstest wird eine geeignete Testperson angeleitet, im Nutzungskontext Aufgaben mithilfe eines Prototyps der Software zu bearbeiten. Dabei wird die Testperson während des Bearbeitens beobachtet und die Interaktionen mit der Software werden dokumentiert. Alternativ kann die Testperson eine freie Bewertung der Software bzw. eine Bewertung nach vorgegebenen Merkmalen abgeben. Die Nutzung der Software ist bei einem Benutzungstest durch alternative Wege z. B. der Reihenfolge des Bearbeitens vielfältiger. Zufällige Ergebnisse können nur durch mehrfach wiederholte Tests in zuverlässigere Ergebnisse überführt werden, wenn auch unterschiedliche Bearbeitungswege und unterschiedliche Testpersonen einbezogen sind.
Das Prüfen und Bewerten von Software-Prototypen ist ein wesentlicher Schritt in Richtung Gebrauchstauglichkeit und Nutzungsqualität. Mängel oder Fehler der Software bei der Unterstützung der Aufgabenbearbeitung sind zu identifizieren, Ursachen aufzudecken und alternative Lösungsvarianten zu entwickeln. Alternative Lösungsvarianten müssen in neue Prototypen umgesetzt werden, die wiederum mit Funktions- und Benutzungstests auf Mängel zu prüfen und zu bewerten sind.
Während der Entwicklung von Prototypen bis hin zur finalen Version der Software sollen immer mehr Nutzungskontexte abgedeckt werden. Daher beziehen sich auch formative Evaluationen auf einen wachsenden Anwendungsbereich. Formative Evaluationen sollten solange durchgeführt werden, bis eine Software frei von gravierenden Mängeln ist.