Reifegrade der Metriken
R 2.0.0
Allgemeine Beschreibung
Art und Umfang der Testaktivitäten, die im Zusammenhang mit einem bestimmten Baustein durchgeführt werden, sagen etwas über die "Reife" eines Projektvorgehens aus. Probieren Sie doch mal, sich anhand unseres Fragebogens selbst einzustufen! Wir definieren für jeden Baustein vier unterschiedliche Reifegrade und geben Ihnen Hinweise darauf, auf welcher "Stufe" Sie sich gerade befinden, bzw. geben Ihnen Hilfestellung durch welche konkreten Maßnahmen Sie eine höhere Stufe, einen höheren Reifegrad also, erreichen können.
Reifegrad "Initial"
Die Stufe "Initial" bedeutet bei Metriken, dass es für das Testteam nicht oder nur unter hohem Aufwand möglich ist, Antworten über die Qualität des Testobjekts zu geben. Der Vergleich von Testobjekten oder Projekten wird durch Beobachtungen statt Messungen gemacht. Es erfolgt kein Abgleich mit historischen oder projektähnlichen Daten. Eine strukturierte Aufzeichnung der Ergebnisse findet nicht statt.
Kontrollpunkte
-
Daten werden nicht gesammelt und Metriken nicht erhoben. Die Aussagen zum Testobjekt sind ausschließlich erfahrungsbasiert.
-
Die aus dem Testprozess vorliegenden Daten werden nicht zur Berichterstattung und Erhebung von Metriken genutzt.
-
Aussagen über die Qualität zu Testobjekten oder Projekten basieren auf subjektiven Erfahrungswerten.
-
Ein Vergleich mit historischen oder projektähnlichen Daten erfolgt nicht.
Verbesserungsvorschlag
Um den erforderlichen Reifegrad "Kontrolliert" zu erreichen, müssen die folgenden Kriterien erfüllt werden:
-
Ziele Definieren: Wo bin ich? Wo will ich hin?
-
Quantitative Zahlen liegen meist schon durch die Entwicklungstools vor: Anzahl der Testfälle, LoC, wie viele Artefakte gibt es … Nutzen Sie die Zahlen, die es im Projekt oder dem Verfahren eh schon gibt.
-
Für sich alleine genommen, helfen die nackten Zahlen nicht. Stellen Sie Zusammenhänge zwischen den Metriken her.
-
Zur Feststellung der benötigten Informationen werden Workshops mit den relevanten Stakeholdern durchgeführt.
Reifegrad "Kontrolliert"
Die Aktivitäten zum Einsatz von Metriken erfolgen geplant, einheitlich und abgestimmt.
Mehrwert
Der Einsatz von Metriken ermöglicht die Überwachung, Bewertung und Steuerung des gesamten Testprozesses.
Durch Metriken können Vergleiche zu vorherigen oder parallelen Testprozessen gezogen werden. Das ermöglicht ein frühzeitiges Eingreifen, um Problemen entgegenzuwirken.
-
Metriken geben Informationen über den Umfang, die Qualität und die Komplexität des Testobjekts.
-
Fortschritt der Testdurchführung wird durch Metriken transparent, da die Anzahl der Testfälle in den unterschiedlichen Status bestanden, fehlgeschlagen und blockiert über den gesamten Testprozess nachvollzogen werden können.
-
Die Schwere von Fehlern geben durch die Metriken Informationen über die Qualität des Testobjekts und den Fortschritt der Fehlerbehebung.
Kontrollpunkte
Metriken werden im Testprozess definiert und die dafür notwendigen Daten werden einheitlich erfasst.
-
Die benötigen Metriken werden in gemeinsamen Workshops methodisch definiert.
-
Metriken werden im Testprozess eingesetzt, um den Testprozess überwachen und bewerten zu können.
-
Daten, die für die Metriken benötigt werden, werden systematisch ermittelt und in geeigneten Werkzeugen gespeichert.
Verbesserungsvorschlag
Um den Reifegrad „Effizient" zu erreichen, müssen die folgenden Punkte erfüllt werden:
-
Aufwand-Nutzen-Analyse für die Erhebung, Auswertung und Bewertung der Daten für die Metriken wird durchgeführt.
-
Metriken sind im Einsatz, um die Effizienz des Testprozesses zielorientiert zu messen.
-
Es werden Reviews durchgeführt, in denen die Metriken mit den Beteiligten des Testprozesses analysiert werden.
-
Zusätzlich zu den vorliegenden Daten werde mit Hilfe etablierter Methoden oder selber erstellter Fragebögen weitere Metriken eingeführt, z.B. System Usability Scale
-
Die eingesetzten Werkzeuge erlauben die passende grafische Darstellung, automatische Berechnung
Reifegrad "Effizient"
Die Aktivitäten zur Verwendung der Metriken werden so aufeinander abgestimmt, dass es zu einem günstigeren Kosten-Nutzen-Verhältnis kommt.
Mehrwert
Die Informationen, die durch Metriken gewonnen werden, stehen in einem ausgeglichenen Aufwand-Nutzen-Verhältnis. Der Aufwand für die Erfassung und Analyse der Messdaten überwiegen nicht die Erstellung der Metriken und die daraus entstehenden Ergebnisse wie z.B. fundierte Empfehlungen zur Verbesserung des Testprozesses.
-
Die Stabilität der Testbasis kann bestimmt werden, um das Testfalldesign zu optimieren.
-
Metriken liefern Informationen über die Qualität des Testobjekts mit Einblick in die Effizienz der Testdurchführung.
-
Durch Metriken lässt sich das Verhältnis zwischen Testkosten und Entwicklungskosten bestimmen.
Kontrollpunkte
Die folgenden Punkte kennzeichnen den effizienten Reifegrad beim Einsatz von Metriken:
-
Aufwand-Nutzen-Analyse für die Erhebung, Auswertung und Bewertung der Daten für die Metriken wird durchgeführt.
-
Metriken werden eingesetzt, um die Effizienz des Testprozesses zielorientiert zu messen.
-
Es werden Reviews durchgeführt, in denen die Metriken analysiert werden.
-
Werkzeuge kommen zum Einsatz und ermöglichen automatische Berechnungen und grafische Darstellung der Ergebnisse.
Reifegrad "Optimierend"
Der erreichte Zustand des Einsatzes von Testmetriken wird gepflegt, analysiert und sich ändernden Erfordernissen stetig angepasst (kontinuierlicher Verbesserungsprozess).
Mehrwert
Der Informationsbedarf im Produktlebenszyklus ist Änderungen unterworfen, die auch Auswirkungen auf die Daten für Metriken haben.
Die Informationen, die aus den Metriken gewonnen werden, müssen überwacht und auf ihren Nutzen hin geprüft werden. Metriken werden danach neu hinzukommen oder optimiert werden und so eine kontinuierliche Verbesserung der Testaktivitäten im Produktlebenszyklus gewährleisten.
-
Effizienter und effektiver Einsatz der Informationen aus Metriken durch den gesamten Produktlebenszyklus
Kontrollpunkte
-
Die aufgeführten Punkte werden in regelmäßigen Abständen geprüft und wenn nötig verbessert.
-
Die Überwachung der Metriken gewährleistet, dass die richtigen Informationen und Schlussfolgerungen aus ihnen gezogen werden können.
-
Metriken werden bei Bedarf neu erstellt oder optimiert um den Informationsbedarf aktuell zu halten.
-
Kontinuierliche Weiterbildung (lernende Organisation)