Metriken

Metriken sind in Softwareprojekten von großer Bedeutung. Durch die im Test installierten QS-Maßnahmen und deren quantitative Messungen lässt sich die Qualität des Artefakts im Hinblick auf die relevanten Kriterien der Softwareprodukte bewerten. Zudem helfen sie dabei, potenzielle Probleme und Risiken frühzeitig zu erkennen und zu minimieren sowie die Effektivität der Prozesse zu verbessern.

Die objektive Darstellung durch klar definierte Skalen ermöglicht eine einheitliche Grundlage für die Berichterstattung, die zusätzlich zu den reinen Zahlenwerten noch um deren Interpretation und Maßnahmenempfehlungen ergänzt werden muss.

Metriken sind quantitative Angaben (Maßzahlen), die ein Überprüfen des Einhaltens von Vorgaben durch Messen des Ergebnisses ermöglichen. Messen ist somit zentrale Tätigkeit des Testmanagements.

Die Projektleitung kann ein Projekt nur transparent planen, kontrollieren und steuern, wenn ihr die notwendigen Informationen zur aktuellen Situation des Projekts zur Verfügung stehen. Dazu werden die Metriken zwingend benötigt.

Die SOLL-IST-Gegenüberstellung der geplanten und der realen Zahlenwerte machen den Projektstatus und -fortschritt messbar. Bei Abweichungen zum Plan können nach eingehender Analyse korrigierende Maßnahmen zur Zielerreichung getroffen werden. Die Projektleitung sollte daran auch erkennen können, ob Hindernisse erkennbar sind, die in Zukunft auftreten werden.

Die Grundlage für die notwendigen Entscheidungen dazu wird in Form von Metriken geliefert.

Aufgrund der Vielzahl der in einem Projekt vorliegenden Informationen ist es unmöglich, alle davon erfassen zu wollen. Eine solche Datenflut wäre nicht hilfreich für die notwendigen Entscheidungsprozesse. Es ist daher wichtig zu wissen, welche Informationen für die Projektleitung zur Steuerung eines Projektes notwendig sind. Anhand dieser Einschätzung ist eine Auswahl der zu erfassenden Metriken zu treffen, die der Projektleitung die benötigten Informationen zur Verfügung stellen.

Praxistipp: Es ist in der Regel selten nötig, ganz neue Daten zu erfassen, da die meisten bereits im Projektverlauf in unterschiedlichen Kontexten erhoben werden.

Da von den Ergebnissen der Messungen im Projekt viele Entscheidungen abhängen, ist es wichtig, die verwendeten Maßstäbe zur Einschätzung der aktuellen Softwarequalität an folgenden Grundkriterien auszurichten:

Weitere Kriterien kommen ergänzend hinzu:

Die methodische Auswahl geeigneter Metriken ist ein wichtiger Schritt am Anfang des Prozesses. Wie findet man also heraus, was man messen muss, um seine Ziele zu erreichen?

Eine verbreitete Herangehensweise zur Definition von Metriken ist die sogenannte Goal Question Metric (GQM) Konzept (Dr. Victor R. Basili). Diese geht in drei Schritten vor:

Für die sorgfältige Definition von Zielen, Fragen und Metriken sollte die entsprechende Vorbereitungszeit sowie die Einbeziehung der Beteiligten, z.B. in Interviews oder Workshops eingeplant werden.

Die Ziele lassen sich u.a. in Informations- (z.B. Wo stehen wir?) und Verbesserungsziele (Wo wollen wir hin?) unterscheiden und stellen die konzeptionelle Ebene dar. In Workshops mit den relevanten Ansprechpartnern lassen sich die Ziele festlegen und mit folgenden Dimensionen dokumentieren:

Zu übergeordneten Zielen lassen sich ggf. weitere Unterziele definieren.

Die Fragen auf der operationalen Ebene helfen, ein Verständnis dafür zu bekommen, durch welche Antworten die Ziele erreicht werden. In der Regel werden pro Ziel drei bis sieben Fragen definiert. Wichtig ist, dass die Fragen mit der Angabe eines Zahlenwertes beantwortet werden können.

Auf Basis dieser Fragen werden die Metriken bestimmt. Sie sind das, was gemessen wird. Durch sorgfältiges Auswählen der Metriken wird sichergestellt, dass keine unnötigen Daten erhoben werden. Die Metriken liefern die gemessenen Zahlenwerte zu den zuvor definierten Fragen. Sie können schematisch einheitlich dokumentiert werden:

Nachdem die Metriken für das Testobjekt sorgfältig ausgewählt und definiert wurden, beginnt anschließend das eigentliche Messen. Es wird geprüft, ob Vorgaben erreicht bzw. eingehalten wurden. Die Messvorschriften wie z.B. Testabdeckung, zulässige Fehlerquoten oder Antwortzeitverhalten werden festgelegt und im Ergebnis die Einhaltung zuvor definierter Wertebereichen verglichen.

In der o.g. Tabelle zur Dokumentation ist vom Skalenniveau der Metrik die Rede. Jeder Messwert, den sie erheben, wird einem bestimmten Skalenniveau zugeordnet. Die Skalenniveaus wiederum sagen aus, was berechnungs-technisch mit den Variablen angestellt werden darf.

Je komplexer der gesuchte Informationsgehalt, desto komplexer bzw. höher muss auch das entsprechende Skalenniveau ausfallen. Deswegen gibt es unterschiedliche Skalenniveaus, die sich für verschiedene Arten der gewünschten Daten besser oder schlechter eignen.

Hier folgt nun eine kurze Vorstellung der fünf genannten Skalenniveaus:

Man kann sich die aufeinander aufbauenden Skalen wie ein Haus mit verschiedenen Stockwerken vorstellen: das Erdgeschoss, quasi die Basis, ist die Nominalskala, das erste Obergeschoss die Ordinalskala und so weiter.

Ein weiterer Aspekt in der genannten Dokumentation ist die grafische Darstellung der Informationen, die häufig schneller erfasst und besser interpretiert werden können als reiner Text oder blanke Zahlen. Übliche Darstellungsformen der Informationen sind in der Praxis die unterschiedlichen Diagrammtypen, von denen hier einige vorgestellt werden:

In unserem Beispiel (Auszug) zur Definition der Metriken verwenden wir die GQM-Methode und wählen die Rolle bzw. den Blickwinkel des Testenden in einem Softwareentwicklungsprojekt.

Ziel: Es soll über den aktuellen Qualitätsstand der in der Phase entwickelten und getesteten Software in einem Abschlussbericht transparent informiert werden.

Unterziel 1: Informationen über die Testvorbereitungen
Unterziel 2: Informationen über die Zeit- und Ressourcendaten der Testmaßnahme
Unterziel 3: Informationen zur Testdurchführung der Testfälle
Unterziel 4: Informationen zum Status der Abweichungen

Häufig genutzte Software-Metriken: