Reifegrade des Abnahmetests

R 2.5.1

Allgemeine Beschreibung

Art und Umfang der Testaktivitäten, die im Zusammenhang mit einem bestimmten Baustein durchgeführt werden, sagen etwas über die "Reife" eines Projektvorgehens aus. Probieren Sie doch mal, sich anhand unseres Fragebogens selbst einzustufen! Wir definieren für jeden Baustein vier unterschiedliche Reifegrade und geben Ihnen Hinweise darauf, auf welcher "Stufe" Sie sich gerade befinden, bzw. geben Ihnen Hilfestellung durch welche konkreten Maßnahmen Sie eine höhere Stufe, einen höheren Reifegrad also, erreichen können.

Reifegrad "Initial"

Der Testprozess besteht aus Ad-hoc-Aktivitäten. Die Fachabteilungen werden in der Abnahmetestphase erstmalig mit ihrer Software konfrontiert.

Kontrollpunkte

  • Fachabteilungen werden aufgrund ihrer hohen Auslastung im Tagesgeschäft nur sporadisch und kurzfristig in Testentwurf und -durchführung eingebunden

  • Testfallerstellung erfolgt spontan, intuitiv und ohne methodische Unterstützung, "lieber zu viel als zu wenig testen"

  • Unterschiedliche Auffassungen und Sichtweisen auf Anforderungen wurden in den vorherigen Phasen nicht geklärt

  • Abnahmekriterien werden nur unzureichend abgestimmt und berücksichtigt

  • Spontane Nutzung von funktionalen Abnahmetestfällen

  • Mangelnde Dokumentation und Messung der Testergebnisse

  • Testumgebungen stehen häufig nicht zeitgerecht bereit

  • Testdaten und Testumgebung entsprechen nicht den realen Bedingungen

  • Druck des nahenden Termins zur Inbetriebnahme sorgt ggf. für Kürzung in Inhalt und Umfang

Verbesserungsvorschlag

Um sich auf den nächsten Reifegrad zu verbessern, müssen die Kontrollpunkte des Reifegrads "Kontrolliert" erfüllt sein. Diese umfassen insbesondere die Planung, Design und Ausführung der Tests.

  • Planen Sie frühe Klärungstermine zur Vermeidung von unterschiedlichem Verständnis für die Testbasis.

  • Betrachten Sie bei der Testfallerstellung Prioritäten, Risiken und Testabdeckung für ein zielgerichtetes Vorgehen.

  • Binden Sie die Anwender aus den Fachabteilungen regelmäßig im Rahmen von Begutachtungen in den Entwicklungsprozess ein.

  • Reservieren Sie Testraum und -rechner, falls diese benötigt werden.

  • Planen Sie einen Reviewprozess für die Erstellung Abnahmetestfälle mit den Fachabteilungen und Dienstleistern.

  • Definieren Sie klare Akzeptanz- und Abnahmekriterien für diese Teststufe. Sie startet erst nach Abschluss der früheren Teststufen ("Komponententest", "Integrationstest" und "Systemtest")

  • Nicht-funktionale Tests und deren Ergebnisse lassen Sie in die Betrachtung einfließen.

  • Durch die frühzeitige Planung der Ressourcen aus dem Betrieb und Fachbereich sorgen Sie für eine angemessene Priorisierung der Abnahmetests.

  • Kommunizieren Sie die Testergebnisse regelmäßig zur Steuerung an die Projektleitung.

  • Verwenden Sie ein Testwerkzeug, welches die bidirektionale Rückverfolgbarkeit über einheitliche IDs zwischen Testfällen und Anforderungen ermöglicht.

  • Suchen Sie die rechtzeitige Abstimmung mit dem Betriebsdienstleister zur Klärung der Bereitstellung produktionsnaher Testumgebungen.

Reifegrad "Kontrolliert"

Alle wichtigen Aktivitäten des Testprozesses werden geplant und durchgeführt. Die Verantwortung für die Planung und Durchführung der Tests wechselt vom Hersteller oder der entwickelnden Projektgruppe zum Kunden.

Mehrwert

  • Test und Qualitätssicherung sind nicht mehr der Fertigung "nachgelagerter Reparaturbetrieb", sondern liefern wichtige Daten für die Planung und Steuerung des Projektes

  • Der Abnahmetest startet erst nach Abschluss von "Komponententest", "Integrationstest" und "Systemtest".

  • Es kann eine Aussage darüber getroffen werden, ob und in welchem Maße die Kundenanforderungen erfüllt sind

  • Es herrscht ein einheitliches Verständnis für die Testbasis

  • Bidirektionale Rückverfolgbarkeit ermöglicht im Falle einer Abweichung eine schnelle Zuordnung und Korrektur.

  • Regelmäßige Begutachtungen durch die Fachabteilungen im Vorfeld der Abnahmetests steigern die Akzeptanz der Software und verhindern Missverständnisse.

  • Durch frühzeitige Planung und Kommunikation werden Fachabteilungen und Betrieb in die Abnahmetests einbezogen.

  • Die Testdurchführung in einem separaten Testraum sorgt für einen hohen Fokus auf die Aufgabe.

  • Separat durchgeführte nicht-funktionale Tests runden das Gesamtbild der Abnahmetests ab.

Kontrollpunkte

  • Die früheren Teststufen ("Komponententest", "Integrationstest" und "Systemtest") sind abgeschlossen

  • Regelmäßige Klärungstermine sorgen für ein einheitliches Verständnis der Testbasis

  • Fachbereiche sind z.B. durch Begutachtungen in den Testprozess eingebunden

  • Reviews der erstellten Abnahmetestfälle erhöhen deren Qualität und Brauchbarkeit, Abnahmekriterien sind eindeutig definiert

  • Es kommt zu einer ersten Priorisierung und risikoorientierten Betrachtung der Testfälle.

  • Bidirektionale Rückverfolgbarkeit zwischen Anforderungen und Testfällen vereinfacht und beschleunigt Korrekturen

  • Metriken können automatisch aus dem Testwerkzeug exportiert werden. Interpretation und Maßnahmenempfehlungen daraus werden an Projektleitung berichtet.

  • Testphase ist geplant und kommuniziert, Fachbereiche und Betrieb stehen zur Verfügung

  • Testraum, -rechner und -umgebung stehen rechtzeitig mit produktionsnahen Daten bereit

  • Ergebnisse funktionaler und nicht-funktionaler Tests fließen in die Abnahmeentscheidung ein.

Verbesserungsvorschlag

  • Nutzen Sie die Methode des Risikobasierten Testens für einen zielgerichteten Einsatz der knappen Ressourcen.

  • Erstellen Sie die Testfälle der Abnahmetests unter Verwendung von Testentwurfsverfahren für Reduzierung des Testaufwandes bei gleichzeitig hoher Abdeckung der Fachlichkeit.

  • Verwenden Sie automatisierte Smoke Tests zur effizienten Prüfung der Einsatzfähigkeit der bereitgestellten Testumgebung.

  • Durch Nutzen des vollen Funktionsumfangs des Testwerkzeugs lassen Sie sich automatisierte Dashboards oder Exporte in definierte Vorlagen inkl. grafischer Darstellungen erstellen.

Reifegrad "Effizient"

Die Aktivitäten des Testprozesses werden so aufeinander abgestimmt, dass es zu einem günstigeren Kosten-Nutzung-Verhältnis kommt.

Mehrwert

  • Die essenziellen Schritte des Testprozesses nach der ISTQB sind vollständig umgesetzt und werden nun kosteneffizient ausgerichtet.

Kontrollpunkte

  • Risikobasiertes Testen führt zu effizientem Einsatz der knappen Testressourcen.

  • Die Testfallerstellung wird unter Verwendung der Testentwurfsverfahren zu einem angemessenen Mix aus Überdeckung, Zeit und Kosten optimiert.

  • Automatisierte Smoke Tests erlauben schnelle Aussage zur Einsatzfähigkeit der installierten Testumgebung.

  • Die Berichterstattung in der Abnahmetestphase wird durch automatische Exporte aus dem Testwerkzeug unterstützt.

  • Die Testberichte können aufgrund der Messungen während der Testdurchführung automatisch den Status zu den quantifizierbaren Abnahmekriterien ermitteln.

Verbesserungsvorschlag

  • Erstellen Sie eine Matrix, mit der die Fachbereiche nachvollziehen können, welche Testmaßnahmen die einzelnen Qualitätsmerkmale überprüfen.

  • Sorgen Sie für ein regelmäßiges und definiertes Reporting sowie die Rückkopplung der Befunde an die Projektleitung und den Kunden.

  • Etablieren Sie einen kontinuierlichen Verbesserungsprozess.

Reifegrad "Optimierend"

Der erreichte Zustand des Testprozesses wird gepflegt, analysiert und sich ändernden Erfordernissen stetig angepasst (Kontinuierlicher Verbesserungsprozess).

Mehrwert

  • Dieser Reifegrad stellt sicher, dass zu immer gleichen Bedingungen höchste Qualität produziert wird.

  • Ressourcen (Zeit, Geld, Personal) werden demzufolge optimal eingesetzt

  • Produkt- und Projektrisiken werden minimiert und sind berechenbar

  • Wiederverwendbarkeit und Nachhaltigkeit sind optimal unterstützt

Kontrollpunkte

  • Die fortlaufende Verbesserung der genannten Punkte ist etabliert

  • Regelmäßiges aktives Einholen von Feedback und Rückmeldungen wird durchgeführt

  • Einheitliche Vorgaben sind akzeptiert, werden gelebt und weitergegeben

  • Es herrscht eine offene und konstruktive Haltung zu stetigen Verbesserungen und kritischen Prüfungen bestehender Prozesse

Quellen

  • TPI NEXT - Geschäftsbasierte Verbesserung des Testprozesses; van Ewijk, Linker, van Oosterwijk, Visser, de Vrie, 1. Auflage 2011