Testmanagement – Incident Management

Um eine verlässliche und schnelle Fehlerbeseitigung sicher stellen zu können, welche über die verschiedenen Teststufen entdeckt worden sind, ist es wichtig, eine gut funktionierende Vorgehensweise bezüglich der Kommunikation und Administration dieser sogenannten Fehler-/ Incident-Reports aufzusetzen. Das Fehler-/Incident-Management fängt schon während der Testausführung oder auch nach Testfallbeendigung durch die Evaluierung der Testaufzeichnungen an. Ein Incident muss nicht zwingend ein Fehler sein, es ist in jedem Fall aber ein von der Erwartung abweichendes Ergebnis, welches sich als Fehler herausstellen, aber auch andere Ursachen (z.B. falsche Dokumentation) haben kann.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Incident Management, Testmanagement | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Testaktivitäten – Steuerung der Testzyklen

Wenn Tests sich entgegen der in der Projekt- und  Testplanung festgelegten Zeiten verzögern muss der Testmanager entsprechende Gegenmaßnahmen einleiten, welche sich nicht nur auf den Test als auch auf entsprechende Entwicklungsaktivitäten beziehen können.
So kann es z.B. nötig sein, zusätzliche Testressourcen anzufragen und einzusetzen um die Verzögerung wieder einzuholen und den definierten Zeitplan einzuhalten.
Wenn aber keine zusätzlichen Ressourcen verfügbar sind, muss der Testplan angepasst werden, in dem z.B. Testfälle mit niedrigerer Priorität wegfallen oder nicht alle geplanten Varianten eines Testfalls ausgeführt werden.
Es mag aber auch sein, dass ein Testzyklus ausgeweitet wird, z.B. aufgrund massiver Fehler in der Software.
Es ist von enormer Wichtigkeit, dass der Testmanager jede Planänderung dokumentiert und kommuniziert da jede Änderung auch das Abgaberisiko vergrößert.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testaktivitäten, Testmanagement | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Testaktivitäten – Monitoring der Testzyklen

Um die Testresultate überwachen und auswerten zu können, sollten Testmetriken genutzt und in der Teststrategie definiert werden. Hierbei kann zwischen folgenden Ansätzen unterschieden werden:

  • Fehlerbasiert, z.B. die gefundenen Fehler im aktuellen Release
  • Testfallbasiert, Anzahl der geblockten (z.B. aufgrund von nicht berichtigten Fehlern), erfolgreichen und nicht erfolgreichen (z.B. durch unerwartete Resultate) Testfälle, gemessen an der Gesamtanzahl der geplanten Testfälle
  • Testobjektbasiert, z.B. abdeckung von Code, Installationsvarianten, Einstellungen, usw
  • Kostenbasiert, Kosten in Relation zum erwarteten Erfolg

Der Testmanager führt die Überwachungsresultate in seinem Testreport auf. Nach jedem Testzyklus wird ein Teststatusreport geschrieben, die die folgenden Informationen über den Status der Testaktivitäten enthält:

  • Testobjekt, Teststufe, Testzyklus inklusive genauer Zeitrum der Durchführung
  • Testfortschritt: geplante/ ausgeführte/ blockierte Testfälle
  • Fehlerstatus: Neu/ offen/ korrigiert
  • Risiken: Neu/ geändert/ bekannt
  • Aussichten: Planung des nächsten Zyklus
  • Einschätzung: (persönliche) Einschätzung des Tests mit Blick auf dessen Ablaufplanung und besonders zeitlicher Restriktionen, der möglichen Abgabe in Produktion sowie die das momentane Vertrauen in die Softwarequalität
  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testaktivitäten, Testmanagement | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Testaktivitäten – Testzyklus

Der Testplan ist die initiale Planung eines Tests welche so früh wie möglich aufgesetzt und dokumentiert werden sollte. Diese erste Planung sollte für die kommenden Testzyklen in regelmäßigen Intervallen entsprechend der aktuellen Projektsituation unter der Berücksichtigung folgender Aspekte abgeändert werden:

  • Status der Entwicklung
  • bisherige Testresultate
  • Ressourcen

Hierauf beziehend werden auch Einschätzungen für Dauer und Aufwand des nächsten Tests vorgenommen sowie im Detail spezifiziert welche Testfälle zu welcher Zeit von welchem Tester in welcher Reihenfolge ausgeführt werden sollen

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testaktivitäten, Testmanagement | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Testaktivitäten

Aus jeder Softwareversion entstehen häufig neue Änderungswünsche oder Anfragen zur Fehlerbeseitigung. Hieraus resultierend muss auch der Test wieder aktiv werden und zumindest einige Testfälle erneut ausführen. Die Verantwortung des Testmanagers liegt in der Initiierung, Überwachung und Kontrolle dieser Testzyklen. Abhängig von der Größe des Projektes gibt es für jedes Testlevel einen separaten Testmanager.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testaktivitäten, Testmanagement | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Teststrategie – Risikomanagement

Bei den Standards zur Qualitätssicherung und dem Testplan werden jeweils die Testrisiken beachtet und aufgenommen. Dies beinhaltet zuerst einmal die Einschätzung, welche Risiken überhaupt auftreten können. Diese Risiken werden anschließend priorisiert und Aktionen zur Abschwächung dieser durchgeführt.
Dies sollte nach Möglichkeit immer wieder durchgeführt werden, weil neue Erkenntnisse während des Projekt-/Testlaufes auch zu neuen Risiken führen können.

Eine der wichtigsten Aktivitäten zur Abschwächung von Risiken ist der Test.  Risikobasierte Tests helfen, diese Risiken abzuschwächen oder sogar ganz abzuwehren.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testmanagement, Teststrategie | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Teststrategie – Risiken

Risiken sind die stärksten Kriterien für Auswahl und Priorisierung von Testfällen. Hierbei unterscheidet man zwei verschiedene Arten;

Projektrisiken beziehen sich auf die Lieferfähigkeit der Software, z.B.

  • Lieferrisiken, z.B. wenn ein Subunternehmen nicht liefert.
  • Ressourcen-Risiken beinhalten nicht nur bei fehlende/ schlecht ausgebildeten Ressourcen, sondern auch zwischenmenschliche Probleme oder interne Machtkämpfe
  • Technische Risiken wie z.B. falsche, unvollständige oder unausführbare Anforderungen.

Produktrisiken beziehen sich auf Probleme mit der (üblicherweise bereits gelieferten) Software, z.B.

  • unpassende/ falsche Funktionen aufgrund dessen die Software unbrauchbar ist
  • Schaden durch die Software in Daten oder Geräten
  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testmanagement, Teststrategie | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Teststrategie – analytischer vs heuristischer Ansatz

Beim analytischen Ansatz basiert die Testplanung auf Daten und deren Analyse. Die Anzahl und Intensität der Testfälle werden anhand von Parametern (z.B. Kosten, Zeit, Abdeckung, usw) definiert und optimiert. Hierbei werden in der Regel auch die Kosten zumindest teilweise betrachtet.
Beim heuristischen Ansatz fundiert die Planung mehr auf die Erfahrung von Experten (welche nicht zwingend im gleichen Projekt sein müssen) und pi-mal-Daumen-Regeln.

Da diese Ansätze absolut konträr sind wird in der Praxis versucht, Mittelwege zu finden, z.B.

  • Modellbasiertes Testen; hier werden abstrakte funktionale Modelle der zu testenden Software genutzt, um Testendekriterien zu definieren und die Testabdeckung zu berechnen
  • Statisches oder Stochastisches Testen; hier werden statische Modelle über Fehlerverteilung im Testobjekt, Fehlerraten während der Nutzung der Software, oder die Verteilung von Use cases die auf der Verteilung von Daten beruhen genutzt, um den Testaufwand einzuschätzen
  • Risikobasiertes Testen nutzt Informationen über Projekt- und Produktrisiken um die Bereiche mit den größten Risiken als erstes zu testen
  • Prozess- oder standardkonforme Ansätze benutzen Regel, Standards und Empfehlungen als eine Art “Kochbuch”
  • Wiederverwendbare Ansätze wiederverwenden existierende Testumgebungen und Testmaterialien um möglichst schnell bei maximaler Wiederverwendbarkeit einen Test aufzusetzen
  • Checklistbasierte Ansätze benutzen Fehlerlisten von früheren Testzyklen um potentielle Defekte oder Risiken auszumachen oder Qualitätskriterien zu priorisieren
  • Expertenorientierte Ansätze nutzen die Erfahrung und auch die Intuition der involvierten Experten

In der Regel wird eine Kombination dieser Ansätze angewandt.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testmanagement, Teststrategie | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Teststrategie – vorbeugender vs reagierender Ansatz

Beim vorbeugenden Ansatz starten Testplanung und Design so früh wie möglich. Somit werden auch die Tester relativ früh mit einbezogen. Der Testmanager hat dadurch Optimierungspotential in Test und Kosten.
Ist der Tester in alle Phasen des V-Modells (auch denen der Entwicklung) mit einbezogen und kann z.B. sein Wissen in die statische Analyse oder Reviews einfließen lassen, ist dies von enormen Wert für das Projekt.

Beim reagierenden Ansatz wird der Test sehr spät erst involviert, möglicherweise sogar zu spät. Somit kann der Testmanager nur noch reagieren und nur noch intuitive Tests durchführen.

Das der vorbeugende Ansatz dem reagierenden Ansatz wenn immer möglich vorgezogen werden sollte ist selbstverständlich.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testmanagement, Teststrategie | Verschlagwortet mit , | Hinterlasse einen Kommentar

Testmanagement – Teststrategie

Mit einer Teststrategie werden die Testziele und die benötigten Mittel um diese zu erreichen spezifiziert. Hieraus resultieren Aufwand und Kosten für den Test.
Die Schwierigkeit der Erstellung einer Teststrategie liegt darin, Aufwand, Kosten und Nutzen so gut wie möglich auszubalancieren; die Testkosten sollten niedriger als die Kosten zur Beseitigung von Defekten in der produktiven Version, nicht zu viele Testfälle aber auch nicht zu wenig definiert sein, usw.
Häufig ist dies eine rein intuitive Entscheidung/ Balancierung, da harte Fakten für so eine Berechnung fehlen.

  • Print
  • Facebook
  • Twitter
  • Google Bookmarks
  • Blogosphere
  • email
  • PDF
  • RSS
  • Technorati
  • Add to favorites
  • blogmarks
  • del.icio.us
  • Digg
  • Wikio
Veröffentlicht unter Testmanagement, Teststrategie | Verschlagwortet mit , | Hinterlasse einen Kommentar