Events

Keynote Fachgruppe TAV der Gesellschaft für Informatik (GI): Haben wir das Richtige getestet? Erfahrungen mit Test-Gap-Analyse und Ticket Coverage in der Praxis

Written by Dr. Dennis Pagano | Oct 29, 2022 9:38:23 am

Since this post accompanies a talk in German, it is written in German, too.

Koordinaten

Zusammenfassung

Bei langlebiger Software treten die meisten Fehler dort auf, wo viel geändert wurde. Wenn wir richtig testen wollen, müssen wir daher sicherstellen, dass keine wichtigen Änderungen ungetestet bleiben. Hierbei hilft uns Test-Gap-Analyse, ein Analyseverfahren, das ungetestete Änderungen ermittelt. Ticket Coverage ist eine Verfeinerung der Test-Gap-Analyse, die es ermöglicht, sogar pro Ticket zu ermitteln, welche Bereiche nicht (oder nicht ausreichend) getestet wurden.

Beide Analysen entstammen verschiedener Forschungsarbeiten, die wir selbst durchgeführt oder betreut haben, und sind mittlerweile in unserem Produkt im Praxiseinsatz.

Nach einer kurzen Einführung in Test-Gap-Analyse und Ticket Coverage stelle ich im Vortrag die Erfahrungen vor, die wir in den letzten Jahren im Einsatz bei Kunden und in der eigenen Entwicklung gesammelt haben, und beantworte u.a. folgende Fragen:

  • Wie stelle ich als Tester sicher, dass ein Hotfix gründlich getestet wurde?
  • Als Tester muss ich viele User Stories einzeln testen. Wie erkenne ich, wie gründlich ich jeweils getestet habe und wo noch Lücken sind?
  • Wie behalte ich als Test Manager den Überblick, wie gründlich mein System getestet wird, obwohl Entwicklung und Test auf parallelen Branches und in verschiedenen Umgebungen stattfinden?
  • Wie kann ich als Test Manager die Testabdeckungen von unterschiedlichen Teststufen (Unit-Test, Integrationstest, Akzeptanztest, User-Trampeltest usw.) vergleichen und Änderungen identifizieren, die von keiner Teststufe geprüft wurden?

Außerdem stelle ich Best Practices und nützliche KPIs im kontinuierlichen Einsatz vor und gebe einen Ausblick zum Einsatz im Produktivbetrieb, der es erlaubt, zu ermitteln, ob alte und neue Features von Anwendern tatsächlich eingesetzt werden.

Folien