Historisch gewachsene Test-Suites testen oft gleichzeitig zu viel und zu wenig. Zu viel, da sie Tests enthalten, die Kosten erzeugen, aber kaum Mehrwert gegenüber ähnlichen Tests bieten. Zu wenig, da trotzdem wichtige Funktionalität ungetestet bleibt. Das führt dazu, dass wir viel Aufwand für Erstellung, Pflege und Ausführung der Tests haben, dabei aber trotzdem viele Fehler nicht finden.

Im Vortrag stelle ich Analysetechniken vor, die diese Probleme im eigenen System aufzeigen und zu lösen helfen: Pareto-Optimierung von Test-Suiten und Test-Impact-Analyse finden die Tests, die genau jetzt das beste Kosten-Nutzen-Verhältnis haben; Test-Gap-Analyse deckt auf, welche Code-Änderungen noch ungetestet sind. Außerdem zeigt die Auswertung der Versionshistorie und Bug-Tickets auf, wo im System in der Vergangenheit am meisten Fehler behoben wurden, was uns systematische Prozesslücken aufzeigen kann.

Alle Analysetechniken sind sowohl für automatisierte als auch manuelle Tests anwendbar und können so einen schrittweisen Wandel hin zu immer mehr effektiver Testautomatisierung begleiten. Ich zeige im Vortrag für jede Analyse die zugrundeliegenden Konzepte aus der Forschung und unsere Erfahrungen im Einsatz in der Praxis.