Es müssen immer mehr Funktionalitäten in immer weniger Zeit getestet werden, da erfolgreiche Software von Release zu Release wächst, aber die Release-Zyklen immer kürzer werden. Historisch gewachsene Test–Suites sind hierfür oft ungeeignet, da sie gleichzeitig zu viel und zu wenig testen. Zu viel, weil sie redundante Tests enthalten, die Ausführungs- und Wartungskosten verursachen, aber kaum Mehrwert gegenüber ähnlichen Tests bieten. Zu wenig, da trotzdem wichtige Funktionalität ungetestet bleibt. Das führt dazu, dass die Test-Suites zwar sehr lange laufen, dabei aber viele Fehler nicht finden.
Diese Test-Suiten müssen effektiver gestaltet werden (d. h. mehr Fehler finden) und effizienter arbeiten (d. h. schneller/billiger), um langfristig erfolgreich zu sein.
Die Forschungsgemeinschaft von CQSE GmbH hat jahrzehntelang an Ansätzen gearbeitet, um die Effektivität und Effizienz von Tests zu steigern. In den letzten Jahren sind vermehrt auf KI basierende Ansätze dazugekommen, die versprechen, uns zu helfen, schneller mehr Fehler zu finden.
In diesem Vortrag stellt Elmar Jürgens Ansätze vor, um in kürzerer Zeit mehr Fehler zu finden: Historienanalysen ermitteln, wo in vergangenen Releases die meisten Fehler aufgetreten sind; dies deckt oft Prozessmängel auf, die die Ursache zukünftiger Fehler sein können. Die Test-Gap-Analyse zeigt, welche Code-Änderungen noch nicht getestet wurden und am fehleranfälligsten sind. Pareto-Optimierung von Test-Suiten, Test-Impact-Analyse und Predictive-Test-Selection identifizieren Tests, die momentan das beste Kosten-Nutzen-Verhältnis haben. Und schließlich arbeitet die Defect Prediction mit KI, um vorherzusagen, wo zukünftig Fehler auftreten werden.
Jede dieser Analysen wurde implementiert, in empirischen Studien untersucht und in der eigenen Entwicklung sowie bei Kunden eingesetzt. Für jede Analyse skizziert Elmar die Forschungsgrundlage, zeigt, wie gut sie funktionieren und erläutert, mit welchen Analysen wirklich in kürzerer Zeit mehr Fehler gefunden werden.