-
Events
-
Gestern lief's doch noch. Muss ich heute schon ...
- Dr. Elmar Jürgens
- SWA-MUC
- 18. July 2018
Zusammenfassung
Je älter und größer ein Softwaresystem ist, desto wichtiger ist eine verlässliche, automatisierte Testsuite. Insbesondere, wenn ich unter Zeitdruck viele Änderungen umsetze und kurze Release-Zyklen habe.
Wenn das System wächst, muss auch die Testsuite wachsen. Damit steigt aber auch die Ausführungsdauer. Wir sehen in der Praxis immer öfter Suites, die mehrere Stunden oder sogar Tage laufen. Langlaufende Suites werden aber typischerweise seltener ausgeführt als schnelle Suites, z.B. wöchentlich statt täglich. Leider muss ich als Entwickler dadurch immer länger auf Feedback warten, wodurch es immer aufwändiger wird, die Ursache für fehlschlagende Tests zu lokalisieren. Ironischerweise mindert das den Wert der Tests gerade für die Systeme, in denen sie eigentlich besonders wichtig sind.
Test-Impact-Analyse adressiert dieses Problem, indem sie Testfälle aussortiert, die bei der nächsten Ausführung höchstwahrscheinlich keine Fehler finden. Dazu werden die Code-Änderungen analysiert, die seit dem letzten Testlauf durchgeführt worden sind. Außerdem werden Tests so in Reihenfolge gebracht, dass sie möglichst schnell möglichst viele Änderungen durchlaufen. In unseren empirischen Studien konnten so über 90% der Fehler in weniger als 10% der Ausführungszeit gefunden werden.
Der Vortrag stellt Grundlagen, Forschungsergebnisse und empirische Studien zu Test-Impact-Analyse vor. Daneben berichten wir von unseren Erfahrungen damit in der eigenen Entwicklung, in Open-Source Projekten und bei Kunden.
Folien
Videoaufzeichnung des Vortrags
Eine Aufzeichnung des Vortrags können Sie sich in diesem Video ansehen.
Inhalte
1. Teil: Vorstellung Techniken Test-Impact-Analyse (TIA)
- 06:31: Was können wir beim Testen cleverer machen?
- 12:01: Vorgang zur Test-Selektion und -Priorisierung
- 15:37: Schritte der TIA
- 18:06: Grenzen der TIA
2. Teil: Wie gut funktioniert es? Ergebnisse empirischer Studien
- 21:48: Evaluation der TIA
- 22:37: Evaluation mit Mutationsanalysen
- 25:03: Höhere Effektivität der Selektion bei relativ lokalen Tests
- 28:00: Evaluation mit Github-Projekten
- 30:51: Evaluation mit Tests an eingebetten Systemen
- 31:42: Zusammenfassung
- 35:49: Fazit
- 36:27: Fragen