An evaluation framework for software test processes [Elektronische Ressource] / von: Ayaz Farooq

Sujets

• Informatik

Informations

• Publié par: otto-von-guericke-universitat_magdeburg
• Publié le: 01 janvier 2009
• Nombre de lectures: 19
• Langue: English
• Poids de l'ouvrage: 2 Mo

Extrait

An Evaluation Framework for Software Test Processes
Dissertation
zur Erlangerung des akademischen Grades
doktor ingenieur
(Dr.-Ing)
genehmigt durch die Fakultät für Informatik
der Otto-von-Guericke-Universität Magdeburg
von: M.Sc. Ayaz Farooq
geb. am 30.07.1972 in Sargodha (Pakistan)
Gutachter:
Prof. Dr.-Ing. habil. Reiner R. Dumke
Prof. Dr.-Ing. habil. Andreas Schmietendorf
Prof. Dr.-Ing. habil. Fevzi Belli
eingereicht am: 16. Juni 2009
verteidigt am: 29 September 2009Abstract
Existing assessment and improvement models of software testing process mainly intend
to raise maturity of an organization with reference to testing activities. Such process as-
sessments are based on what testing activities are being carried out, and thus implicitly
evaluate process quality. Other test process measurement techniques attempt to directly
assess some partial quality attribute such as efficiency or effectiveness using few test mea-
surements. There exists a potential for a formalized method of evaluating test process
quality that addresses both implicity and partially of these current evaluations.
The first part of this dissertation surveys and analyzes breadth and depth of existing
evaluation approaches in the area of software testing. Strengths and weaknesses of these
approaches are highlighted to arrive at a set of requirements for an improved solution. On
the other hand, to investigate the scientific and philosophical foundations of evaluation, a
short study and analysis into the discipline of evaluation is also made in this part. This
research helps identify salient features of an improved test evaluation approach.
Building upon the first phase of research, the second part of the dissertation presents
an evaluation framework for specifying and evaluating diverse quality aspects of software
test processes. The framework comprises two types of components. Five informative com-
ponents describe evaluation aspects of testing process, a quality model, a yardstick test
process, test metrics, and synthesis techniques. These informative components support a
sixth (core) component called evaluation process which details all the steps of test evalu-
ations. The informative components are founded on the theory of evaluation and research
into test measurement and evaluation, while the core component derives its concepts from
relevant international standards. Combination of this theory, research and best practices
helps create a comprehensive test evaluation approach. Finally, the presented approach is
exemplified for a domain specific testing approach, i.e., testing process for service-oriented
systems.
The main contribution of this dissertation lies in its ability to combine several quality
aspects of test processes and, furthermore, in providing an explicit evaluation approach.
The developed framework complements the existing maturity models of software testing
process by providing a solution that fulfils a subset of requirements at maturity level 4 of
TMM/CMMI models.Zusammenfassung
Existierende Modelle zur Bewertung und Optimierung des Software-Testprozesses ver-
suchen hauptsächlich den Reifegrad einer Organisation hinsichtlich der Testaktivitäten zu
verbessern. Diese Prozessbewertungen entstehen durch Betrachtung der ausgeführten Tes-
taktivitäten und liefern deshalb nur eine implizite Aussage zur Prozessqualität. Andere
Prozessmesstechniken versuchen einige Qualitätseigenschaften, wie die Effizienz oder die
Effektivität, durch Testmessungen direkt zu bestimmen. Es gibt auch formale Methoden
zur Ermittlung der Testprozessqualität, die sowohl die implizite als auch die teilweise di-
rekten Eigenschaften gleichzeitig berücksichtigen können.
Der erste Teil dieser Dissertation gibt einen Überblick zu Bewertungsverfahren auf dem
Gebiet des Software-Tests und charakterisiert diese in Bezug auf das durch sie abgedeckte
Testspektrum und die erreichbare Testtiefe. Um eine Menge von Anforderungen für
einen eigenen verbesserten Ansatz zu finden, wurden die Stärken und Schwächen bekan-
nter Vorgehensweisen herausgearbeitet. Dieser Abschnitt enthält auch eine kurze Betra-
chtung zu die wissenschaftlichen und philosophischen Grundlagen der Bewertungsdiszi-
plin. Diese Untersuchungen helfen bei der Identifikation entscheidender Merkmale eines
verbesserten Testbewertungsansatzes.
Aufbauend auf diese erste Phase der Untersuchungen wird im zweiten Teil der Disser-
tation ein Bewertungs-Framework zur Spezifizierung und Bewertung verschiedener Qual-
itätsaspekte von Software-Testprozessen entwickelt. Das Framework umfasst zwei Arten
von Komponenten. Fünf informative Komponenten beschreiben die Bewertungs-aspekte
des Testprozesses, ein Qualitätsmodell, ein Bewertungsmassstab des Testprozesses, Test-
metriken und Synthesetechniken. Diese informativen Komponenten unterstützen eine
sechste (Kern- ) Komponente, Bewertungsprozess genannt, die alle detaillierten Schritte
der Testbewertung enthält. Die informativen Komponennten sind aus der Theorie der Bew-
ertung und Forschungen zu Testmessungen und Bewertungen abgeleiten worden, während
die Kernkomponente auf Konzepten relevanter internationaler Standards beruht. Die
Kombination von Theorie, Forschung und Best Praxis hilft so, eine Vorgehensweise, die
Ansprüche eines expliziten Testbewertung erfüllt, zu entwickeln. Abschliessend wird die
entwickelte Vorgehensweise exemplarisch auf eine domainspezifische Testmethode, den
Testprozessen für service-orientierte Systeme, angewandt.
Die Hauptergebnisse dieser Dissertation liegen in der Entwicklung eines Ansatzes zur
Kombination verschiedener qualitativer Aspekte von Testprozessen und in der Bereitstel-
lung einer expliziten Vorgehensweise zur Bewertung. Das entwickelte Framework ergänzt
die existierenden Reifegradmodelle des Software-Testprozesses um die Erzeugung einer
Lösung , die einer Untermenge der Anforderungen des TMM/CMMI Reifegrades der Stufe
4 dieser Modelle entspricht.Acknowledgements
First, I am indebted to my supervisor Prof. Dr-Ing. habil. Reiner R. Dumke who provided
me an opportunity to undertake this research work. I can’t find words to duly express my
gratitude for his supervision, guidance, support, and friendship which helped and motivated
me all through my work. Thanks also go to Prof. Dr-Ing. habil. Andreas Schmietendorf
for his involvement and interest in my research and review of my thesis. Thanks to Prof.
Dr-Ing. habil. Fevzi Belli for being so kind in taking time to review my thesis.
I will never forget mentioning Dr. René Braungarten who holds the key role in lay-
ing the foundation of my research career. I have learned the very first lessons of doing
research from him. Many unnamed teachers starting right from my primary schooling
to my college level also share a greate contribution in my academic career. Very special
thanks to my colleagues (became friends) in my research group, Dr. Fritz Zbrog and Dr.
Martin Kunz. Discussions and feedback from them supported me a lot in building my
research approach. Among these names, I cannot ignore mentioning my colleague and
friend Konstantina Georgieva with whom I enjoyed a very friendly, peaceful, and pleasant
office-sharing environment.
Many thanks to several of my Pakistani friends in this home-away-home. I can’t cover
names of all of them beyond mentioning Shams, Zahid, Tariq, Rehan, Nasir, Kamran and
Zaheer. Their friendship and affection has been a great support for me.
I also find myself thankful to the city of Magdeburg where I have spent six important
years of career. I would rather call it my second Heimatstadt (hometown).
Finally, I am grateful to my family who gave me all the support during my journey
towards higher studies. Paying any thanks to my mother seems like putting a dot in the sky.
Very special thanks to my elder brother Khalid who actually has been the true motivation
behind my academic and research career. Thanks to Kiran for being with me, although for
a very short time, yet unfolding to me invaluable realities and lessons of life.Contents vii
Contents
1 Introduction 1
1.1 Background & Motivation . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Background on Test Process Evaluation . . . . . . . . . . . . . . 4
1.2 Research Setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1 Research Problem . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Questions . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3 State of SE Research . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Structure of Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Background on Software Testing 15
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Testing Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1 Research directions . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.2 Test Process Definition & Modeling . . . . . . . . . . . . . . . . 20
2.2.3 Test Process Evaluation & Improvement . . . . . . . . . . . . . . 35
2.3 Testing Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Static techniques . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.3.2 Dynamic . . . . . .