Étalonnage de la sûreté de fonctionnement de systèmes ...
18
pages
English
Documents
Le téléchargement nécessite un accès à la bibliothèque YouScribe Tout savoir sur nos offres
18
pages
English
Ebook
Le téléchargement nécessite un accès à la bibliothèque YouScribe Tout savoir sur nos offres
Étalonnage de la sûreté de
fonctionnement de systèmes
d'exploitation
Karama KANOUN
LAAS-CNRS
Club SEE “Systèmes Informatiques de Confiance“
Atelier du 20 octobre 2005
Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ? Software Systems Dependability Evaluation
• Information on software behavior
– Field data
– Data from development
– Controlled experiments
Ad hoc Standard
Dependability benchmarking
Evaluation of dependability measures / features
in a non-ambiguous way → comparison
⇓
Properties
Representativeness, repeatability, portability, acceptable cost/effort
2 Propriétés d'un étalon de SdF
Répétitivité
À partir de plusieurs exécutions d’un prototype, on obtient des résultats
statistiquement équivalents
Reproductibilité
À partir de plusieurs implémentations de la même spécification, on obtient
des résultats statistiquement équivalents
Représentativité
Mesures et profils d’exécution acceptés par les utilisateurs
Portabilité
Applicabilité à différents systèmes de la même catégorie
Coût/effort acceptables
Efforts nécessaires pour développer et exécuter l’étalon
3 COTS Benchmarking: User Point of View
Operating SystemComputer System
Linux Mac
Windows
Which OS for my
computer system?
• Limited knowledge: functional description
• Limited accessibility and observability
• Limited intrusiveness and interference
⇒ Black-box approach ⇒ robustness benchmark
4 Benchmarking ...
Voir
fonctionnement de systèmes
d'exploitation
Karama KANOUN
LAAS-CNRS
Club SEE “Systèmes Informatiques de Confiance“
Atelier du 20 octobre 2005
Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ? Software Systems Dependability Evaluation
• Information on software behavior
– Field data
– Data from development
– Controlled experiments
Ad hoc Standard
Dependability benchmarking
Evaluation of dependability measures / features
in a non-ambiguous way → comparison
⇓
Properties
Representativeness, repeatability, portability, acceptable cost/effort
2 Propriétés d'un étalon de SdF
Répétitivité
À partir de plusieurs exécutions d’un prototype, on obtient des résultats
statistiquement équivalents
Reproductibilité
À partir de plusieurs implémentations de la même spécification, on obtient
des résultats statistiquement équivalents
Représentativité
Mesures et profils d’exécution acceptés par les utilisateurs
Portabilité
Applicabilité à différents systèmes de la même catégorie
Coût/effort acceptables
Efforts nécessaires pour développer et exécuter l’étalon
3 COTS Benchmarking: User Point of View
Operating SystemComputer System
Linux Mac
Windows
Which OS for my
computer system?
• Limited knowledge: functional description
• Limited accessibility and observability
• Limited intrusiveness and interference
⇒ Black-box approach ⇒ robustness benchmark
4 Benchmarking ...
Étalonnage de la sûreté de
fonctionnement de systèmes
d'exploitation
Karama KANOUNLAAS-CNRS
Club SEE “Systèmes Informatiques de Confiance“Atelier du 20 octobre 2005Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ?
•
Software Systems Dependability Evaluation
Information on software behavior
– Field data
– Data from development
– Controlled experiments
Ad hoc Standard
Dependability benchmarking Evaluation of dependability measures / features in a non-ambiguous way→ comparison ⇓ Properties
Representativeness, repeatability, portability, acceptable cost/effort 2
Propriétés d'un étalon de SdF
Répétitivité partir de plusieurs exécutions d’un prototype, on obtient des résultatsstatistiquement équivalentsReproductibilité partir de plusieurs implémentations de la même spécification, on obtientdes résultats statistiquement équivalents
Représentativité
Mesures et profils d’exécution acceptés par les utilisateurs
Portabilité
Applicabilité à différents systèmes de la même catégorie
Coût/effort acceptables
Efforts nécessaires pour développer et exécuter l’étalon
3
COTS Benchmarking: User Point of View
Computer System
Which OS for mycomputer system?
Operating System
Linux
• Limited knowledge: functional description• Limited accessibility and observability• Limited intrusiveness and interference ⇒ Black-box approach⇒ robustness benchmark 4
Windows
Mac
Faults
Benchmarking wrt class of faults?
BenchmarkTarget
Workload
APIOperating system
Hardware
Devicedrivers
Wrt application erroneous behavior 5
Faults
OS Benchmark & Measures
Workload
APIOperating system
Measures
Hardware
Devicedrivers
OS Outcomes SEr Error codeSXp ExceptionSPc PanicSHg HangSNS No signaling
- POS:OS Robustness[%SEr %SXP %SPc %SHg %SNS] )- Texec:OS reaction time in the presence of faults- Tres:OS Restart time after fault insertion
6
Execution Profile
• Workload– TPC-C Client, Java Virtual Machine,PostMark
• Faultload– Corruption of parameters of all system calls
Out-of-rangeData (ORD)
Selective substitution
IncorrectData (ID)
7
IncorrectAddress (IA)
Dependability Benchmarks with PostMark WL
Windows NT 4Windows 2000Windows XPWindows NT 4 ServerWindows 2000 ServerWindows 2003 Server
Linux 2.2.26Linux 2.4.5Linux 2.4.26Linux 2.6.6
# system calls # experiments25 41825+ 1 1433+25+ 142425 41825+ 1+ 143325+ 1 1433+
15+ 115+ 1 15+ 115+ 2
8
206206206228
Robustness(WL = PostMark)
WindowsHang/PanicHan0g,/0P%anicHang/Panic0,0%Exception0,0%ExceptionException17,5% 20,3% 20,8%No Signaling No SignalingWindows NT4No S5i5g,5na%lingWindows 200055,2%Windows XP56,1%Error CodeErr2o7r, 0C o%deError Code23,1 %24,5 %
Hang/PanicHan0g,/0P%anicHang/Panic0,0% 0,0%Exception e tion Exception17,5%Ex2c0,3p%21,9%nal No Signaling No SignalingNT4 ServerNo 5Si5g,5%ing2000 Server55,2%2003 Server,5%54Error Code Error Code27,0 % Error Code 23,6 %24,5 %
LinuxHang/Panic Hang/PanicHang/Panic0%0,0%0,0%ExceptionExcep%tion0,Ex9c,e7p%tion7,8%No Signaling 7,8 No SignalingLinux 2.2.2624,8%Linux 2.4No 2S6i,g2na%lingLinux 2.6.631,6% Error CodeError CdError C %ode67,5 % o e 58,866,0 % 9
µs
OS Reaction Time
Windows
In the presence of faults
Without parameter corruption
10
(WL
µs
=P ostMa
Linux
rk)
seconds
Restart Time(
Windows
In the presence of faults
Without parameter corruption
11
WL = PostMark)
Linux
seconds
