Étalonnage de la sûreté de fonctionnement de systèmes ...
18 pages
English

Étalonnage de la sûreté de fonctionnement de systèmes ...

Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres
18 pages
English
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres

Description

Étalonnage de la sûreté de
fonctionnement de systèmes
d'exploitation
Karama KANOUN
LAAS-CNRS
Club SEE “Systèmes Informatiques de Confiance“
Atelier du 20 octobre 2005
Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ? Software Systems Dependability Evaluation
• Information on software behavior
– Field data
– Data from development
– Controlled experiments
Ad hoc Standard
Dependability benchmarking
Evaluation of dependability measures / features
in a non-ambiguous way → comparison

Properties
Representativeness, repeatability, portability, acceptable cost/effort
2 Propriétés d'un étalon de SdF
 Répétitivité
À partir de plusieurs exécutions d’un prototype, on obtient des résultats
statistiquement équivalents
 Reproductibilité
À partir de plusieurs implémentations de la même spécification, on obtient
des résultats statistiquement équivalents
 Représentativité
Mesures et profils d’exécution acceptés par les utilisateurs
 Portabilité
Applicabilité à différents systèmes de la même catégorie
 Coût/effort acceptables
Efforts nécessaires pour développer et exécuter l’étalon
3 COTS Benchmarking: User Point of View
Operating SystemComputer System
Linux Mac
Windows
Which OS for my
computer system?
• Limited knowledge: functional description
• Limited accessibility and observability
• Limited intrusiveness and interference
⇒ Black-box approach ⇒ robustness benchmark
4 Benchmarking ...

Sujets

Informations

Publié par
Nombre de lectures 54
Langue English

Exrait

Étalonnage de la sûreté de
fonctionnement de systèmes
d'exploitation
Karama KANOUNLAAS-CNRS
Club SEE “Systèmes Informatiques de Confiance“Atelier du 20 octobre 2005Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ?
Software Systems Dependability Evaluation
Information on software behavior
– Field data
– Data from development
– Controlled experiments
Ad hoc Standard
Dependability benchmarking Evaluation of dependability measures / features in a non-ambiguous way comparison                          Properties
Representativeness, repeatability, portability, acceptable cost/effort 2
Propriétés d'un étalon de SdF
Répétitivité partir de plusieurs exécutions d’un prototype, on obtient des résultatsstatistiquement équivalentsReproductibilité partir de plusieurs implémentations de la même spécification, on obtientdes résultats statistiquement équivalents
Représentativité
 Mesures et profils d’exécution acceptés par les utilisateurs
Portabilité
Applicabilité à différents systèmes de la même catégorie
Coût/effort acceptables
Efforts nécessaires pour développer et exécuter l’étalon
 3
COTS Benchmarking: User Point of View
Computer System
Which OS for mycomputer system?
Operating System
Linux
• Limited knowledge: functional description• Limited accessibility and observability• Limited intrusiveness and interference      Black-box approach  robustness benchmark 4
Windows
Mac
Faults
Benchmarking wrt class of faults?
BenchmarkTarget
Workload
APIOperating system
Hardware
Devicedrivers
Wrt application erroneous behavior 5
Faults
OS Benchmark & Measures
Workload
APIOperating system
Measures
Hardware
Devicedrivers
OS Outcomes SEr Error codeSXp ExceptionSPc PanicSHg HangSNS No signaling
- POS:OS Robustness[%SEr %SXP %SPc %SHg %SNS] )- Texec:OS reaction time in the presence of faults- Tres:OS Restart time after fault insertion
 6
Execution Profile
• Workload– TPC-C Client, Java Virtual Machine,PostMark
• Faultload– Corruption of parameters of all system calls
Out-of-rangeData (ORD)
 Selective substitution
IncorrectData (ID)
 7
IncorrectAddress (IA)
Dependability Benchmarks with PostMark WL
Windows NT 4Windows 2000Windows XPWindows NT 4 ServerWindows 2000 ServerWindows 2003 Server
Linux 2.2.26Linux 2.4.5Linux 2.4.26Linux 2.6.6
# system calls # experiments25 41825+ 1  1433+25+ 142425 41825+ 1+ 143325+ 1 1433+
15+ 115+ 1 15+ 115+ 2
 8
206206206228
Robustness(WL = PostMark)
WindowsHang/PanicHan0g,/0P%anicHang/Panic0,0%Exception0,0%ExceptionException17,5% 20,3% 20,8%No Signaling No SignalingWindows NT4No S5i5g,5na%lingWindows 200055,2%Windows XP56,1%Error CodeErr2o7r, 0C o%deError Code23,1 %24,5 %
Hang/PanicHan0g,/0P%anicHang/Panic0,0% 0,0%Exception e tion Exception17,5%Ex2c0,3p%21,9%nal No Signaling No SignalingNT4 ServerNo 5Si5g,5%ing2000 Server55,2%2003 Server,5%54Error Code Error Code27,0 % Error Code 23,6 %24,5 %
LinuxHang/Panic Hang/PanicHang/Panic0%0,0%0,0%ExceptionExcep%tion0,Ex9c,e7p%tion7,8%No Signaling 7,8 No SignalingLinux 2.2.2624,8%Linux 2.4No 2S6i,g2na%lingLinux 2.6.631,6%  Error CodeError CdError C %ode67,5 % o e 58,866,0 % 9
µs
OS Reaction Time
Windows
In the presence of faults
Without parameter corruption
 10
(WL
µs
 =P ostMa
Linux
rk)
seconds
Restart Time(
Windows
In the presence of faults
Without parameter corruption
 11
WL = PostMark)
Linux
seconds
  • Accueil Accueil
  • Univers Univers
  • Ebooks Ebooks
  • Livres audio Livres audio
  • Presse Presse
  • BD BD
  • Documents Documents