Étalonnage de la sûreté de fonctionnement de systèmes ...

Description

Étalonnage de la sûreté de
fonctionnement de systèmes
d'exploitation
Karama KANOUN
LAAS-CNRS
Club SEE “Systèmes Informatiques de Confiance“
Atelier du 20 octobre 2005
Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ?Software Systems Dependability Evaluation
• Information on software behavior
– Field data
– Data from development
– Controlled experiments
Ad hoc Standard
Dependability benchmarking
Evaluation of dependability measures / features
in a non-ambiguous way → comparison
⇓
Properties
Representativeness, repeatability, portability, acceptable cost/effort
2Propriétés d'un étalon de SdF
 Répétitivité
À partir de plusieurs exécutions d’un prototype, on obtient des résultats
statistiquement équivalents
 Reproductibilité
À partir de plusieurs implémentations de la même spécification, on obtient
des résultats statistiquement équivalents
 Représentativité
Mesures et profils d’exécution acceptés par les utilisateurs
 Portabilité
Applicabilité à différents systèmes de la même catégorie
 Coût/effort acceptables
Efforts nécessaires pour développer et exécuter l’étalon
3COTS Benchmarking: User Point of View
Operating SystemComputer System
Linux Mac
Windows
Which OS for my
computer system?
• Limited knowledge: functional description
• Limited accessibility and observability
• Limited intrusiveness and interference
⇒ Black-box approach ⇒ robustness benchmark
4Benchmarking ...

Sujets

• Contrôle de constitutionnalité
• Corruption
• Workload Manager
• W?ochy
• Calibration de caméra
• Benchmarking

Informations

• Publié par: Ibba
• Nombre de lectures: 54
• Langue: English

Extrait

Étalonnage de la sûreté de

fonctionnement de systèmes

d'exploitation

Karama KANOUN LAAS-CNRS

Club SEE “Systèmes Informatiques de Confiance“ Atelier du 20 octobre 2005 Logiciels sur étagère (libres ou commerciaux) : quelle confiance leur accorder ?

•

Software Systems Dependability Evaluation

Information on software behavior

– Field data

– Data from development

– Controlled experiments

Ad hoc Standard

Dependability benchmarking  Evaluation of dependability measures / features  in a non-ambiguous way→ comparison                  ⇓             Properties

Representativeness, repeatability, portability, acceptable cost/effort   2











Propriétés d'un étalon de SdF

Répétitivité  partir de plusieurs exécutions d’un prototype, on obtient des résultats statistiquement équivalents Reproductibilité  partir de plusieurs implémentations de la même spécification, on obtient des résultats statistiquement équivalents

Représentativité

 Mesures et profils d’exécution acceptés par les utilisateurs

Portabilité

Applicabilité à différents systèmes de la même catégorie

Coût/effort acceptables

Efforts nécessaires pour développer et exécuter l’étalon

 3

COTS Benchmarking: User Point of View

Computer System

Which OS for my computer system?

Operating System

Linux

• Limited knowledge: functional description • Limited accessibility and observability • Limited intrusiveness and interference       ⇒   Black-box approach⇒    robustness benchmark   4

Windows

Mac

Faults

Benchmarking wrt class of faults?

Benchmark Target

Workload

API Operating system

Hardware

Device drivers

Wrt application erroneous behavior   5

Faults

OS Benchmark & Measures

Workload

API Operating system

Measures

Hardware

Device drivers

OS Outcomes   SEr Error code SXp Exception SPc Panic SHg Hang SNS No signaling

- P OS: OS Robustness[%SEr %SXP %SPc %SHg %SNS] ) - T exec: OS reaction time in the presence of faults - T res: OS Restart time after fault insertion

 6

Execution Profile

• Workload – TPC-C Client, Java Virtual Machine,PostMark

• Faultload – Corruption of parameters of all system calls

Out-of-range Data (ORD)

 Selective substitution

Incorrect Data (ID)

 7

Incorrect Address (IA)

Dependability Benchmarks with PostMark WL

Windows NT 4 Windows 2000 Windows XP Windows NT 4 Server Windows 2000 Server Windows 2003 Server

Linux 2.2.26 Linux 2.4.5 Linux 2.4.26 Linux 2.6.6

# system calls # experiments 25 418 25+ 1    1433+ 25+ 1424 25 418 25+ 1+ 1433 25+ 1 1433+

15+ 1 15+ 1   15+ 1 15+ 2

 8

206 206 206 228

Robustness (WL = PostMark)

Windows Hang/Panic Han 0 g , / 0 P % anic Hang/Panic 0,0% Exception 0,0% Exception Exception 17,5% 20,3% 20,8% No Signaling  No Signaling Windows NT4 No S 5 i 5 g ,5 na % ling Windows 2000 55,2% Windows XP 56,1% Error Code Err 2 o 7 r ,   0 C   o % de Error Code 23,1 % 24,5 %

Hang/Panic Han 0 g , / 0 P % anic Hang/Panic 0,0% 0,0% Exception e tion  Exception 17,5% Ex 2 c 0,3 p % 21,9% nal No Signaling  No Signaling NT4 Server No  5 Si 5 g ,5% ing 2000 Server 55,2% 2003 Server ,5%54 Error Code  Error Code 27,0 %  Error Code  23,6 % 24,5 %

Linux Hang/Panic Hang/Panic Hang/Panic 0% 0,0% 0,0% Exception Excep % tion 0, Ex 9 c , e 7 p % tion 7,8% No Signaling  7,8  No Signaling Linux 2.2.26 24,8% Linux 2.4 No  2 S 6 i , g 2 na % ling Linux 2.6.6 31,6%     Error Code Error Cd Error C  % ode 67,5 %  o e  58,8 66,0 %   9

µs

OS Reaction Time

Windows

In the presence of faults

Without parameter corruption

 10

(WL

µs

 =P ostMa

Linux

rk)

seconds

Restart Time (

Windows

In the presence of faults

Without parameter corruption

 11

WL = PostMark)

Linux

seconds