pour obtenir le grade de Docteur de l’École Nationale Supérieure des Mines de Saint-Étienne Spécialité : Mathématiques Appliquées
IMPROVING ACCURACY AND COMPENSATING FOR UNCERTAINTY IN SURROGATE MODELING
soutenue à Gainesville (USA), le 15 décembre 2009
Membres du jury
Président : Bertrand IOOSS Ingénieur-chercheur, Centre à l'Energie Atomique, Cadarache Rapporteurs : Tony SCHMITZ Associate Professor, University of Florida, Gainesville, FL Bertrand IOOSS Examinateur(s) : Grigori PANASENKO Professeur, Université Jean Monnet, St Etienne Nam-Ho KIM Associate Professor, University of Florida, Gainesville, FL Jorg PETERS Professor, University of Florida, Gainesville, FL Olivier ROUSTANT Maitre-assistant, Ecole des Mines de St Etienne, St Etienne Directeurs de Raphael HAFTKA Professor, University of Florida, Gainesville, FL thèse : Alain VAUTRIN Professeur, Ecole des Mines de St Etienne, St Etienne Spécialités doctorales : Responsables : SCIENCES ET GENIE DES MATERIAUX J. DRIVER Directeur de recherche – Centre SMS MECANIQUE ET INGENIERIE A. VAUTRIN Professeur – Centre SMS GENIE DES PROCEDES G. THOMAS Professeur – Centre SPIN SCIENCES DE LA TERRE B. GUY Maître de recherche – Centre SPIN SCIENCES ET GENIE DE L’ENVIRONNEMENT J. BOURGOIS Professeur – Centre SITE MATHEMATIQUES APPLIQUEES E. TOUBOUL Ingénieur – Centre G2I INFORMATIQUE O. BOISSIER Professeur – Centre ...
N° d’ordre : 537MA
THÈSE
présentée par
Victor PICHENY
pour obtenir le grade de
Docteur de l’École Nationale Supérieure des Mines de Saint-Étienne
Spécialité : Mathématiques Appliquées
IMPROVING ACCURACY AND COMPENSATING FOR
UNCERTAINTY IN SURROGATE MODELING
soutenue à Gainesville (USA), le 15 décembre 2009
Membres du jury
Président : Bertrand IOOSS Ingénieur-chercheur, Centre à l'Energie Atomique,
Cadarache
Rapporteurs : Tony SCHMITZ Associate Professor, University of Florida, Gainesville, FL
Bertrand IOOSS
Examinateur(s) : Grigori PANASENKO Professeur, Université Jean Monnet, St Etienne
Nam-Ho KIM Associate Professor, University of Florida, Gainesville, FL
Jorg PETERS Professor, University of Florida, Gainesville, FL
Olivier ROUSTANT Maitre-assistant, Ecole des Mines de St Etienne,
St Etienne
Directeurs de Raphael HAFTKA Professor, University of Florida, Gainesville, FL
thèse : Alain VAUTRIN Professeur, Ecole des Mines de St Etienne, St Etienne
Spécialités doctorales : Responsables :
SCIENCES ET GENIE DES MATERIAUX J. DRIVER Directeur de recherche – Centre SMS
MECANIQUE ET INGENIERIE A. VAUTRIN Professeur – Centre SMS
GENIE DES PROCEDES G. THOMAS Professeur – Centre SPIN
SCIENCES DE LA TERRE B. GUY Maître de recherche – Centre SPIN
SCIENCES ET GENIE DE L’ENVIRONNEMENT J. BOURGOIS Professeur – Centre SITE
MATHEMATIQUES APPLIQUEES E. TOUBOUL Ingénieur – Centre G2I
INFORMATIQUE O. BOISSIER Professeur – Centre G2I
IMAGE, VISION, SIGNAL JC. PINOLI Professeur – Centre CIS
GENIE INDUSTRIEL P. BURLAT Professeur – Centre G2I
MICROELECTRONIQUE Ph. COLLOT Professeur – Centre CMP
Enseignants-chercheurs et chercheurs autorisés à diriger des thèses de doctorat (titulaires d’un doctorat d’État ou d’une HDR)
AVRIL Stéphane MA Mécanique & Ingénierie CIS
Mireille MA Sciences & Génie de l'Environnement SITE BATTON-HUBERT
BENABEN Patrick PR 2 Sciences & Génie des Matériaux CMP
BERNACHE-ASSOLANT Didier PR 0 Génie des Procédés CIS
BIGOT Jean-Pierre MR Génie des Procédés SPIN
BILAL Essaïd DR Sciences de la Terre SPIN
BOISSIER Olivier PR 2 Informatique G2I
BOUCHER Xavier MA Génie Industriel G2I
BOUDAREL Marie-Reine MA Génie Industriel DF
BOURGOIS Jacques PR 0 Sciences & Génie de l'Environnement SITE
BRODHAG Christian DR Sciences & Génie de l'Environnement SITE
BURLAT Patrick PR 2 Génie industriel G2I
COLLOT Philippe PR 1 Microélectronique CMP
COURNIL Michel PR 0 Génie des Procédés DF
DAUZERE-PERES Stéphane PR 1 Génie industriel CMP
DARRIEULAT Michel IGM Sciences & Génie des Matériaux SMS
Roland PR 1 Sciences & Génie de l'Environnement SITE DECHOMETS
DESRAYAUD Christophe MA Mécanique & Ingénierie SMS
DELAFOSSE David PR 1 Sciences & Génie des Matériaux SMS
DOLGUI Alexandre PR 1 Génie Industriel G2I
DRAPIER Sylvain PR 2 Mécanique & Ingénierie SMS
DRIVER Julian DR Sciences & Génie des Matériaux SMS
FEILLET Dominique PR 2 Génie Industriel CMP
FOREST Bernard PR 1 Sciences & Génie des Matériaux CIS
FORMISYN Pascal PR 1 Sciences & Génie de l'Environnement SITE
FORTUNIER Roland PR 1 Sciences & Génie des Matériaux SMS
FRACZKIEWICZ Anna DR Sciences & Génie des Matériaux SMS
GARCIA Daniel CR Génie des Procédés SPIN
GIRARDOT Jean-Jacques MR Informatique G2I
GOEURIOT Dominique MR Sciences & Génie des Matériaux SMS
GOEURIOT Patrice MR Sciences & Génie des Matériaux SMS
GRAILLOT Didier DR Sciences & Génie de l'Environnement SITE
GROSSEAU Philippe MR Génie des Procédés SPIN
GRUY Frédéric MR Génie des Procédés SPIN
GUILHOT Bernard DR Génie des Procédés CIS
GUY Bernard MR Sciences de la Terre SPIN
GUYONNET René DR Génie des Procédés SPIN
HERRI Jean-Michel PR 2 Génie des Procédés SPIN
INAL Karim MR Microélectronique CMP
KLÖCKER Helmut MR Sciences & Génie des Matériaux SMS
LAFOREST Valérie CR Sciences & Génie de l'Environnement SITE
LERICHE Rodolphe CR Mécanique et Ingénierie SMS
LI Jean-Michel EC (CCI MP) Microélectronique CMP
LONDICHE Henry MR Sciences & Génie de l'Environnement SITE
MOLIMARD Jérôme MA Mécanique et Ingénierie SMS
MONTHEILLET Frank DR 1 CNRS Sciences & Génie des Matériaux SMS
PERIER-CAMBY Laurent PR1 Génie des Procédés SPIN
PIJOLAT Christophe PR 1 Génie des Procédés SPIN
PIJOLAT Michèle PR 1 Génie des Procédés SPIN
PINOLI Jean-Charles PR 1 Image, Vision, Signal CIS
STOLARZ Jacques CR Sciences & Génie des Matériaux SMS
SZAFNICKI Konrad CR Sciences & Génie de l'Environnement DF
THOMAS Gérard PR 0 Génie des Procédés SPIN
VALDIVIESO François MA Sciences & Génie des Matériaux SMS
VAUTRIN Alain PR 0 Mécanique & Ingénierie SMS
VIRICELLE Jean-Paul MR Génie des procédés SPIN
WOLSKI Krzysztof MR Sciences & Génie des Matériaux SMS
XIE Xiaolan PR 1 Génie industriel CIS
Glossaire : Centres :
PR 0 Professeur classe exceptionnelle SMS Sciences des Matériaux et des Structures
ère
PR 1 Professeur 1 catégorie SPIN Sciences des Processus Industriels et Naturels
ème
PR 2 Professeur 2 catégorie SITE Sciences Information et Technologies pour l’Environnement
MA(MDC) Maître assistant G2I Génie Industriel et Informatique
DR (DR1) Directeur de recherche CMP Centre de Microélectronique de Provence
Ing. Ingénieur CIS Centre Ingénierie et Santé
MR(DR2) Maître de recherche
CR Chargé de recherche
EC Enseignant-chercheur
IGM Ingénieur général des mines
Dernière mise à jour le : 22 juin 2009 ACKNOWLEDGMENTS
First of all, I would like to thank my advisors Dr. Raphael Haftka, Dr. Nam-Ho
Kim and Dr. Olivier Roustant. They taught me how to conduct research, gave me
priceless advices and support, and provided me with excellent guidance while giving me
the freedom to develop my own ideas. I feel very fortunate to have worked under their
guidance.
I would also like to thank the members of my advisory committee, Dr. Bertrand
Iooss, Dr. Grigori Panasenko, Dr. Jorg Peters, Dr. Alain Vautrin and Dr. Tony Schmitz.
I am grateful for their willingness to serve on my committee, for reviewing my dissertation
and for providing constructive criticism that helped me to enhance and complete this
work. I particularly thank Dr. Iooss and Dr. Schmitz for their work as rapporteurs of my
dissertation.
I am grateful for many people that contributed scientifically to this dissertation: Dr.
Nestor Queipo, who welcomed me for my internship at the University of Zulia (Venezuela)
and provided me with thoughtful ideas and advices; Dr. Rodolphe Le Riche, with whom
I developed a fruitful collaboration on the study of gear box problems; Dr. Xavier Bay,
whose encyclopedic knowledge of mathematics allowed us to find promising results on
design optimality; Dr. Felipe Viana, for his efficient contribution to the conservative
surrogate problem; and Dr. David Ginsbourger, for his critical input on the targeted
designs work...and his contagious motivation.
I wish to thank to all my colleagues for their friendship and support, from the
Structural and Multidisciplinary Optimization Group of the University of Florida, the
Applied Computing Institute of the University of Zulia, and the 3MI department from the
Ecole des Mines: Tushar, Amit, Palani, Erdem, Jaco, Ben, Christian, Felipe, Alex, Camila;
Eric, Delphine, Celine, Bertrand, David, Nicolas, Olga, Natacha, Khouloud, Ksenia, and
many others...I also thank all the staff of the University of Florida and Ecole des Mines
3that made possible my joint PhD program, and in particular Pam and Karen, who helped
me many times.
Financial supports, provided partly by National Science Fondation (Grant # 0423280)
for my time in Florida and by the CETIM foundation for my time in France, are gratefully
acknowledged.
My final thoughts go to my friends, family, and Natacha.
4TABLE OF CONTENTS
page
ACKNOWLEDGMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
LIST OF TABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
LIST OF FIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
LIST OF ABBREVIATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
ABSTRACT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
CHAPTER
1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2 ELEMENTS OF SURROGATE MODELING . . . . . . . . . . . . . . . . . . . 22
2.1 Surrogate Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1.1 Notation And Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1.2 The Linear Regression Model . . . . . . . . . . . . . . . . . . . . . . 23
2.1.3 The Kriging Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.3.1 Kriging with noise-free observations . . . . . . . . . . . . . 27
2.1.3.2 with nugget effect . . . . . . . . . . . . . . . . . . 29
2.2 Design Of Experiment Strategies . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.1 Classical And Space-Filling Designs . . . . . . . . . . . . . . . . . . 30
2.2.2 Model-Oriented Designs. . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.3 Adaptive Designs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3 CONSERVATIVE PREDICTIONS USING SURROGATE MODELING . . . . 36
3.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2 Design Of Conservative Predictors . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.1 Definition Of Conservative Predictors . . . . . . . . . . . . . . . . . 37
3.2.2 Metrics Forativeness And Accuracy . . . . . . . . . . . . . 38
3.2.3 Constant Safety Margin Using Cross-Validation Techniques . . . . . 40
3.2.4 Pointwise Safety Based On Error Distribution . . . . . . . . 41
3.2.5 Pointwise Safety Margin Using Bootstrap . . . . . . . . . . . . . . . 42
3.2.5.1 The Bootstrap principle . . . . . . . . . . . . . . . . . . . 42
3.2.5.2 Generating confidence intervals for regression . . . . . . . 43
3.2.6 Alternative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3 Case Studies . . . .