Estimation of a regression function by maxima of minima of linear functions [Elektronische Ressource] / vorgelegt von Conny Clausen

Sujets

• Mathematics

Informations

• Publié par: universitat_des_saarlandes
• Publié le: 01 janvier 2008
• Nombre de lectures: 7
• Langue: English

Extrait

——————————————————–
Estimation of a Regression Function
by Maxima of Minima of Linear
Functions
———————
Dissertation
zur Erlangung des Grades
des Doktors der Naturwissenschaften
der Naturwissenschaftlich-Technischen Fakult¨aten
der Universit¨at des Saarlandes
vorgelegt von
Conny Clausen
—————————————————————————
Saarbru¨cken 2008Tag des Kolloquiums: 13.06.2008
Dekan: Prof. Dr. Joachim Weickert
Pru¨fungsausschuss: Vorsitzender
Prof. Dr. J¨org Eschmeier
Berichterstatter
Prof. Dr. Michael Kohler
Prof. Dr. Alfred K. Louis
Akademischer Mitarbeiter
Dr. Christoph BarbianTo
my parentsAbstract
The estimation of a multivariate regression function from independent
and identically distributed random variables is considered. First we
propose and analyse estimates which are defined by minimisation of
the empirical L risk over a class of functions consisting of maxima of2
minima of linear functions. It is shown that the estimates are strongly
universally consistent. Moreover results concerning the rate of con-
vergence of the estimates with data-dependent parameter choice using
‘splitting the sample’ are derived in the case of an unbounded response
variable. In particular it is shown that, for smooth regressionfunctions
satisfying the assumptions of single index models, the estimate is able
to achieve (up to some logarithmic factor) the corresponding optimal
one–dimesional rate of convergence. In this context it is remarkable
that this newly proposed estimate can be computed in applications
(see the appendix).
Furthermore an L boosting algorithm for estimation of a regression2
function is presented. This method repeatedly fits a function from a
fixed function space to the residuals of the data and the number of
iteration steps is chosen data–dependently by ‘splitting the sample’.
A general result concerning the rate of convergence of the algorithm
is derived in the case of an unbounded response variable. Finally this
methodisusedtofitasumofmaximaofminimaoflinearfunctionstoa
given set of data. The derived rate of convergenceof the corresponding
estimate does not depend on the dimension of the observationvariable.Zusammenfassung
Die vorliegendeArbeitbescha¨ftigtsichmitderScha¨tzungmultivariater
Regressionsfunktionenanhandvonunabha¨ngigundidentischverteilten
Zufallsvariablen. Zuna¨chst wird ein neues Scha¨tzverfahren vorgestellt,
welchesaufderMinimierungdesempirischenL –Risikosbezu¨glicheiner2
Funktionenklasse, die aus Maxima von Minima von linearen Funtio-
nen besteht, basiert. Fu¨r dieses Scha¨tzverfahren wird zun¨achst die
starke universelle Konsistenz nachgewiesen. Weiterhin werden sowohl
fu¨r diesen Scha¨tzer als auch fu¨r das entsprechende Scha¨tzverfahrenmit
datenabha¨ngiger Parameterwahl (mittels ,,Splitting the Sample“) die
entsprechenden Konvergenzraten hergeleitet. Diese Konvergenzraten
gelten insbesondere auch dann, wenn die abh¨angige Variable unbe-
schr¨ankt ist. Insbesondere wird gezeigt, dass unter den Vorausset-
zungen des ,,Single Index Models“ die (bis auf einen logarithmischen
Faktor) zugeho¨rige optimale eindimensionale Konvergenzrate erreicht
wird.
WeiterhinwirdindieserArbeiteinL –Boosting–AlgorithmuszurScha¨t-2
zung multivariater Regressionsfunktionen vorgestellt. Bei diesem Ver-
fahren werdenschrittweiseFunktionen einesfestgewa¨hlten Funktionen-
raumes an die Residuen der Daten angepasst. Auch hierbei erfolgt die
Wahl der Anzahl der Iterationsschritte wieder datenabha¨ngig. Es wird
fu¨r diesen L –Boosting–Algorithmus zun¨achst ein allgemeines Resul-2
tat bezu¨glich der Konvergenzrate hergeleitet, welches auch in dem Fall
einer unbeschr¨ankten abh¨angigen Variablen gilt. Abschließend wird
dieses Verfahren verwendet, um einen Scha¨tzer zu konstruieren, der als
Summe von Maxima von Minima von linearen Funktionen dargestellt
werdenkann. Diefu¨rdiesenScha¨tzerhergeleiteteKonvergenzrateha¨ngt
nicht mehr von der Dimension der unabha¨ngigen Variablen ab.Contents
List of symbols 3
Introduction 5
Chapter 1. Preliminaries 11
1.1. Regression Analysis 11
1.2. Least Squares Method 14
1.3. Consistency and Rate of Convergence 16
1.4. Vapnik-Chervonenkis Theory 19
1.5. Auxiliary Results 23
Chapter 2. Maxima of Minima of Linear Functions 27
2.1. Definition of the Estimate 27
2.2. Characterisation ofF 29n
2.3. Covering Numbers ofF 38n
Chapter 3. Analysis of Asymptotic Behaviour 43
3.1. Universal Consistency 43
3.2. Rate of Convergence 50
3.3. Splitting the Sample 58
Chapter 4. Dimension Reduction 67
4.1. Single Index Models 67
4.2. Projection Pursuit 70
Chapter 5. L Boosting 772
5.1. A general L Boosting Result 772
5.2. L Boosting with Maxmin Functions 892
Appendix 95
A.1. The Algorithm 95
A.2. Application to Simulated Data 96
Bibliography 107
1