Mixed model based inference in structured additive regression [Elektronische Ressource] / Thomas Kneib

Thomas Kneib

Sujets

• Mathematics

Informations

• Publié par: ludwig-maximilians-universitat_munchen
• Publié le: 01 janvier 2005
• Nombre de lectures: 20
• Langue: Deutsch
• Poids de l'ouvrage: 6 Mo

Extrait

Dissertation an der Fakultat fur Mathematik, Informatik
und Statistik der Ludwig-Maximilians-Universitat Munchen
Mixed model based inference
in structured additive regression
Thomas Kneib
Munchen, 8. November 2005Erstgutachter: Prof. Dr. Ludwig Fahrmeir
Zweitgutachter: Prof. Dr. Helmut Kuchenho
Drittgutachter: Prof. Dr. G oran Kauermann
Rigorosum 22. Februar 2006Fur immer die Menschen
Damit sich meine Promotion auch fur die vielen hilfreichen Geister gelohnt hat, die mir
w ahrend ihrer Entstehung zur Seite gestanden haben, sind sie hier alle versammelt, die
Helden der Arbeit, die Mitarbeiter der Woche, die Anwohner der Stra e der Besten. Fur
immer die Menschen:
Ludwig Fahrmeir, der mir eine optimale F orderung zukommen lie und dessen kolle-
giale Betreuung sehr zur Scha ung einer stressfreien Arbeitsatmosph are und damit
wiederum zur zugigen Erstellung dieser Arbeit beigetragen hat (auch wenn das fur
manchen wie ein Widerspruch klingen mag).
Stefan Lang, von dessen Lob und Kritik ich gleicherma en pro tiert habe und der
mir die strukturierte Lebensfuhrung am eigenen Beispiel demonstrierte.
Susanne Heim, die in unserem gemeinsamen Buro meine t aglichen Erfolge und Miss-
erfolge miterleben musste, gegen deren Realismus ich mich immer durch positive
Illusionen absetzen konnte, die sich als die kritischste Leserin dieser Arbeit pro lierte
und die sich bemuh te, mir die naturlic hen Attraktionen Bayerns n aherzubringen.
Andrea Hennerfeind & Andi Brezger, fur die unermudlic he Suche nach Fehlern in
meinen Programmteilen, sowie die Hilfe bei diversen kleineren und gr o eren BayesX-
Problemen.
Gun ter Rasser, von dessen Forschungsvermeidungsstrategien ich heute noch pro -
tiere und der mich vorbildlich in das Doktorandenleben einwies.
Susanne Breitner, Michael H ohle & Stefan Krieger, die von Anfang an mit dabei
waren, ohne die das t agliche Mittagessen de nitv armer gewesen w are und die zu
jeder Gelegenheit bereit waren, mit mir ub er ub er ussiges Wissen zu diskutieren.
Leonhard Held, der stets bemuh t war, meinen eingeschr ankten Blick auf die Statistik
zu erweitern und mir Begeisterung fur statistische Sujets zu vermitteln ("Du hast
bestimmt noch nie von Skorokhods Repr asentations-Theorem geh ort ...").
Christiane Belitz, Alexander Jerak & Leyre Osuna, die tatkr aftig das BayesX-
Projekt unterstutzten.
Manuela Hummel, die im Rahmen ihrer Diplomarbeit umfangreiche Simulationen
durchfuhrte, deren Ergebnisse die Grundlage fur Kapitel 8 dieser Arbeit bilden.
Conny Oberhauser, die als studentische Hilfskraft die Implementation einiger Er-
weiterungen fur kategoriale Regressionsmodelle ub ernahm.
Rudi Eichholz der im Rahmen seiner Diplomarbeit eine Reihe von Analysen der
Nigeriadaten durchfuhrte.
B arbel und Gottfried Kneib, ohne die ich heute sicher nicht hier w are.
Daniela Kropf, fur Mut, Aufregung, Ablenkung und Gemeinsamkeiten.
Finanziell gef ordert wurde meine Arbeit durch die Deutsche Forschungsgemeinschaft im
Rahmen des Sonderforschungsbereichs 386 (Analyse diskreter Strukturen).
Thomas KneibZusammenfassung
Regressionsdaten weisen immer h au ger zus atzlich zu den ublic hen Kovariablene ekten
r aumliche oder r aumlich-zeitliche Strukturen auf, so dass ad aquate Modellerweiterungen
in vielen komplexeren Anwendungen ben otigt werden. Ein exibler Ansatz sollte dabei
nicht nur erlauben, r aumliche und zeitliche Korrelationen zu beruc ksichtigem, sondern
darub erhinaus die semi- oder nonparametrische Modellierung weiterer Kovariablene ekte
zulassen. Da spezi sc he Regressionsmodelle fur verschiedene Klassen von abh angigen
Variablen entwickelt wurden, mussen die semiparametrischen Erweiterungen speziell an
die jeweilige Situation angepasst werden.
Im Rahmen dieser Arbeit werden zahlreiche M oglichkeiten zur Modellierung komplexer
Kovariableninformation wiederholt und im einheitlichen Rahmen von strukturiert addi-
tiven Regressionsmodellen zusammengefasst. Insbesondere k onnen nichtlineare E ekte
stetiger Kovariablen, zeitlich korrelierte E ekte, r aumlich korrelierte E ekte, komplexe
Interaktionen oder unbeobachtete Heterogenit at beruc ksichtigt werden. Beginnend mit
Regressionsmodellen fur abh angige Variablen aus Exponentialfamilien werden Erweiterun-
gen fur verschiedene Typen kategorialer Responsevariablen und zur Analyse stetiger Uber-
lebenszeiten beschrieben. Ein neues Inferenz-Konzept, das auf der Verwendung von
Methodik fur Modelle mit zuf alligen E ekten beruht wird eingefuhrt. Dies erlaubt die Be-
handlung der verschiedenen Regressionsprobleme in einem einheitlichen Ansatz basierend
auf penalisierter Likelihood-Sch atzung fur die Regressionskoe zien ten und Restricted
Maximum Likelihood beziehungsweise marginaler Likelihood Sch atzung fur die Gl attungs-
parameter. Das neue Sch atzverfahren wird in einer Reihe von Anwendungsbeispielen
und Simulationsstudien untersucht und erweist sich als vielversprechende Alternative
zu konkurrierenden Ans atzen, insbesondere der Sch atzung basierend auf Markov Chain
Monte Carlo Simulationsverfahren.
Abstract
Due to the increasing availability of spatial or spatio-temporal regression data, models
that allow to incorporate the special structure of such data sets in an appropriate way
are highly desired in practice. A exible modeling approach should not only be able to
account for spatial and temporal correlations, but also to model further covariate e ects
in a semi- or nonparametric fashion. In addition, regression models for di eren t types of
responses are available and extensions require special attention in each of these cases.
Within this thesis, numerous possibilities to model non-standard covariate e ects such
as nonlinear e ects of continuous covariates, temporal e ects, spatial e ects, interaction
e ects or unobserved heterogeneity are reviewed and embedded in the general framework
of structured additive regression. Beginning with exponential family regression, exten-
sions to several types of multicategorical responses and the analysis of continuous survival
times are described. A new inferential procedure based on mixed model methodology is
introduced, allowing for a uni ed treatment of the di eren t regression problems. Esti-
mation of the regression coe cien ts is based on penalized likelihood, whereas smoothing
parameters are estimated using restricted maximum likelihood or marginal likelihood. In
several applications and simulation studies, the new approach turns out to be a promis-
ing alternative to competing methodology, especially estimation based on Markov Chain
Monte Carlo simulation techniques.Contents i
Contents
I Introduction 1
1 Regression models 3
2 Applications 5
2.1 Childhood undernutrition in Zambia . . . . . . . . . . . . . . . . . . . . . 5
2.2 Forest health data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 Leukemia survival data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Childhood mortality in Nigeria . . . . . . . . . . . . . . . . . . . . . . . . 13
3 Outline 17
II Univariate responses from exponential families 19
4 Model formulation 21
4.1 Observation model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.1 Generalized linear models . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.1.1 Models for continuous responses . . . . . . . . . . . . . . . 22
4.1.1.2 Models for count data . . . . . . . . . . . . . . . . . . . . 23
4.1.1.3 Models for binary and binomial responses . . . . . . . . . 23
4.1.2 Structured additive regression . . . . . . . . . . . . . . . . . . . . . 24
4.2 Predictor components and priors . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.1 Fixed e ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.2.2 Continuous covariates and time scales . . . . . . . . . . . . . . . . . 29
4.2.2.1 P-Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.2.2.2 Random walks . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.2.3 Univariate Gaussian random elds . . . . . . . . . . . . . 39
4.2.2.4 Seasonal priors . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.3 Spatial covariates . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.3.1 Markov random elds . . . . . . . . . . . . . . . . . . . . 41
4.2.3.2 Stationary Gaussian random elds (Kriging) . . . . . . . . 43
4.2.3.3 Matern splines . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.3.4 Low rank Kriging . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.3.5 Anisotropic spatial e ects . . . . . . . . . . . . . . . . . . 49
4.2.3.6 Discrete versus continuous spatial modeling . . . . . . . . 51
4.2.4 Group indicators, cluster-speci c e ects and unstructured spatial
e ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.5 Varying coe cien ts . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.6 Interaction surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.6.1 First order random walk . . . . . . . . . . . . . . . . . . . 54
4.2.6.2 Kronecker sum of two second order random walks . . . . . 55
4.2.6.3 Local quadratic t . . . . . . . . . . . . . . . . . . . . . . 56
4.2.6.4 Approximation of the biharmonic di eren tial operator . . 59ii Contents
4.2.6.5 Kronecker product of two random walks . . . . . . . . . . 61
4.2.6.6 Comparis