A Bayesian semiparametric latent variable model for binary, ordinal and continuous response [Elektronische Ressource] / vorgelegt von Alexander Wolf Raach

Alexander Wolf Raach

Sujets

• Mathematics

Informations

• Publié par: ludwig-maximilians-universitat_munchen
• Publié le: 01 janvier 2005
• Nombre de lectures: 24
• Langue: Deutsch
• Poids de l'ouvrage: 3 Mo

Extrait

A Bayesian semiparametric latent
variable model for binary, ordinal and
continuous response
Alexander Wolf Raach
Dissertation
an der Fakult˜at fur˜ Mathematik, Informatik und Statistik
der Ludwig{Maximilians{Universit˜at
Munc˜ hen
Munc˜ hen, 9. November 2005A Bayesian semiparametric latent
variable model for binary, ordinal and
continuous response
Dissertation
an der Fakult˜at fur˜ Mathematik, Informatik und Statistik
der Ludwig{Maximilians{Universit˜at
Munc˜ hen
vorgelegt von
Alexander Wolf Raach
aus Stuttgart { Bad Cannstatt
Munc˜ hen, 9. November 2005
Erstgutachter: Prof. Dr. Ludwig Fahrmeir
Zweitgutachter: Prof. Dr. Hans Schneewei…
Drittgutachter: Prof. Dr. Gerhard Arminger
Rigorosum: 26. Januar 2006iiDanksagung
Ich bin meinem Betreuer Prof. Dr. Fahrmeir zu tiefstem Dank verp ichtet. Er hat das
Risiko auf sich genommen und mich als Doktoranden akzeptiert, obwohl ich als Externer
und Fachfremder diese Arbeit durchfuhren˜ wollte. Weiterhin hatte er immer ausfuhrlic˜ h
Zeit zur gemeinsamen Diskussion und thematischen Weiterentwicklung, trotz teilweise
kurzfristiger Terminanfragen meinerseits.
Ebenfalls m˜ochte ich Prof. Dr. Schneewei… und Prof. Dr. Arminger fur˜ die Bereitschaft
danken, als Gutachter fur˜ meine Arbeit t˜atig gewesen zu sein. Prof. Dr. Schneewei… hat
darub˜ erhinaus durch sein ausfuhrlic˜ hes Korrekturlesen zur Qualit˜atssteigerung der Disser-
tation beigetragen.
Mein spezieller Dank gilt Alexander Jerak, der den Kontakt zum Lehrstuhl herstellte und
mirinetlichenGespr˜achenwertvolle"Statistikertips"ub˜ ermittelte,diemirdieEingew˜ohn-
ung in die statistische Materie stark erleichterten. Andreas Brezgers Hilfestellungen erm˜o-
glichtenmireinezugige˜ ImplementationderP-Splines-Funktionalit˜at. RainerKieferm˜och-
te ich fur˜ die Bereitstellung des Datensatzes danken, welcher die Basis fur˜ die vorliegende
Arbeit bildete.
Meinen Eltern sei gedankt dafur,˜ dass sie mich doch noch auf die richtige Schule geschickt
undmiralleM˜oglichkeitenzurpers˜onlichenEntwicklunggeschafienhaben(hierbetoneich
bereits Gesagtes).
Abschlie…end danke ich insbesondere meiner Freundin, die mich in allen schlechten Phasen
hataushaltenmussen,˜ diemirdurchIhreUnterstutzung˜ (v.a.Korrekturlesen)sehrgeholfen
und mir durch viele andere Dinge die Doktorarbeitszeit immens versu…t˜ hat.ivZusammenfassung
Diese Arbeit diskutiert ein Latentes-Variablen-Modell (LVM), welches in einem Bayesiani-
schemAnsatzformuliertundmitMarkovchainMonteCarloMethoden(MCMC)gesch˜atzt
wird. Dieses Modell erweitert die klassische Faktoranalyse, indem es nicht nur normalver-
teilte metrische manifeste Variablen zul˜asst, sondern auch bin˜are und ordinale Indikatoren
integriert, welche in vielen Anwendungsfeldern (z.B. Psychologie, Soziologie) verbreitet
sind. Weiterhin wird ein semiparametrischer Pr˜adiktor eingefuhrt,˜ welcher den Ein uss
von Kovariaten auf die latenten Variablen beschreibt. Der Pr˜adiktor kann parametrische
Efiekte, glatte Funktionen von metrischen Kovariaten (modelliert durch Random Walks
und P-Splines), r˜aumliche Efiekte (modelliert durch Markov Random Fields) und Inter-
aktionen von metrischen und kategorialen Kovariaten beinhalten. Eine Integration von
zeitlichen Efiekten w˜are leicht m˜oglich. Somit kann der Ein uss von Kovariaten auf die
latenten Variablen wesentlich detaillierter als mit bisherigen Methoden untersucht werden.
Ein Schwerpunkt der Arbeit ist die Entwicklung eines e–zienten MCMC Algorithmus mit
guten Sch˜atzeigenschaften (insbesondere fur˜ die Schwellenwerte der ordinalen Indikatoren)
und dessen Implementierung im Standardsoftwarepaket R. Ebenso steht die Demonstra-
tion der Anwendbarkeit des Modells an einer Internetumfrage im Mittelpunkt. Hierzu
werden zahlreiche Modelle mit unterschiedlich strukturierten Pr˜adiktoren analysiert und
erste Ans˜atze zur Modellwahl vorgestellt.vi
Abstract
Thisthesisdiscussesalatentvariablemodel(LVM)whichisbasedonaBayesianapproach
and is estimated by Markov chain Monte Carlo methods (MCMC). The model extends
classic factor analysis by allowing not only for gaussian metric manifest variables, but also
for binary and ordinal indicators which are very common in many areas of application
(e.g. psychology, sociology). Furthermore, a semiparametric predictor is introduced which
describes the in uence of covariates on the latent variables. The predictor may contain
parametricefiects,smoothfunctionsofmetriccovariates(modeledbyrandomwalksandP-
splines), spatial efiects (modeled by Markov random flelds) and interactions of metric and
categorical covariates. The integration of temporal efiects is easily possible. Consequently,
the in uence of covariates on the latent variables can be analyzed in much more detail
than with currently available methods.
One emphasis of this work is the development of an e–cient MCMC algorithm with good
estimation properties (in particular concerning the cutpoints of ordinal indicators) and
its implementation in the standard software package R. Another focus lies on the demon-
stration of the model’s applicability using data from an internet survey. Several models
with difierently structured predictors are analyzed and flrst ideas for model selection are
presented.Contents
1 Introduction 1
2 Latent Variable Models (LVM) 5
2.1 Description of latent variables . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 LVM model types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2.1 LVM excluding covariate efiects . . . . . . . . . . . . . . . . . . . . 8
2.2.2 LVM including covariate efiects . . . . . . . . . . . . . . . . . . . . 10
2.2.3 Structural equation models . . . . . . . . . . . . . . . . . . . . . . . 12
2.3 Bayesian accounts on LVM . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3 Statistical Model 15
3.1 The measurement model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.1.1 Measurement model excluding direct efiects . . . . . . . . . . . . . 15
3.1.2 Identiflcation restrictions of the factor analysis model . . . . . . . . 19
3.1.3 Measurement model including direct efiects. . . . . . . . . . . . . . 21
3.1.4 Standardization of parameters . . . . . . . . . . . . . . . . . . . . . 22
3.1.5 Exploratory versus conflrmatory factor analysis . . . . . . . . . . . 23
3.2 The structural equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3 Summary of model formulation . . . . . . . . . . . . . . . . . . . . . . . . 27
4 Bayesian Inference 31
4.1 Basics of Bayesian methodology . . . . . . . . . . . . . . . . . . . . . . . . 31viii CONTENTS
4.2 Markov Chain Monte Carlo (MCMC) . . . . . . . . . . . . . . . . . . . . . 33
4.2.1 Classic Monte Carlo integration . . . . . . . . . . . . . . . . . . . . 34
4.2.2 Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.3 Metropolis-Hastings algorithm . . . . . . . . . . . . . . . . . . . . . 36
4.2.4 Gibbs sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.5 Sampler convergence and its improvement . . . . . . . . . . . . . . 39
5 Bayesian formulation of the LVM 43
5.1 Bayesian model setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2 Prior distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.2.1 Prior distributions of the measurement model . . . . . . . . . . . . 45
5.2.2 Prior of the structural equation . . . . . . . . . . . . . 47
5.3 Likelihood, posterior distribution and DIC . . . . . . . . . . . . . . . . . . 54
5.4 MCMC implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.4.1 Algorithm 1: the standard sampler . . . . . . . . . . . . . . . . . . 58
5.4.2 2: the MH sampler (MHS) . . . . . . . . . . . . . . . . . 64
5.4.3 Algorithm 3: the Generalized Gibbs sampler (GGS) . . . . . . . . . 65
5.4.4 Starting values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.4.5 Consideration of parameter restrictions . . . . . . . . . . . . . . . . 69
6 Simulation Studies 71
6.1 Convergence comparison of the three MCMC algorithms . . . . . . . . . . 71
6.2 LVM excluding indirect efiects . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.3 LVM including indirect efiects . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.3.1 Parametric efiects of metric and categorical covariates . . . . . . . . 93
6.3.2 Nonparametric efiects of metric covariates . . . . . . . . . . . . . . 95
6.3.3 efiects of spatial covariates . . . . . . . . . . . . . . 102
6.3.4 Nonparametric efiects of interacting covariates . . . . . . . . . . . . 106