Reasoning ability [Elektronische Ressource] : rule based test construction of a figural analogy test / vorgelegt von Barbara Maria Esther Beckmann

WestfälischeWilhelms-UniversitätMünsterFachgebiet: PsychologieReasoning Ability:Rule-based test construction of a figuralanalogy testInaugural-Dissertationzur Erlangung des DoktorgradesderPhilosophischen FakultätderWestfälischen Wilhelms-UniversitätzuMünster (Westf.)vorgelegt vonBarbara Maria Esther Beckmannaus MünsterJuli 2008Tag der mündlichen Prüfung: 26.09.2008Dekan: Prof. Dr. BrommeReferent: Prof. Dr. HollingKorreferent: PD Dr. GedigaVorwortIm Rahmen der vorliegenden Arbeit wird das Ziel der regelgeleiteten Test-entwicklung zur Erfassung der uiden Intelligenz mittels guralen Analo-gieaufgaben verfolgt. Schlussfolgerndes Denken wurde als Testgegenstandgewählt, da es als zentrale Komponente kognitiver Fähigkeiten und analy-tischer Intelligenz gilt. Der Ein uss der im Test angewandten Regeln undElemente auf die Aufgabenschwierigkeit wird mittels Linear LogistischerTestmodelle untersucht.Testinstruktionen und Beispielaufgaben des im Rahmen dieser Dissertationentwickelten guralen Analogietests werden im Anhang aufgeführt. Dadie Arbeit in englischer Sprache geschrieben ist, be ndet sich eine deutscheZusammenfassung am Ende der Arbeit.Mein herzlicher Dank gilt Herrn Prof. Dr. Holling für die Betreuungmeiner Arbeit, seine Unterstützung und Anregungen. Herrn PD Dr. Gedigadanke ich für seine Bereitschaft, die Aufgabe des zweiten Gutachters zuübernehmen.
Publié le : mardi 1 janvier 2008
Lecture(s) : 26
Tags :
Source : MIAMI.UNI-MUENSTER.DE/SERVLETS/DERIVATESERVLET/DERIVATE-4765/DISS_BECKMANN.PDF
Nombre de pages : 211
Voir plus Voir moins

Westfälische
Wilhelms-Universität
Münster
Fachgebiet: Psychologie
Reasoning Ability:
Rule-based test construction of a figural
analogy test
Inaugural-Dissertation
zur Erlangung des Doktorgrades
der
Philosophischen Fakultät
der
Westfälischen Wilhelms-Universität
zu
Münster (Westf.)
vorgelegt von
Barbara Maria Esther Beckmann
aus Münster
Juli 2008Tag der mündlichen Prüfung: 26.09.2008
Dekan: Prof. Dr. Bromme
Referent: Prof. Dr. Holling
Korreferent: PD Dr. GedigaVorwort
Im Rahmen der vorliegenden Arbeit wird das Ziel der regelgeleiteten Test-
entwicklung zur Erfassung der uiden Intelligenz mittels guralen Analo-
gieaufgaben verfolgt. Schlussfolgerndes Denken wurde als Testgegenstand
gewählt, da es als zentrale Komponente kognitiver Fähigkeiten und analy-
tischer Intelligenz gilt. Der Ein uss der im Test angewandten Regeln und
Elemente auf die Aufgabenschwierigkeit wird mittels Linear Logistischer
Testmodelle untersucht.
Testinstruktionen und Beispielaufgaben des im Rahmen dieser Dissertation
entwickelten guralen Analogietests werden im Anhang aufgeführt. Da
die Arbeit in englischer Sprache geschrieben ist, be ndet sich eine deutsche
Zusammenfassung am Ende der Arbeit.
Mein herzlicher Dank gilt Herrn Prof. Dr. Holling für die Betreuung
meiner Arbeit, seine Unterstützung und Anregungen. Herrn PD Dr. Gediga
danke ich für seine Bereitschaft, die Aufgabe des zweiten Gutachters zu
übernehmen. Meinen Kollegen des Lehrstuhls gebührt ebenfalls gro er
Dank für ihre Unterstützung und die beständige und gute Zusammenar-
beit.
Münster, im Juli 2008 Barbara BeckmannContents
1 Introduction 1
2 Reasoning Ability: Theoretical and Empirical Background 7
2.1 Reasoning Ability: Assignment and Definition . . . . . . . . . 7
2.2 Ability in Influential Intelligence Models . . . . . . 9
2.3 Information-Processing Theories of Analogy Tasks . . . . . . 16
2.4 Empirical Findings between Cognitive Abilities and Academic
Achievement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5 Effects of Training and Instruction on Test Performance . . . . 47
2.5.1 Training Effects . . . . . . . . . . . . . . . . . . . . . . . 47
2.5.2 Effects of Instruction on Test Performance . . . . . . . 51
2.5.3 Concluding Remarks on the Effects of Training and
Instruction . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3 Analysis of Cognitive Structure 58
3.1 Rule-based Test Construction . . . . . . . . . . . . . . . . . . . 59
3.2 Test Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
iContents
3.2.1 Classical Test Theory and Item Response Theory . . . 62
3.2.2 Probabilistic Test Models . . . . . . . . . . . . . . . . . 64
3.3 Methods of Validating the Cognitive Structure . . . . . . . . . 67
3.3.1 Linear Logistic Test Model . . . . . . . . . . . . . . . . 68
3.3.2 Linear Logistic Test Model with Random Item Effects 71
3.3.3 Optimal Design . . . . . . . . . . . . . . . . . . . . . . . 73
3.4 Empirical Findings on Information Structure and Compo-
nents of Item Difficulty . . . . . . . . . . . . . . . . . . . . . . . 74
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 Research Questions and Pretests 83
4.1 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2 Pretests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.2.1 Pretest 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.2 Pretest 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.2.3 Pretest 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.2.4 Summary and Conclusion on Pretests . . . . . . . . . . 104
5 Main Examination 106
5.1 Material . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.1.1 Test and Items . . . . . . . . . . . . . . . . . . . . . . . . 107
5.1.2 Distractors . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.2 Instruction, Procedure, and Measures . . . . . . . . . . . . . . 112
5.3 Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.4.1 Item Statistics According to Classical Test Theory . . . 115
iiContents
5.4.2 Confirmatory Factor Analysis . . . . . . . . . . . . . . 123
5.4.3 Estimating Parameters According to IRT-Models . . . 124
5.4.4 Goodness of Fit . . . . . . . . . . . . . . . . . . . . . . . 132
5.4.5 Item Construction in Focus . . . . . . . . . . . . . . . . 140
5.4.6 Impact of Elements on Item Difficulty . . . . . . . . . . 153
6 Summary and Discussion 160
6.1 Future Prospects . . . . . . . . . . . . . . . . . . . . . . . . . . 171
References 173
A Tables and Figures 184
B Test Materials 188
iiiList of Tables
2.1 Analogy Example According to Sternberg (1977a) . . . . . . . 21
4.1 Descriptive Statistics of Pretest 1 . . . . . . . . . . . . . . . . . 94
4.2 Parameter Estimates of Pretest 1 . . . . . . . . . . . . . . . . . 95
4.3 Descriptive Statistics of Pretest 2 . . . . . . . . . . . . . . . . . 97
4.4 Parameter Estimates of Pretest 2 . . . . . . . . . . . . . . . . . 98
4.5 Descriptive Statistics of Pretest 3 . . . . . . . . . . . . . . . . . 102
4.6 Parameter Estimates of Pretest 3 (Subtests 1, 4, 5) . . . . . . . 103
4.7 of Pretest 3 (Subtests 2, 3) . . . . . . . . . 103
5.1 Cognitive Operations . . . . . . . . . . . . . . . . . . . . . . . . 108
5.2 Optimal Design Matrix (Subtests 1 & 2) . . . . . . . . . . . . . 110
5.3 Optimal Design Matrix (Subtests 3 & 4) . . . . . . . . . . . . . 111
5.4 T-Test Means of the Instruction Group and the Non-Instruction
Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.5 Descriptive Statistics: Total Sample . . . . . . . . . . . . . . . . 119
5.6e Instruction Group . . . . . . . . . . . . . 120
ivList of Tables
5.7 Descriptive Statistics: Non-Instruction Group . . . . . . . . . . 121
5.8 Item Parameters 1PL Model (BILOG) . . . . . . . . . . . . . . 129
5.9 Item 2PL Model (BILOG) . . . . . . . . . . . . . . 130
5.10 Goodness of Fit According to Likelihood and Information-
theoretic Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.11 Model Test According to Martin-Löf (k = 31, N = 484) . . . . . 135
5.12 Model Test According to (k = 44, N = 484) . . . . . 136
5.13 Model Test According to Andersen (k = 31, N = 484) . . . . . 138
5.14 Model Test According to (k = 44, N = 484) . . . . . 139
5.15 LLTM vs. Rasch Parameter: Total Sample (LPCM-Win) . . . . 142
5.16 LLTM: Basic Parameter Estimates, Total Sample (LPCM-Win) 143
5.17 LLTM: Basic Instruction Group (LPCM-
Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.18 LLTM vs. Rasch Parameter: Instruction Group (LPCM-Win) . 145
5.19 LLTM: Basic Parameter Estimates, Non-Instruction Group
(LPCM-Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.20 LLTM vs. Rasch Parameter: Non-Instruction Group (LPCM-
Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.21 Comparison of Parameter Estimates: Instruction Group vs.
Non-Instruction Group . . . . . . . . . . . . . . . . . . . . . . . 148
5.22 LLTM with Random Item Effects: Basic Parameter Estimates,
Total Sample (SAS) . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.23 LLTM: Total Sample (SAS) . . . . . . . . . . . . . . . . . . . . . 151
5.24 LLTM with Random Item Effects for Rasch Conform Items
(k = 32, N = 484) (SAS) . . . . . . . . . . . . . . . . . . . . . . . 152
vList of Tables
5.25 LLTM with Random Item Effects: Parsimonious Model for
Rasch Conform Items (k = 32, N = 484) (SAS) . . . . . . . . . 153
5.26 LLTM: Combination of Letters and Digits (LPCM-Win) . . . . 154
5.27 LLTM: Orientation of A-Elements (LPCM-Win) . . . . . . . . 155
5.28 LLTM: C-Elements (LPCM-Win) . . . . . . . . . . . . . . . . . 157
5.29 LLTM: Elements A & C (LPCM-Win) . . . . . . . . . . . . . . . 157
5.30 LLTM: and Transformations (LPCM-Win) . . . . . . 159
A.1 LLTM with Random Item Effects: Instruction Group (SAS) . . 185
A.2 LLTM: Instruction Group (SAS) . . . . . . . . . . . . . . . . . . 185
A.3 LLTM with Random Item Effects: Non-Instruction Group
(SAS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
A.4 LLTM: Non-Instruction Group (SAS) . . . . . . . . . . . . . . . 186
vi

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.