The effects of computer-elicited structural and group knowledge on complex problem solving performance [Elektronische Ressource] : an application of two computer-based tools for knowledge elicitation / von Bertolt Meyer

Meyer Bertolt

Sujets

• Psychologie

Informations

• Publié par: humboldt-universitat_zu_berlin
• Publié le: 01 janvier 2008
• Nombre de lectures: 23
• Langue: English
• Poids de l'ouvrage: 6 Mo

Extrait

The effects of computer-elicited structural and
group knowledge on complex problem solving
performance
An application of two computer-based tools for knowledge
elicitation
DISSERTATION
zur Erlangung des akademischen Grades
doctor rerum naturalium
(Dr. rer. nat.)
im Fach Psychologie
eingereicht an der
Mathematisch-Naturwissenschaftlichen Fakultät II
Humboldt-Universität zu Berlin
von
Herr Dipl.-Psych. Bertolt Meyer
geboren am 04.04.1977 in Hamburg
Präsident der Humboldt-Universität zu Berlin:
Prof. Dr. Dr. h.c. Christoph Markschies
Dekan der Mathematisch-Naturwissenschaftlichen Fakultät II:
Prof. Dr. Wolfgang Coy
Gutachter:
1. Prof. Dr. Wolfgang Scholl
2. Prof. Oliver Günther, Ph.D
3. Prof. Dr. Hans-Jürgen Rothe
eingereicht am: 14. Dezember 2007
Tag der mündlichen Prüfung: 16. Mai 2008Abstract
This thesis analyzes the influence of structural knowledge on the individual
level and the influence of knowledge heterogeneity on the group level on
complexproblemsolving(CPS)performance. Fortheelicitationofstructural
knowledge,acomputerbasedmethod,theassociationstructuretest(AST),is
developed. Through term associations, measurement of thinking times, and
through pairwise concept comparisons, the AST elicits a knowledge graph
that can be described with graph-theoretical coefficients. The AST is put to
test in the domain of CPS.
As complex problems are usually addressed by groups in practice, a group
setting is chosen. Scholl’s model of team effectiveness postulates a curvilinear
n-shaped connection between the group’s knowledge heterogeneity and its
CPS performance.
In a laboratory experiment, 150 participants were divided into dyads.
The participants each received an instructional text with seven knowledge
elements on the control of a complex scenario. The overlap of knowledge ele-
ments inside a dyad was varied (small overlap, partial overlap, full overlap).
After learning, dyad members self-assessed their knowledge. This assessment
entered was fed into a computer-based knowledge management system (the
skillMap), for which an algorithm for kno similarity calculation had
been devised. The knowledge similarity was also used for performance pre-
diction. Adiscussionfollowed, duringwhichdyadmemberstaughteachother
what they had learned. Their structural knowledge was then assessed with
the AST. In the following complex scenario task, dyads from the partially
shared condition exhibited a significant superior performance in comparison
with the other two conditions. Knowledge heterogeneity exhibited a curvilin-
ear relationship with the dyad’s CPS performance. The weighted density of
AST-elicited knowledge graphs weakly correlated with CPS performance and
explained a small but unique fraction of its variance. The skillMap similarity
measure correlated significantly with CPS performance.
Computer-based knowledge elicitation tools are thus potentially suited
for performance prediction. CPS performance of groups is partially deter-
mined by the way in which knowledge is distributed inside the group.
Keywords:
knowledge, complex problem solving, group performance, structural
knowledgeZusammenfassung
Die Arbeit untersucht den Einfluss von strukturellem Wissen auf individu-
eller Ebene sowie den Einfluss der Wissensheterogenität auf Gruppenebe-
ne auf komplexes Problemlösen. Zur Erhebung von strukturellem Wissen
wird ein computerbasiertes Verfahren, der Assoziations- Strukturtest (AST),
entwickelt. Für die Berechnung der in Gruppen wird
das Wissensmanagementsystem skillMap um einen entsprechenden Algorith-
mus erweitert. Der AST erhebt mittels freier Assoziation, Denkzeitmessung
und Paarvergleichen zu einer Wissensdomäne einen Graphen, der mit gra-
phentheoretischen Kennwerten beschreiben wird. Für Leistungsvorhersagen
mit dem AST werden komplexe Problemlöseaufgaben gewählt. Da komplexe
Probleme i.d.R. von Gruppen bearbeitet werden, wird ein Gruppensetting
gewählt. Scholls Modell der Teameffektivität postuliert einen umgekehrt-u-
förmigen Zusammenhang zwischen der Wissensheterogenität in der Gruppe
und ihrer Problemlöseleistung. In einem Laborexperiment wurden 150 Ver-
suchspersonen in Dyaden eingeteilt. Die Teilnehmer erhielten je einen Lern-
text mit sieben Wissenselementen zur Steuerung eines komplexen Problem-
löseszenarios. Die Heterogenität des Wissens der beiden Gruppenmitglieder
wurde variiert (geringe Heterogenität, mittlere Heterogenität, große Hete-
rogenität). Nach der Lernphase gaben die Dyadenmitglieder eine Einschät-
zung über ihr Wissen ab. Diese Einschätzungen wurden mittels des skillMap-
AlgorithmuszueinemÄhnlichkeitskoeffizientenverrechnet,derauchzurVor-
hersage der Gruppenleistung genutzt wird. Es folgte eine Diskussionsphase,
in der die Dyadenmitglieder sich gegenseitig das Erlernte beibrachten. Ihr
strukturelles Wissen wurde dann mit dem AST getestet. In der anschlie-
ßenden Bearbeitung des Szenarios waren die Dyaden mit mittlerer Hetero-
genität den beiden anderen signifikant überlegen: Die Wissensheterogenität
zeigt einen kurvenlinearen Zusammenhang mit der Gruppenleistung. Die ge-
wichtete DichtederAST-erhobenen Wissensgraphenkorreliert geringmitder
ProblemlöseleistungunderklärteineneigenständigenkleinenAnteilihrerGe-
samtvarianz. Das Ähnlichkeitsmaß korreliert signifikant mit der Problemlö-
seleistung. Computerbasierte Wissensdiagnoseverfahren sind somit potentiell
dazu geeignet, Leistungsvorhersagen zu treffen. Die Problemlöseleistung von
Gruppen ist zum Teil durch die Verteilung des Wissens innerhalb der Gruppe
determiniert.
Schlagwörter:
Wissen, Komplexes Problemlösen, Gruppenleistung, Strukturelles WissenFor Daniel
ivContents
1 Introduction 1
2 The Concept of Knowledge 4
2.1 A Broad Definition of Knowledge . . . . . . . . . . . . . . . . 4
2.1.1 Data, information, and knowledge . . . . . . . . . . . . 6
2.1.2 Knowledge definition . . . . . . . . . . . . . . . . . . . 7
2.2 Explicit and Non-explicit Knowledge . . . . . . . . . . . . . . 8
2.3 Models from Memory Research . . . . . . . . . . . . . . . . . 10
2.3.1 Content-related memory model . . . . . . . . . . . . . 11
2.3.2 The multimodal model . . . . . . . . . . . . . 14
2.4 Cognitive Models for Knowledge Representation . . . . . . . . 17
2.4.1 Propositional representation systems . . . . . . . . . . 17
2.4.2 Rule-based representational models: ACT-R . . . . . . 18
2.5 Structural Knowledge . . . . . . . . . . . . . . . . . . . . . . . 22
2.6 Dimensional Model of Knowledge Types . . . . . . . . . . . . 24
2.7 Knowledge and Intelligence . . . . . . . . . . . . . . . . . . . 26
2.8 Summary and Research Assumptions . . . . . . . . . . . . . . 30
3 Elicitation and Representation of Structural Knowledge 32
3.1 Graph Representations of Knowledge Networks . . . . . . . . 32
3.2 Knowledge Elicitation Techniques . . . . . . . . . . . . . . . . 34
3.3 Kno without Structural Representation . . . 35
3.3.1 Word associations . . . . . . . . . . . . . . . . . . . . . 37
3.3.2 Card sorting . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4 Concept Grids . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5 Mapping and Structure Laying Techniques . . . . . . 42
3.5.1 Concept maps . . . . . . . . . . . . . . . . . . . . . . . 42
3.5.2 The structure laying technique (SLT) . . . . . . . . . . 44
3.5.3 Graph theoretic description of knowledge networks . . 45
3.5.4 Structural assessment of concept maps with MaNET . 47
v3.6 Graph Building and Multidimensional Scaling . . . . . . . . . 51
3.7 Structural Assessment with Pathfinder . . . . . . . . . . . . . 52
3.8 Discussion of Methods . . . . . . . . . . . . . . . . . . . . . . 56
3.9 The Association Structure Test (AST) . . . . . . . . . . . . . 58
3.9.1 AST configuration module . . . . . . . . . . . . . . . . 59
3.9.2 AST test module . . . . . . . . . . . . . . . . . . . . . 61
3.9.3 AST coefficients and their relationship . . . . . . . . . 65
3.9.4 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . 73
4 Knowledge in Complex Problem Solving (CPS) 76
4.1 Defining Problems . . . . . . . . . . . . . . . . . . . 76
4.2 Analyzing CPS Performance with Dynamic Scenarios . . . . . 78
4.2.1 Linear structural equations (LSE) . . . . . . . . . . . . 79
4.2.2 Finite state automata . . . . . . . . . . . . . . . . . . . 80
4.3 Determinants of Individual Complex Problem Solving . . . . . 81
4.4 Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.5 Knowledge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.5.1 Declarative knowledge . . . . . . . . . . . . . . . . . . 83
4.5.2 Procedural kno . . . . . . . . . . . . . . . . . . 85
4.5.3 Implicit knowledge . . . . . . . . . . . . . . . . . . . . 86
4.5.4 Structural knowledge . . . . . . . . . . . . . . . . . . . 87
4.6 Summary and Hypotheses . . . . . . . . . . . . . . . . . . . . 89
5 The Influence of Knowledge on Problem Solving in Groups 90
5.1 Research Strands on Group Performance . . . . . . . . . . . . 90
5.2 Task Types and Group P . .