Exploring methods for the automatic summarization of meetings [Elektronische Ressource] = Eine Untersuchung von Methoden für die automatische Zusammenfassung von Besprechungen / vorgelegt von Margot Mieskes

orgelegtbMetho2008dsderfordestheMiesk2008SummarizationFofersitätMeetingszurEineDOKTOR-INGENIEURUnontersucErlangenhOktobungecvhenonakultätMethoUnivdenErlangen-NürnfürergdieErlangungautomatiscGradeshevZusammenfassungvvMargotonesh22ungenerDerExploringTPromotion:Günhabil.DissertationDarmstadt)genehmigtDekvonIrynaderagTMärzecProf.Hubhenterstatter:FGörzakultäthderTUnivderersität20.Erlangen-Nürn2009ban:ergDr.-Ing.TJohannesagerderhProf.htherung:Prof.22.Oktob(TUerAls2008.Prepro.TDenitionABLE4.6OFTCONTENTS.Deutsche.EinleitungExp1.1.Intro..19.1.1.Motiv.ation..................rization.......................129...3.3...............3.5..20.1.2.4.1Meeting.Summary..............ual.......Metho...............Summarization....28.1.3.La.y.outA...............85.Boundary.............on...........4.ds.................112....32.2.General.Info.rmation.on.Data4.3and.T.o.ols.35.2.1.The.ICSI4.4Meeting..Data........117.tal...............of...........SHORT35.2.2.MMAX2.Annotation.T.o.ol66.Dialogue................................3.
Publié le : mardi 1 janvier 2008
Lecture(s) : 24
Tags :
Source : WWW.OPUS.UB.UNI-ERLANGEN.DE/OPUS/VOLLTEXTE/2009/1308/PDF/MARGOTMIESKESDISSERTATION.PDF
Nombre de pages : 331
Voir plus Voir moins

hen
Exploring
v
Metho
erg
ds
22
for
Univ
the
Grades

es
Summarization
ec
of
akult?t
Meetings
Erlangen-N?rn
Eine
Erlangung
Un
v
tersuc
Margot
h

ung
er
v

on
F
Metho
der
den
ersit?t
f?r
b
die
zur
automatisc
des
he
DOKTOR-INGENIEUR
Zusammenfassung
orgelegt
v
on
on
Miesk

Erlangen
h
2008
ungen
Oktob
Der
2008
T20.
Als
ther
Dissertation
Johannes
genehmigt
T
v
an:
on
h
der

T
der
ec
2009

Dr.-Ing.
hen
er
F
Prof.
akult?t
Prof.
der
(TU
Univ
ag
ersit?t
Promotion:
Erlangen-N?rn
M?rz
b
Dek
erg
Prof.
T
habil.
ag
Hub
der


terstatter:
h
G?n
ung:
G?rz
22.
Iryna
Oktob
h
er
Darmstadt)
2008117
SHORT

T
.
ABLE
.
OF
Conclusion
CONTENTS
opic
Deutsche
.
Einleitung
115
1
erimen
1
.
Intro
.

.
19
.
1.1
.
Motiv
.
ation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Metho
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
i
.
.
.
Dialogue
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Conclusions
20
.
1.2
.

109
Meeting
Literature
Summary
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Annotation
.
.
.
.
.
.
.
ds
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
28
.
1.3
.
La
.
y
.
out
66
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.4
.

.
.
.
.
.
.
.
.
.
.
.
95
.
the
.
.
.
.
.
.
.
.
.
.
.
Summa
.
111
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.2
.
.
32
.
2
.
General
.
Info
.
rmation
.
on
.
Data
.
and
Man
T
.
o
.
ols
.
35
.
2.1
.
The
.
ICSI
.
Meeting
Summarization

.
Data
.
.
.
.
.
.
.
.
.
.
4.5
.
Setup
.
.
.
.
.
.
.
.
.
.
.
.
.
126
.
the
.
.
.
.
.
.
.
.
.
.
35
.
2.2
.
MMAX2
.
Annotation
.
T
.
o
.
ol
.
.
3.3
.
A
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
T
.
Boundary
.
.
.
.
.
.
40
.
2.3
.
W
.
ek
.
a
.

.

.
hine
.
learning
.
en
3.5
vironmen
on
t
Prepro
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
.
rization
.
ds
.
4.1
.
.
.
.
43
.
2.4
.
Conclusion
.
on
.
Data
.
and
.
T
.
o
.
ols
.
.
.
.
.
.
.
.
.
.
.
.
112
.
Denition
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
46
.
3
.
Prep
4.3
ro
ual

.
49
.
3.1
.
P
.
art
.
of
.
Sp
.

.
h
.
.
.
.
.
.
.
.
.
.
.
.
4.4
.
Metho
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
117
.
Exp
.
tal
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
50
.
3.2
.
Disuencies
.
.
.
.
.
.
.
.
4.6
.
of
.
Summarization
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
129
.
.tf ∗idf
.
Metho
The
ds
.
.
7.5
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
based
.
.
.
.
.
.
.
A.1
.
.
.
.
.
Gold
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
132
.
5.2
r
Ev
.
aluation
Annotation
of
A.3
Baseline
.
Metho
of
ds
r
.
.
.
.
.
.
.
235
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
terface
.
.
.
.
.
7.4
.
.
.
.
.
.
.
.
.
ork
135
.
5.3
.
Ev
.
aluation
194
of
human
term
POS
frequency
.
metho
.
d
Annotation
.
.
.
opic
.
.
.
.
.
Guidelines
.
t
.
227
.
summa
.
.
.
.
.
.
.
B.2
.
.
.
.
.
.
.
summaries
.
.
146
.
5.4
B.4
Ev
.
aluation
.
of
.

Chains
Chains
.
based
.
metho
B.6
d
.
.
.
.
274
.
191
.
user
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
150
.
5.5
.
Ev
.
aluation
.
of
.

uture
hine
.
Learning
.
Metho
.
ds
.
.
.
.
.
.
.
.
.
.
Guidelines
.
va
.
tasks
.
Guidelines
.
.
.
.
.
.
.
.
.
197
.
for
.
.
157
.
5.6
.
Conclusion
for
on
.
the
.
ev
.
aluation
.
.
.
.
222
.
the
.
Relev
.
.
.
.
.
Examples
.
va
.
231
.
Summary
.
.
.
.
.
.
.
.
.
.
.
.
.
head
.
.
.
.
.
.
.
.
.
.
170
.
6
Baseline

.
User
.
Interface
.
fo
.
r
.
Summa
.
risation
131
-
.
SummGUI
.
173
.
6.1
.
Prepro
.

.
Mo
B.5
dule
summaries
.
.
.
.
.
.
.
.
.
.
.
hine
.
.
.
.
.
.
.
.
.
.
.
291
.
.
.
7.3
.

.
in
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
175
.
6.2
.
Summarisation
193
Mo
General
dule
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
193
.
F
.
W
.
.
.
.
.
.
.
.
.
.
.
.
.
.
179
.
6.3
.
F
.
eedbac
.
k
.
Lo
.
op
.
.
.
.
.
.
A
.
fo
.
the
.
rious
.
annotation
.
197
.
Annotation
.
for
.
tagging
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
A.2
.
Guidelines
.
Disuency
.
.
.
.
.
.
.
.
.
.
.
213
.
Guidelines
185
T
6.4
Annotation
F
.
ully
.

.
metho
.
ds
.
.
.
.
.
.
.
.
.
.
.
.
A.4
.
for
.
Extraction
.
Summary
.
an
.
items
.
.
.
.
.
.
.
B
.
fo
.
the
.
rious
.
ries
.
B.1
.
Standard
.
.
.
.
187
.
6.5
.
Conclusions
.
on
.
the
.

.
user
.
in
.
terface
.
and
.
the
231
h
Baseline
uman
summaries

.
k
.
188
.
7
.
Conclusion
.
189
.
7.1
.
Prepro
.

.
.
.
.
.
.
.
.
B.3
.
random
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
242
Ev
5.1
aluation
Evaluation
5
.
.
summaries
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
189
.
7.2
245
Summarisation

.
based
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
248
.

.
Learning
.
summaries
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Bibliography
.
ii
..
Deutsche
.
Einleitung
ertung
1
.
1
Baselinemetho
Einleitung
.
19
.
1.1
.
Motiv
ertungsmetho
ation
.
.
.
.
.
.
.
.
.
.
.
.
telles
.
.
.
.
.
.
.
der
.
.
.
Benutzerinterface
.
.
.

.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
der
.
.
.
Ketten
.
.
.
Ausw
20
.
1.2
Das
Automatisc
.
he
dul
Zusammenfassung
.
v
.
on
.
Diskussionen
.
.
.
.
.
.
.
.
.
.
4.3
.
.
.
.
.
.
.
Zusammenfassungsmetho
.
.
28
.
1.3
117
Aufbau
.
dieser
.
Arb
.
eit
Zusammenfassung
.
.
.
ertung
.
.
.
.
.
.
.
5.2
.
.
.
.
.
135
.
de
.
.
.
146
.
auf
.
.
.
Lern
.
.
.
157
.
.
.
.
.
170
.
Summ-
.
eitungsmo
.
.
.
.
.
175
.
.
32
.
2
.
Allgemeine
.
Info
.
rmationen
.
zu
.
den
.
Daten
.
und
.
W
iii
erkzeugen
.
35
.
2.1
.
Das
.
ICSI
.
Meeting
.

.
Data
uelle
Corpus
.
.
.
.
.
.
.
.
.
.
.
.
117
.
.
.
.
.
.
.
.
.
.
.
.
.
Exp
.
orgehen
.
.
35
.
2.2
.
MMAX2
.
Annotations
.
W
126
erkzeug
Zusammenfassungsmetho
.
.
.
.
.
5
.
5.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ertung
.
.
.
.
.
.
.
.
.
.
.
Ausw
.
orth?ugk
.
.
40
.
2.3
.
W
.
ek
Ausw
a
den


W
.
erkzeug
5.5
f?r
masc

erfahren
hinelles
.
Lernen
.
.
.
.
Zusammenfassung
.
.
.
.
.
.
.
.
.
.
.
Ein
.
Zusammenfassungen
.
173
.
orv
.
.
.
.
.
.
.
.
43
.
2.4
.
Zusammenfassung
Das
zum
.
Kapitel
.
?b
.
er
.
Daten
.
und
179
W
opplungssc
erkzeuge
.
.
.
.
.
.
.
.
.
.
.
46
6.4
3
Metho
V
.
o
.
rvera
.
rb
.
eitung
.
49
.
3.1
.
P
.
art
.
of
.
Sp
.

.
h
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
115
.
Man
.
Annotation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.4
.
den
.
.
.
.
.
.
.
.
.
.
50
.
3.2
.
H?sitationen
.
.
.
.
.
.
.
.
4.5
.
erimen
.
V
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.6
.
der
.
den
.
.
.
.
.
.
.
.
.
129
.
Ausw
.
131
.
Ausw
.
den
.
.
66
.
3.3
.
Dialogueakte
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
131
.
Ausw
.
der
.
den
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.3
.
ertung
.
W
.
eitsmetho
.
.
.
.
.
.
.
.
.
.
85
.
3.4
.
Themenabgrenzungen
.
.
5.4
.
ertung
.
Metho
.
basierend
.
lexik
.
hen
.
.
.
.
.
150
.
Ausw
.
der
.
hinellen
.
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.6
.
der
.
ertung
.
.
.
.
.
.
95
.
3.5
.
Sc
.
hlussfolgerungen
.
der
.
V
.
orv
6
erarb
graphisches
eitung
f?r
.
-
.
GUI
.
6.1
.
V
.
erarb
.
dul
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
109
.
4
6.2
Zusammenfassungsmetho
Zusammenfassungsmo
den
.
111
.
4.1
.
Literatur
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6.3
.
kk
.
hleife
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
185
.
V
.
he
.
de
.
.
.
.
.
.
.
.
.
.
.
.
.
.
112
.
4.2
.
Denition
.
.
.
.
187
.
..
6.5
der
Zusammenfassung
.
des
tagging
graphisc
for
hen
.
Ben
basierend
utzerin
.
terfaces
.
und
B
der
Zusammenfassung
ma-
.
n
basierend
uellen
en

.
kk
.
opplung
Annotation
.
.
.
items
.
.
.
.
.
.
.
random
.
.
.
.
.
.
.
.
.
Annotation
.
.
.
.
.
Guidelines
.
.
.
Guidelines
.
.
.
.
.
.
.
Summary
.
.
.
Referenzzusammenfassung
.
.
.
.
.
231
188
.
7
.
Zusammenfassung
.
189
.
7.1
.
V
B.4
orv
.
erarb
.
eitung
hen
.
.
.
Lern
.
291
.
197
.
for
.
.
.
.
.
.
.
.
.
A.2
.
Disuency
.
.
.
.
.
213
.
T
.
.
.
.
.
.
.
.
.
.
.
A.4
.
Extraction
.
an
.
.
.
.
.
231
.
.
.
.
.
.
189
.
7.2
.
Zusammenfassung
.
.
Baseline
.
.
.
.
.
.
.
.
.
.
.
B.3
.
.
.
.
.
.
.
.
.
.
.
auf
.
orth?ugk
.
.
.
.
.
B.5
.
lexik
.
.
.
.
.
B.6
.
masc
.
erfahren
.
274
.
Annotationsaufgab
.
(Englisch)
.
A.1
.
Guidelines
191
POS
7.3
.
Das
.
graphisc
.
he
.
Ben
.
utzerin
.
terface
.
.
.
.
197
.
Annotation
.
for
.
Annotation
.
.
.
.
.
.
.
.
.
.
.
A.3
.
for
.
opic
.
.
.
.
.
.
.
.
.
.
.
.
193
.
7.4
.
Allgemein
.
.
.
.
222
.
Guidelines
.
the
.
of
.
Relev
.
t
.
.
.
.
.
.
.
227
.
Beispielzusammenfassungen
.
B.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
B.2
.
head
.
.
.
.
.
.
.
.
.
.
193
.
7.5
.

.
k
.
.
.
.
235
.
Baseline
.
Zusammenfassungen
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
242
.
Zusammenfassungen
.
Basis
.
W
.
eiten
.
.
.
.
.
.
.
.
.
245
.
Zusammenfassungen
.
auf
.

.
Ketten
.
.
.
.
.
.
.
248
.
Zusammenfassungen
.
auf
.
hinellen
194
v
A
.
Anleitungen
.
f?r
Bibliographie
die
iv
manuellen2.2.2
INHAL
.
TSVERZEICHNIS
.
Deutsche
.
Einleitung
.
1
.
1
.
Intro
.

.
19
.
1.1
.
Motiv
Data
ation
2.1.1
.
Data
.
o
.
ual
.
ek
.
o
.
.
.
.
.
.
.
.
.
.
.
ICSI
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
t
.
.
.
.
.
v
.
.
.
.
.
.
.
1.3
.
.
.
.
.
.
.
.
20
General
1.1.1
ols
Summarisation
.

.
A
.
Denition
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.2
.
.
.
.
.
.
.
A
.
.
.
.
.

.
.
.
hine
.
.
22
.
1.1.2
on
Challenges
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
y
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
32
.
rmation
.
T
.
2.1
.

.
.
.
.
.
.
.
.
26
.
1.1.2.1
pro
Man
.
ual
.
Annotation
.
and
.
Ev
.
aluation
.
.
2.1.2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Annotation
26
.
1.1.2.2
.
T
.
ransfer
.
of
.
the
.
man
2.2.1
ual
and
pro
.

.
to
.
an
.

Data
pro-


.
.
2.3
.

.
en
.
.
.
.
.
.
.
.
.
2.4
.
and
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
27
.
1.1.2.3
.
Applicabilit
.
y
.
of
31
existing
La
metho
out
ds
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
27
.
1.1.2.4
.
Discourse
.
phenomena
.
.
.
.
.
.
2
.
Info
.
on
.
and
.
o
.
35
.
The
.
Meeting
.
Data
.
.
.
.
.
.
.
.
.
.
27
.
1.2
.

.
Meeting
.
Summary
35
.
Data
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
36
.
External
.
.
.
.
.
.
.
.
.
.
28
.
1.2.1
.
Metho
.
ds
.
.
.
.
.
.
.
.
.
.
40
.
MMAX2
.
T
.
ol
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
40
.
Data
.

.
Man
.
Annotation
.
.
.
.
.
.
.
.
.
.
29
.
1.2.2
43
T

o
A
ols
and
.
Annotation
.
.
.
.
.
43
.
W
.
a
.

.
learning
.
vironmen
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
43
.
Conclusion
.
Data
.
T
.
ols
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
30
.
1.2.3
46
Aims


Prep
.
ro
.

3.4.4.1
49
.
3.1
.
P
.
art
.
of
84
Sp
ual

.
h
er
.
.
.
3.4.4
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2.4.3.4
.
.
.
Regular
.
.
.
.
.
-
.
.
.
.
.
.
.
.
.
.
50
.
3.1.1
.
Related
3.3.4.2
W
.
ork
.
.
opic
.
.
.
T
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.4.5
.
.
.
.
.
on
.
.
.
.
.
.
.
with
.

.
.
.
.
.
.
.
3.3.1
52
.
3.1.2
.
Metho
.
ds
.
to
.

.
annotate
Annotation
POS
.
tags
.
.
A
.
.
.
.
.
.
.

.
.
.
.
.
.
54
.
3.1.3
.
Man
.
ual
.
Annotation
.
.
.
.
.
.
.
.
Related
.
.
.
.
.
Man
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
DiaSeg
.
.
.
.
55
Kno
3.1.4
.
Ev
.
aluation
segmen
with
.
3
vi
.
.
.
.
.
.
erimen
.
hine
.
.
.
.
.
.
.
.
.
.
.
79
.

.
hine
.
Dialogue
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
W
.
A
.
.
57
.
3.1.5
.

.
Annotation
3.3.2
.
.
.
.
.
.
.
.
.
.
.
.
.
3.3.3
.
.
.
.
.
.
.
.
.
.
.
88
.
P
.
.
.
.
.
.
.
.
.
.
.
.
.
3.3.4.1
62
.
3.1.6
.
Conclusions
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
3.3.4.3
.
.
.
.
.
.
.
.
.
.
.
3.4
.

.
.
.
.
.
.
.
.
.
.
.
95
.
ork
.
Annotation
.
.
.
.
.
.
.
96
65
Annotation
3.2
.
Disuencies
.
.
.
.
.
.
.
.
97
.
.
.
.
.
.
.
.
.
.
.
.
.
aluation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
101
.
aluation
.
.
.
.
.
.
.
.
.
3.4.4.3
66
.
3.2.1
.
Related
.
W
.
ork
.
-
on
Disuencies
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
79
.
Exp
.
ts
.

.
learning
.

.
.
.
.
.
.
.
.
67
.
3.2.1.1
.
Descriptiv
.
e
.
W
.
ork
.
on
3.2.4.4
Disuencies
Expressions
.
bined
.

.
Learning
.
3.3
.
A
.
.
.
.
.
.
.
.
.
.
67
.
3.2.1.2
.

.

.
of
.
Disuencies
.
.
.
.
.
.
.
.
.
.
85
.
Related
.
ork
.
Dialogue
69

3.2.1.3
.
Discourse
.
Mark
.
ers
.
.
.
.
.
.
.
.
.
.
85
.
Man
.
Annotation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
71
87
3.2.2

Disuency
.
T
.
yp
.
es
.
and
.
Denition
.
.
.
.
.
.
.
.
.
.
.
.
3.3.4
.

.
airs
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
71
.
3.2.3
.
Man
.
ual
.
Annotation
89
.
Existing
.
hes
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
92
.
Question
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
93
.
Answ
71

3.2.4
.

.
Annotation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
94
.
T
.
Boundary
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
73
3.4.1
3.2.4.1
W
Ev
-
aluation
opic
metho
.
d
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.4.2
.
ual
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
73
.
3.2.4.2
.
Regular
3.4.3
Expression
Annotation
Based
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
75
98
3.2.4.3
Ev

.
hine
.
learning
.

.
h
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
100
.
Baseline
.
.
.
.
77
.
3.2.4.3.1
.
Class
.
Im
.
balance
.
and
.
Ov
.
ersampling
.
.
.
.
.
.
3.4.4.2
.
Ev
77
.
3.2.4.3.2
.
T
.
ree
.
Learner
.
.
.
.
.
.
.
.
.
.
102
.
External
.
wledge
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
108
78
Conclusions
3.2.4.3.3
meeting
F
tation
eature
.
Set
.
.
.
.
.
.
.
.
.
.
109
.
..
3.5
Ev
Conclusions
.
on
5.2.4
the
.
Prepro
.

.
.
d
.
.
.
.
.
.
.
Ev
.
.
.
5.2.3
.
.
.
(1999)
.
Na?v
.
Setup
.
.
.
F
.
.
.
.
.
.
.
.
.
.
.
.
109
.
4
.
Summa
.
rization
the
Metho
5.4.1
ds
.
111
.
4.1
.
Literature
.
.
.
.
.
.
.
.
.
.
.
.
126
.
.
.
hine
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
baselines
.
frequency
.
.
.
5.4
.
.
.
osed
.
.
.
.
.
.
.
.
.
es
112
.
4.1.1
.
W
4.5
ritten
.
T
.
exts
.
.
126
.
.
.
.
.
.
.
126
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Conclusion
.
.
.
.
.
5
.
.
.
.
.
.
.
.
.
Metho
.
.
.
.
112
Head
4.1.2
.
Sp
.
ok
.
en
135
T
.
exts
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ev
.
.
.
Ev
.
.
.
.
.
146
.
term
.

.
.
.
.
.
the
.
y
.
.
.
.
.
.
.
vii
.
.
.
.
.
.
.
124
114
Ba
4.2
.
Denition
.
.
.
.
.
.
.
.
.
.
erimen
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Baselines
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
T
.
Scores
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
115
.
4.3
.
Man
4.5.4
ual
.
Annotation
.
.
.
.
.
.
.
.
.
.
128
.
the
.
.
.
.
.
.
.
.
.
.
.
131
.
Metho
.
.
.
.
.
.
.
.
.
.
.
.
.
132
.
of
.
.
.
.
.
.
.
.
.
.
.
135
117
.
4.4
.
Summarization
.
Metho
.
ds
.
.
.
.
.
.
.
.
T
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
on
.
of
.
.
.
.
117
145
4.4.1
of
Baselines
d
.
.
.
.
.
.
.
.
.
Conclusion
.
based
.
scores
.
aluation
.
based
.
.
.
.
.
.
.
.
.
aluation
.
as
.
y
.
El-
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
117
.
4.4.1.1
.
Head
.
.
4.4.4.3
.
e
.
y
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
125
.
Exp
.
tal
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
118
.
4.4.1.2
.
T
.
ail
.
.
.
.
4.5.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.5.2
.
erm
.

.
.
.
.
.
.
.
.
.
.
.
.
118
.
4.4.1.3
.
Random
.
.
.
.
.
.
4.5.3
.
Chains
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
127
.

.
Learning
.
.
.
.
.
.
.
.
.
.
118
.
4.4.2
.
T
.
erm
.
F
.

.
.
.
.
4.6
.
of
.
Summarization
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
129
.
Evaluation
.
5.1
.
aluation
.
ds
.
.
.
.
.
.
.
.
.
.
.
.
.
.
118
.
4.4.3
.

.
Chains
.
.
.
.
.
.
5.2
.
aluation
.
Baseline
.
ds
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.2.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
119
.
4.4.3.1
.
Summaries
.
follo
.
wing
.
the
.
metho
.
d
.
b
5.2.2
y
ail
Barzila
.
y
.
&
.
El-
.
hadad(1999)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
139
.
Random
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
120
.
4.4.3.2
.
Metho
.
d
.
prop
142
osed
Conclusion
b
the
y
aluation
Silb
the
er
.
&
.
McCo
.
y(2002)
.
.
.
.
5.3
.
aluation
.
term
123
metho
4.4.4
.

.
hine
.
Learning
.
.
.
.
.
.
.
.
.
.
.
.
5.3.1
.
on
.
summaries
.
on
.
frequency
.
149
.
Ev
.
of
.
Chains
.
metho
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
150
.
Ev
123
of
4.4.4.1


prop
T
b
ree/Rule
Barzila
Learning
&
.
hadad
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
124
.
4.4.4.2
.

150
Based
Learning.
5.4.2
193
Ev
.
aluation
.
of
185
the
.
summaries
.
based
.
on
.
top
in
scoring
Conclusion
elemen
.
ts
.
from
.
the
.

.

.
hains
the
.
.
.
.
.
6.5
.
.
.
.
.
.
.
.
.
.
.
rious
.
.
.
.
.
.
.
179
.
.
.
F
.
.
.
.
.
.
.
hains
.
.
.
.
152
.
5.4.3
.
Ev
and
aluation
.
of
.
summaries
.
based
.
on
in
the
.
metho
.
d
.
suggested
W
b
.
y
.
Silb
for
er
.
&
.
McCo
.
y
.
(2002)

.
.
.
.
.
dule
.
.
.
.
.
.
.
op
.
.
.
.
.
.
.
F
.
d
.
.
.
k
.
.
.
.
.
6.3.3
.
learning
.
.
.
ully
.
.
153
.
5.4.4
.
Ev

aluation

of

the
.
segmen
.
t
.
scoring
7.2
metho
.
d
.
.
.
.
7.3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
193
154
.
5.4.5
.
Ev
.
aluation
.
of
fo
the
197

.
hain
.
scoring
A.1.1
metho
.
d
.
.
.
.
A.1.2
.
.
.
.
.
.
.

.
198
.
.
.
.
.
.
.
Summarisation
.
.
156
.
5.4.6
.
Conclusions
.
on
.
the
.
ev
179
aluation
k
of
.
the
.

.

.
hains
.
metho
.
d
.
.
185
157
k
5.5
frequency
Ev
.
aluation
.
of
.

F
hine
the
Learning
d
Metho
.
ds
.
.
.
.
.
.
eedbac
.

.
d
.
.
.
.
.
6.4
.
metho
.
.
.
.
.
.
.
.
.
.
.
.
157
on
5.5.1
in

h
T
188
ree
7.1
Learner
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
158
.
5.5.2
General
Rule
.
Learner
.
JRip
.
.
.
.
.
.
.
.
.
.
.
.
F
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
A
.
the
.
annotation
.
Annotation
.
tagging
.
.
.
.
.
.
.
.
159
erview
5.5.3
.
Lazy
.
Learner
.

.
Three
.
nearest
.
neigh
.
b
Guidelines
ours
.
.
.
.
.
.
.
.
.
.
A.1.2.1
.
all
.
.
.
.
.
.
.
.
.
.
162
.
5.5.4
.
Ba
.
y
.
es
6.2
Learner
Mo

.
Na?v
.
e
.
Ba
.
y
.
es
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6.3
.
eedbac
.
Lo
.
.
.
.
.
.
.
.
.
.
.
.
.
.
163
.
5.5.5
.
Ma
.
jorit
.
y
.

.
o
.
v
.
er
6.3.1
four
eedbac
learners
in
.
term
.
metho
.
.
.
.
.
.
.
.
.
.
.
.
.
6.3.2
.
eedbac
.
in
.

.
metho
.
.
166
.
5.5.6
.
Discussion
.
on
.
the
.

.
hine
.
Learning
187
Metho
F
ds
k
.
the
.
hine
.
metho
.
.
.
.
.
.
.
.
.
.
168
187
5.6
F
Conclusion

on
ds
the
.
ev
.
aluation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
187
.
Conclusions
.
the
.
user
.
terface
.
the
.
uman
.
k
.
7
.
189
.
Prepro
.
.
.
.
.
.
170
.
6
.

.
User
.
Interface
.
fo
.
r
.
Summa
.
risation
.
-
.
SummGUI
.
173
.
6.1
189
Prepro
Summarisation

.
Mo
.
dule
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
191
.
The
.
user
.
terface
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
175
.
6.1.1
7.4
POS
.
Mo
.
dule
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7.5
.
uture
.
ork
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
175
.
6.1.2
.
Disuency
.
Mo
.
dule
.
.
.
.
194
.
Guidelines
.
r
.
va
.
human
.
tasks
.
A.1
.
Guidelines
.
POS
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
197
.
Ov
.
.
.
.
.
.
175
.
6.1.3
.
DialogueA
.

.
and
.
A
.

.
P
.
air
.
Mo
.
dule
.
.
197
.
Correction
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
178
.
6.1.4
.
T
198
opic

Boundary
hanging

o
.
.
.
.
.
.
.
.
.
viii
.

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.