Sequence segmentation for statistical machine translation [Elektronische Ressource] / Jia Xu

Sujets

• Informatik

Informations

• Publié par: rheinisch-westfalischen_technischen_hochschule_-rwth-_aachen
• Publié le: 01 janvier 2010
• Nombre de lectures: 17
• Langue: English
• Poids de l'ouvrage: 4 Mo

Extrait

Sequence Segmentation for Statistical Machine
Translation
Von der Fakultat fur Mathematik, Informatik und
Naturwissenschaften der RWTH Aachen University zur
Erlangung des akademischen Grades einer Doktorin der
Naturwissenschaften genehmigte Dissertation
vorgelegt von
Diplom-Informatikerin Jia Xu
aus
Shanxi
Berichter: Universitatsprofessor Dr.-Ing. Hermann Neyersit Dr. Dekai Wu
Tag der mundlic hen Prufung: 10. September 2010
Diese Dissertation ist auf den Internetseiten der Hochschulbibliothek online verfugbar.Imagination is more important than knowledge. Knowledge is limited. encircles the world.
{ Albert Einstein, 1929Acknowledgments
Appreciation is the best motivation. During my Ph.D. study, I received invaluable ad-
vice and care. Here I would like to express my gratitude to people who supported and
accompanied me along my work.
First, I am deeply indebted to my advisor, Prof. Dr. Hermann Ney, for his constant
support. Without his help, this work would not be possible. He gave me the opportunity
to attend a variety of conferences and the possibility to work for international projects.
The essence of his front and academic attainments and rigorous diligent research style
deeply a ect my future work. Teacher graciousness is unforgettable!
I am very grateful to Prof. Dr. Dekai Wu for agreeing to take time to evaluate this thesis
as a co-referee and for attending my defense in Germany. I would also like to thank the
members of my committee: Prof. Dr. Matthias Jarke and Prof. Dr. Jorgen Giesl. Their
advice and attendance are appreciated.
I am sincerely grateful to Dr. Jianfeng Gao for his scienti c guidance and support all these
years. I am also thankful to Dr. Kristina Toutanova, Dr. Yuqing Gao, Dr. Yonggang
Deng and other researchers at Microsoft and IBM Research for their helps during my
Internships in the United States. Special thanks go to Dr. Werner Hemmert and Prof.
Dr. Klaus Obermayer who supervised my Diploma thesis and led me into the area of
research.
My Ph.D. study turned out to be an unforgettable experience in Aachen, mostly thanks
to the support from my colleagues: Richard Zens, Sharahm Khadivi, Evgeny Matusov,
Christoph Schmidt, Arne Mauser, Yuqi Zhang, Jessica Kikum, Jan Bungeroth, Gregor
Leusch, Sasa Hasan, David Vilar, Bj orn Ho meister, Daniel Keysers and all other indi-
viduals. I would like to greatly thank colleagues who proofread this thesis. I also thank
the machine operators and secretaries of Informatik 6.
At this point, I would like to express my everlasting gratitude to my dearest family:
my father Xihua Xu and my mother Yukun Zhang. Their deepest love, encouragement,
patience, support and education have been accompanied and encouraged me all the time
and are the most precious wealth in my life.
This dissertation is dedicated to all care, help, support and encouragement of my relatives,
teachers, colleagues, students and friends!Abstract
In the last decade, while statistical machine translation has advanced signi cantly, there
is still much room for further improvements relating to many natural language process-
ing tasks such as word segmentation, word alignment and parsing. Human language is
composed of sequences of meaningful units.
These sequences can be words, phrases, sentences or even articles serving as basic elements
in communication and components for computational modeling. However, in monolingual
text some sequences are not naturally separated by delimiters, and in bilingual text both
sequence boundaries and their corresponding translations can be unlabeled. This work
addresses solutions of sequence segmentation and alignment for statistical machine trans-
lation, including the following topics:
Chinese word segmentation: Di erent from the explicit word segmentation in trivial ap-
proaches, I introduce integrated Chinese word segmentation, where segmentation and
alignment of words are trained jointly, and the decoding is performed on the lattice
composed of alternative word segmentations. I show that direct translation on Chinese
characters can achieve even better translation performance than translation on
words;
Phrase training: Currently phrases are extracted in a heuristic way. I propose a mixture
phrase pair model which is trained discriminatively allowing to combine multiple extrac-
tion processes and various resources, especially the underlying word alignment models
discarded in the standard approach;
Parallel sentence exploitation: Training corpus acquisition is crucial for a data-driven
translation system. I propose a maximum-entropy model where document pairs are parti-
tioned recursively into sentence pairs using ’binary segmentation’ without any requirement
on sentence boundary markers;
Domain adaptation: A hierarchical clustering algorithm is applied to classify the training
data into distinct domains. Domain speci c language models and translation models are
then combined to build a domain dependent system, and domain priors are estimated
with a minimum error rate training.
Experimental results on state-of-the-art, large-scale Chinese-English tasks show that the
training speed can be increased with a factor of four and each above mentioned method
leads to an enhancement of the translation quality up to 6% relatively.Zusammenfassung
Menschliche Sprache besteht aus Sequenzen sinnvoller sprachlicher Einheiten. Diese Ein-
heiten k onnen W orter, Phrasen, S atze oder Artikel sein, die als Basiselemente in der Kom-
munikation und als Komponenten fur die maschinelle Modellierung dienen. Aller-dings
sind die De nitionen von einigen Sequenzen wie der von Phrasen und chinesischer W orter
nicht eindeutig, da keine Trennsymbole im Text existiert. Dies stellt eine Anforderung
an viele Sprachverarbeitungsaufgaben dar, zum Beispiel in der maschinellen Ubersetzung.
Wenn ein Text automatisch von einer Sprache in eine andere Sprache ub ersetzt wird, kom-
men die Sequenzen paarweise in beiden Sprachen vor. Eine wesentliche Aufgabe ist die
Erkennung der Sequenzen in der Quellsprache und deren entsprechenden Ubersetzungen.
Diese Arbeit stellt L osungen der Probleme der einsprachigen und zweisprachigen Sequen-
zsegmentierung fur die statistische maschinelle Ubersetzung vor, die sich auf die Seg-
mentierung und Alignierung von W ortern, Phrasen, S atzen und Dokumenten beziehen.
W orter im chinesischen Text sind nicht durch Separatoren getrennt, was die chinesische
Sprache von den meisten europ aischen Sprachen unterscheidet. Ein allgemein verwendeter
Ansatz in der Chinesisch-Englischen Ubersetzung ist die Verwendung von expliziter Wort-
segmentierung, indem die chinesischen W orter erst segmentiert und dann mit dem Stan-
dardverfahren ub ersetzt werden. Diese Art der Wortsegmentierung ist nicht notwendiger-
weise optimal fur die Ubersetzung. Wir setzen eine halb-uberwachte Wortsegmentierung
ein, die einsprachige und zweisprachige Informationen beruc ksichtigt, um eine geeignete
Segmentierung fur die Ubersetzung abzuleiten. Die Alignierung und Segmentierung von
W ortern werden durch das sogenannte Gibbs Sampling" gleichzeitig trainiert. Neue"
W orter werden nach dem Prinzip des Bayes’schen Lernen generiert. Darub er hinaus wer-
den unterschiedliche Wortsegmentierungen in einem Wortgraph repr asentiert und bei der
Suche nach der besten Ubersetzung berucksichtigt. Die Segmentierungsentscheidung ist
auf diese Weise in die Dekodierung integriert.
Die Phrasenpaare, die als Sequenzen von W ortern und deren Ubersetzungen de niert
werden, bilden ein weiteres Kernelement im Aufbau des Ubersetzungssystems. Im Stan-
dardverfahren sind die Phrasenpaare heuristisch extrahiert basierend auf der besten
Wort-alignierung, w ahrend die zugrunde liegende Wortalignierungsmodelle verworfen wer-
den. Um diese Information einzubeziehen, fuhren wir ein Mixture-Modell ein, das un-
terschiedliche Modellableitungen kombiniert. Verschiedene Extrahierungsprozesse und
Ressourcen k onnen zur Generierung der Phrasenpaare beitragen.
Parallele S atze und dom anspezi sche Korpora, die im Training verwendet werden, sind
fur die Leistung des datengetriebenen Ubersetzungssystems von entscheidener Bedeu-
tung. Wir werden daher einen neuartigen Ansatz vorstellen, mit dem wir die satzalig-
nierten Daten erhalten, indem wir die zweisprachigen Dokumente rekursiv in zwei Teile
aufteilen. Diese Methode ub ertri t die Leistung der allgemeinen Satzalignierungsmeth-
oden und setzt keine Ankerw orter an den Satzgrenzen voraus, was besonders interes-
sant fur Transkriptionstext ist. Darub er hinaus fuhrt die Verkurzung von langen Satz-paaren zu einem e zienteren Training und zu einer h oheren Qualitat in der Wortalig-
nierung. Da immer gr ossere Menge an Trainingsdaten einbezogen werden, gibt es einen
gr osseren Bedarf an Domanenanpassungen. Wir diskutieren Clusteralgorithmen, um do-
mainabh angige Sprachmodelle und Ubersetzungssysteme aufzubauen. Die vorgeschla-
gene Methode fordert viel weniger zweisprachige Daten als normalerweise fur den Auf-
bau eines domainabh angigen Systems verwendet werden. Dieses Verfahren ist einfach
und e zient, um viele Dom anen zu erfassen. Abschliessend werden wir die Ergebnisse
der Experimente der oben genannten Methoden vorstellen. Die Qualitat im Bereich der
Chinesisch-Englischen Ubersetzungsaufgaben ist gegenuber dem Stand der Technik sig-
ni kant verbessert worden und das Modelltr