Neural associative memories for language understanding and robot control [Elektronische Ressource] / vorgelegt von Heiner Jens Markert

Sujets

• Informatik

Informations

• Publié par: universitat_ulm
• Publié le: 01 janvier 2008
• Nombre de lectures: 25
• Langue: Deutsch
• Poids de l'ouvrage: 7 Mo

Extrait

Fakultat fur Ingenieurwissenschaften und Informatik
Abteilung Neuroinformatik
Leitung: Prof. Dr. Gunther Palm
Neural Associative Memories for
Language Understanding and Robot
Control
Dissertation
zur Erlangung des akademischen Grades eines
Doktor der Naturwissenschaften
(Dr. rer. nat.)
der Fakultat fur Ingenieurwissenschaften
und Informatik der Universitat Ulm
vorgelegt von
Heiner Jens Markert
aus Bayreuth
August 2008Amtierender Dekan: Prof. Dr. Michael Weber
Gutachter: Prof. Dr. Gunther Palmhter: Prof. Dr. Heiko Neumann
Tag der Promotion: 19. Januar 2009Zusammenfassung
In dieser Arbeit geht es darum, den Inhalt von gesprochenen Satzen mittels im
Computer simulierter biologisch plausibler neuronaler Netzwerke zu verstehen.
Dabei soll die Struktur der Netzwerke die durch die Anatomie von Lebewesen
gegebenen biologischen Vorgaben zumindest in vereinfachter Form widerspie-
geln, kunstlic he Strukturen neuronaler Netze sind also nicht gewunsc ht.
Der erste Teil dieser Arbeit befasst sich daher mit der Entwicklung geeig-
neter neuronaler Modelle. Die Wahl el auf eine assoziative Basis-Struktur, die
als Grundbaustein fur alle hier entwickelten Netzwerke Verwendung ndet. Als
Neuronenmodell wurde ein sehr einfaches spikendes Modell gewahlt, da Neu-
ronen in Lebewesen hauptsachlich mittels einzelner Spikes zu kommunizieren
scheinen und Spikes daher eine der wichtigsten Eigenschaften von Neuronen re-
prasen tieren. Da jedoch im Rahmen dieser Arbeit auch eine e ziente Simulation
der Netzwerke gewunscht ist, um auch den praktischen Einsatz der entwickel-
ten Techniken zu ermoglic hen, durfen die Modelle nicht zu komplex sein. Die
entwickelten Modelle wurden in einer ereignisbasierten Simulationsumgebung,
die eine schnelle Simulation ermoglicht, im Rechner umgesetzt. Die Software
steht zum Download im Internet lizenzfrei bereit.
Basierend auf den entwickelten neuronalen Grundbausteinen wurden unter-
schiedliche Modelle zum Verstehen der Bedeutung von einfachen gesprochenen
Satzen entworfen. \Verstehen von Satzen" bedeutet hierbei jedoch nicht, den
Rohaudiodaten die am besten passenden Worter zuzuordnen, sondern die Mo-
delle setzen einen Punkt spater an und gehen von bereits segmentierten Wortern
als Eingabe aus. Sinn der Modelle ist es dann, die Bedeutung des Satzes zu ver-
stehen und entsprechende Handlungen einzuleiten. Dazu besitzen die Netzwerke
eine Reprasen tation der Grammatik der den Eingaben zugrunde liegenden Spra-
che, sowie weitere Strukturen um die Informationsverarbeitung zu kontrollieren
und die Eingabeworter auf grammatikalische Richtigkeit zu ub erprufen.
Im Allgemeinen werden neuronalen Netzen drei grundsatzlic he Eigenschaf-
ten zugewiesen: Die Fahigkeit, mit Fehlern umzugehen, zu verallgemeinern und
zu lernen. Die hier entwickelten Sprachmodelle zeigen ansatzweise alle diese
Eigenschaften, wobei am meisten Wert auf die Fehlertoleranz gelegt wurde.
Das am weitesten entwickelte Modell erlaubt Fehler sowohl auf der Wortebe-
ne, erzeugt zum Beispiel durch unsauber gesprochene Eingabeworter, als auch
Mehrdeutigkeiten auf grammatikalischer Ebene. Eine grammatikalische Mehr-
deutigkeit ist zum Beispiel dann gegeben, wenn einem Wort seine syntakti-
sche Funktion erst dann eindeutig zugeordnet werden kann, wenn nachfolgende
Worter verarbeitet wurden (dazu mussen mehrere moglic he Zustande ub er einen
iii
langeren Zeitraum reprasentiert werden, was leicht zu Komplikationen fuhren
kann). Ferner verfugen assoziative Modelle ub er die Moglic hkeit zur Genera-
lisierung, denn unbekannte Eingaben, die ahnlich zu Bekannten sind, konnen
korrigiert werden. Die gezeigten Sprachmodelle konnen au erdem zur Laufzeit
neue Objektworter lernen, sind also in begrenztem Ma e lernf ahig.
Die entwickelten Netzwerke wurden auf einem autonomen Roboter einge-
setzt, der gesprochene Befehle erhalt die ihn anweisen, einfache Aufgaben mit
vor ihm auf einem Tisch liegenden Fruchten umzusetzen. Dabei ist nicht nur
das Modul zum Satzverstehen, sondern auch das Steuerungsmodul, welches die
Kontrolle uber die jeweils ausgeubte Aktion hat, mit den hier entwickelten neu-
ronalen Strukturen im Rahmen dieser Dissertation realisiert worden. Auch die
Worterkennung, also die Vorverarbeitung vor dem Satzverstehen, benutzt sehr
ahnlic he neuronale Strukturen, ist jedoch nicht im Rahmen dieser Arbeit ent-
wickelt worden.
Die Umsetzung auf dem Roboter zeigt eindrucksvoll die Funktionalitat des
entwickelten Ansatzes auch im praktischen Gebrauch. Durch die e ziente Um-
setzung mittels ereignisbasierter Simulation erreicht die Software fast Echtzeit-
eigenschaften, wobei die Netzwerke verteilt auf zwei herkommlic hen Laptops
simuliert wurden.Summary
This work deals with the understanding of sentences using biologically plausi-
ble mechanisms, i.e. neural networks, the e cient simulation of them and the
integration and application of neural networks on an autonomous agent.
In the context of this work, biologically plausible means that the sentence
understanding process is performed by arti cial neural networks, and that the
network design, i.e., connectivity structure and neuron type, is chosen in order
to represent simpli ed variants of biological neural networks or at least to re ect
the most basic properties of them.
The rst part of the work introduces and develops appropriate neural meth-
ods. An associative structure has been chosen as basic building block for the
networks, as many brain researchers believe that such structures exist in an-
imal’s brains. The neuron model is a strongly simpli ed spiking neuron type
that has been chosen for two reasons: First, biological nerve cells (neurons) ap-
pear to communicate to each other mainly by spikes, justifying the selection of
a spiking model, and second, e cient simulation of the networks in a computer
should be possible, a constraint which does not allow for too complex neural
models. An event-driven simulation scheme that allows for high-performance
simulations of the networks has successfully been implemented and utilized.
Sentence understanding in the context of this work means to interpret the
meaning of a sentence after the single words have already been understood,
in contrast to speech recognition, where the assignment of likely spoken words
to raw audio data is considered. This thesis deals with semantic and syntax
of sentences, and implements networks of neural associative memory suitable
for sentence understanding. The networks most important part is a grammar
module that represents grammatical structures of the language that is to be
understood, and several additional to control the ow of information
and to validate the incoming word stream against that grammar.
In general, neural networks are supposed to be fault tolerant and to allow
for generalization and adaptation to changing scenarios. These core features
of neural structures are re ected in the designed language models, where the
most emphasis has been given to fault tolerance. The mostly evolved network
presented here is able to deal with ambiguities on the single word level (e.g.
a mixture between \ball" and \wall" caused by an unclear pronunciation of
\ball") and ambiguities on the grammar level, meaning that during the parsing
process of a sentence the syntactical role of each single word must not always
be uniquely determined as soon as the word enters the system (e.g., the rst
occurrence of \orange" in \bot show orange orange" might be an adjective
iiiiv
as well as an object, which can not be decided before the second instance
of \orange" enters the system). Generalization capabilities are available by
the associative memories that always perform pattern completion and tend to
activate word representations that match closely to the input, even if the input
has never been seen before. Furthermore, it is possible to add novel object words
to the network during performance, implementing basic learning capabilities.
In order to demonstrate the exibility, performance and practical useful-
ness of the approach, the language networks have been integrated into an au-
tonomous agent. The robot is supposed to perform simple actions with fruits
lying on a table in front of it, and is controlled by spoken command sentences.
The associative neural network structure developed in the rst part of this work
is used to implement the sentence understanding network as well as a simple
action planning module integrated into the robot. A similar architecture has
also been used for the speech (word) recognition software, however, the word
recognizer is not part of this thesis.
Using the neural networks within the robot showed that the simulator is fast
enough to control the robot and understand input sentences in almost real time,
where the simulation has been performed on two networked standard laptop
machines, showing the high performance and functionality of the implemented
solution successfully.Acknowledgments
I would like to thank everyone who contributed to this work and helped and
supported me during the time it took to complete this thesis.
My deepest gratitude goes to my adviser Prof. Dr. Gun ther Palm for sup-
porting this work with his interesting ideas and suggestions and for his en-
thusiasm to discuss almost every question