Conversation-and-control [Elektronische Ressource] : extending speech controlled graphical user interfaces / Andreas Löhr

Andreas Loehr

Sujets

• Informatik

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2006
• Nombre de lectures: 42
• Langue: Deutsch
• Poids de l'ouvrage: 3 Mo

Extrait

InstitutfürInformatikderTechnischenUniversitätMünchen
Conversation and Control
ExtendingSpeech controlledGraphicalUserInterfaces
AndreasLöhr
VollständigerAbdruckdervonderFakultätfürInformatikderTechnischenUniversität
MünchenzurErlangungdesakademischenGradeseines
DoktorsderNaturwissenschaften(Dr. rer. nat.)
genehmigtenDissertation.
Vorsitzender: Univ. Prof. Dr. JürgenSchmidhuber
PrüferderDissertation:
1. Univ. Prof. BerndBrügge,Ph.D.
2. Prof. DanielP.Siewiorek,Ph.D.
CarnegieMellonUniversity,Pittsburgh/USA
DieDissertationwurdeam21.6.2006beiderTechnischenUniversitätMünchen
eingereichtunddurchdieFakultätam11.9.2006angenommen.Zusammenfassung
Die heutigen Standardeingabegeräte für graphische Benutzeroberflächen, Maus und Tastatur,
können von Benutzern, deren motorische Fähigkeiten beeinträchtigt sind, nicht verwendet
werden. Beispiele hierfür sind Benutzer mit krankheitsbedingt eingeschränkter Motorik
und Benutzer in Anwendungsdomänen mit manuellen Tätigkeiten. Die vorliegende Arbeit
beschäftigtsichmitdemForschungsgebietsprachgesteuertegraphischeBenutzeroberflächen,
welches durch den Einsatz von Sprache als Eingabemodalität für graphische Benutzerober-
flächennachLösungenfürdiesesProblemsucht.
Der Stand der Forschung wird zunächst in zwei Gruppen eingeteilt: sprachbasierte
Mausemulation und Kommando und Steuerung . Sprachbasierte Mausemulation verwendet
Sprachkommandos zur Emulation der Mausfunktionen, bzw. der Tastatur. Der Benutzer
kann mittels Sprachkommandos indirekt über die Funktionen des Mauszeigers graphische
Objekte manipulieren. K verwendet Sprachkommandos zur direk
tenSteuerungderinteraktivenFunktionalitätvongraphischenObjekten.
Sprachbasierte Mausemulation ist durch die betriebssystemweit verfügbaren Funktionen
des Mauszeigers universell anwendbar, während die Sprachkommandos für Kommando und
SteuerungvomjeweilszusteuerndengraphischenObjektexplizitunterstütztwerdenmüssen.
SprachbasierteMausemulationerfordertmehrInteraktiondurchdenBenutzeralsKommando
und Steuerung, somit können Aufgaben mittels Kommando und Steuerung schneller ausge
führtwerden. DiemittelsKommando und SteuerungerreichtenAusführungzeitensindjedoch
derzeit noch um mindestens 50% höher als die Ausführungszeiten, die mit mausgesteuerten
graphischenOberflächenerreichtwerden.
Um die Ausführungzeiten mittels Kommando und Steuerung zu verkürzen, schlägt diese
Dissertation den Ansatz Konversation und Steuerung vor, welcher auf einer Erweiterung von
Kommando und Steuerung durch drei neue Interaktionstechniken, genannt qualifizierte Ak
tivierung, automatische Behebung von Informationsfehlern und qualifizierte Rückmeldung,
beruht. Qualifizierte Aktivierung und automatische Behebung von Informationsfehlern re
duzieren die durchschnittliche Anzahl der benötigten Sprachkommandos, während quali
fizierteRückmeldungaufeineReduzierungderdurchschnittlichenLängederSprachkomman
dos abzielt. Dadurch wird eine der Interaktionszeit erreicht,
wassichineinerreduziertendurchschnittlichenAusführungzeitniederschlägt.
DietheoretischenGrundlagenfürKonversation und Steuerungwerdenvoneinemindieser
Arbeit entwickelten formalen Modell für sprachgesteuerte graphische Oberflächen abgeleitet
und formal verifiziert. Um die Machbarkeit von Konversation und Steuerung zu zeigen
wird auf Basis des formalen Modells ein Implementierungskonzept entworfen und dessen
Realisierung in Form eines Frameworks für Konv beschrieben. Mit
Hilfe des Frameworks wird ein Experiment durchgeführt, womit die formal prognostizierte
Reduzierung der durchschnittlichen Ausführungszeiten empirisch nachgewiesen wird. Das
Framework diente ferner als Grundlage für die Erstellung von prototypischen Anwendun
gen mit graphischen Oberflächen aus der Anwendungsdomäne Mobile Wartung, welche
Konversation und Steuerungunterstützen.Abstract
Todays standard input devices for graphical user interfaces, mouse and keyboard, cannot be
utilized by users whose motor functions are limited. Examples include users suffering from
motor restrictions due to illnesses and users in application domains with manual activities.
This dissertation engages in the research area speech controlled graphical user interfaces
which aims at finding a solution to this problem by utilizing speech as input modality for
graphicaluserinterfaces.
Webeginwithdefiningataxonomywhichdifferentiatesthestateoftheartintotwogroups:
speech based mouse emulation and command and control . Speech based mouse emulation
uses spoken commands to emulate the functions of the mouse device (the keyboard, respec
tively). Theusermanipulatesgraphicalobjectsindirectlybythefunctionsofthemousecursor,
which are triggered by spoken commands. Command and control uses spoken commands to
facilitateadirectcontrolofinteractivefunctionsofgraphicalobjects.
Speech based mouse emulation is universally applicable due to the operating system wide
available functions of the mouse cursor, whereas the spoken commands for command and
control must be supported explicitly by each specific graphical object. Speech based mouse
emulation requires more user interaction than command and control. Thus,
control requires less time to complete tasks than speech based mouse emulation. However,
thetaskcompletiontimeswhichcancurrentlybeachievedusingcommand and controlareat
least50%higherthanthetaskcompletiontimeswhichcanbeachievedusingmouse controlled
graphicaluserinterfaces.
For achieving lower task completion times with command and control we propose the ap
proach conversation and control which is based on an extension of command and control by
three new interaction techniques called qualified activation, automatic information error re
covery and qualified feedback. Qualified activation and automatic information error recovery
aim at reducing the average number of necessary spoken commands, and qualified feedback
aimsattheaveragelengthofspokencommands. Thus,weachieveareduc
tionoftheaverageinteractiontimewhichresultsinareductionoftheaveragetaskcompletion
time.
We derive the theoretical concepts for conversation and control from a general model for
speech controlledgraphicaluserinterfaces,whichwehavedevelopedduringthiswork. Inthe
firstinstance,weuseaformalapproachtoverifytheseconcepts. Toshowthepracticalfeasibil
ity of conversation and control, we develop an implementation concept for conversation and
control on the basis of the formal model for speech controlled graphical user interfaces. We
realize the implementation concept in the form of a framework for conversation and control.
Using this framework we conduct an experiment, which provides empirical confirmation of
the formally predicted reduction of the average task completion time of conversation and
controlcomparedtocommand and control. Wefurthermorecreateprototypesofapplications
with graphical user interfaces supporting conversation and control in the application domain
mobilemaintenance.Acknowledgements
ItisapleasuretoexpressmygratitudetothosetowhomIamindebted,directlyandindirectly,
inwritingthisthesis. Firstofall,IamdeeplythankfultomyadvisorProfessorBerndBrügge,
Ph.D.,whosupportedmefromthefirstdayonwemet. HewasalwayssurethatIwascapable
of such a work, especially then, when I was not. I am very grateful to Bernd Brügge for
supportingmyworkineveryaspect,forgivingmetheopportunityandfreedomtorealizemy
ideas, for providing guidance and advice when I needed it, and for teaching me how to do
researchandhowtoexpressmythoughts.
FurtherthanksareduetoProfessorDanielSiewiorek,Ph.D.,whocontributedvaluablefeed
back, suggestions and insights to this work. A great thank also goes to Jim Beck, Ph.D., to
Professor Richard Martin, Ph.D., and to Dr. Horst Mauersberg, who encouraged me and who
made it possible to get involved in the world of research far beyond I ever imagined. Thanks
to Bernd Brügge, to Professor Gudrun Klinker, Ph.D., and to all the comrades in arms for in
teresting discussions and fair comments during doctoral seminars. Many thanks to you, Ralf
PflegharandTobiasWeishäupl,fornotgettingannoyedbymeyellingatmyPC.
My parents and my family have played a major role in successfully finishing the endeavor
of writing this dissertation. Sincere thanks to you, Mom and Dad, for all the continuative
support, not only throughout the last years. My special thank goes to Stephanie Ludwig for
extraordinary patience and appreciation, and for taking care of secular affairs, especially dur-
ing the last weeks of writing. Also, many thanks to my sister and all my friends – you gave
metheopportunitytostepbackandgathernewstrengthsinbadtimes.
ThisthesiswaspartiallysupportedbytheHigh TechOffensivederBayerischenStaatskan
zlei (Projekt UMTS – Mobile Wartung). Thank you, Fuat Atabey, Bernd Brügge, Bernhard
Gruber,VolkerHafner,KorbinianHerrmann,RecepKayali,AsaMacWilliams,HorstMauers
berg, Michael Nagel and Martin Wagner for productive working sessions in which the imple
mentatio