Tangible information displays [Elektronische Ressource] / Florian Echtler

Florian Echtler

Description

dd d dd d d dd dd d dd d d dd d dTangible Information DisplaysFlorian Echtler TECHNISCHE UNIVERSITAT MUNCHENInstitut fur Informatik, Lehrstuhl I16Tangible Information DisplaysFlorian EchtlerVollst andiger Abdruck der von der Fakult at fur Informatik der TechnischenUniversit at Munc hen zur Erlangung des akademischen Grades einesDoktors der Naturwissenschaften (Dr. rer. nat.)genehmigten Dissertation.Vorsitzender: Univ.-Prof. Dr. Rudiger WestermannPrufer der Dissertation: 1. Univ.-Prof. Gudrun J. Klinker, Ph.D.2. Univ.-Prof. Dr. Andreas Butz,Ludwig-Maximilians-Universit at Munc henDie Dissertation wurde am 8.7.2009 bei der Technischen Universit at Munc heneingereicht und durch die Fakult at fur Informatik am 20.11.2009 angenommen.To my parents, without whom this thesis would never have started.To Andrea, without whom it would have ended in the lunatic asylum.ZusammenfassungDas Ziel der vorliegenden Arbeit ist es, eine generische Softwarearchitektur furMulti-Touch und Multi-User Interfaces vorzustellen.In den letzten Jahren hat sich die Forschung im Bereich neuartiger Be-nutzerschnittstellen stetig intensiviert - insbesondere Multi-Touch und Multi-User Interfaces nden immer mehr Beachtung. Ein Grund hierfur ist die zuneh-mende Verfugbark eit praktisch einsetzbarer, erschwinglicher Eingabeger ate.

Sujets

• Wissenschaft

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2009
• Nombre de lectures: 198
• Langue: Deutsch
• Poids de l'ouvrage: 25 Mo

Extrait

Tangible

Information

Florian

tlerhEc

❞

❞

❞❞❞

❞

❞❞❞❞

❞

❞❞❞❞

❞

❞❞

❞❞

ysDispla

TECHNISCHEUNIVERSIT¨ATM¨UNCHEN

Institutf¨urInformatik,LehrstuhlI16

ysDisplaInformationangibleT

hEcFloriantler

Vollst¨andigerAbdruckdervonderFakult¨atf¨urInformatikderTechnischen
Universit¨atM¨unchenzurErlangungdesakademischenGradeseines

DoktorsderNaturwissenschaften(Dr.rer.nat.)

Dissertation.genehmigten

Vorsitzender:Univ.-Prof.Dr.R¨udigerWestermann

Pr¨uferderDissertation:1.Univ.-Prof.GudrunJ.Klinker,Ph.D.

2.Univ.-Prof.Ludwig-Maximilians-UnivDr.AndreasButz,ersit¨atM¨unchen

DieeingereichtDissertationunddurcwurdehdieamFakult¨8.7.2009atf¨urbeiderInformatTecikhniscamhen20.11.2009Universit¨aatMngenommen.¨unchen

oT

To

ym

,stparen

Andrea,

without

without

whom

whom

ti

this

ouldw

thesis

evha

ouldw

ended

ernev

in

the

evha

started.

lunatic

asylum.

Zusammenfassung

DasZieldervorliegendenArbeitistes,einegenerischeSoftwarearchitekturf¨ur
Multi-TouchundMulti-UserInterfacesvorzustellen.
IndenletztenJahrenhatsichdieForschungimBereichneuartigerBe-
nutzerschnittstellenstetigintensiviert-insbesondereMulti-TouchundMulti-
UsermendeInVerfterfaces¨ugbarkfindeneitimmerpraktischmehrBeaceinsetzbarer,htung.erscEinhwinglicGrundherhierf¨urEingabistdieeger¨ate.zuneh-
AufgrunddiesergestiegenenVerbreitungwurdeinwenigenJahreneine
beachtlicheAnzahlverschiedensterAnwendungenf¨urdieseneuartigenEingabe-
ger¨ateentwickelt.VomStandpunkteinesSoftwareentwicklersausbetrachtet
wdieeisenmeistendieseAndieserwSystemeendungenmonojedochlithisceinigehundNachmacteilehenesauf.daherscBeispielswhwierig,eiseihrensind
Quellcodewiederzuverwenden.Auchm¨ussengewisseKernfunktionenwiez.B.
Gestenerkennungimmerwiederneuimplementiertwerden.Zuletztsinddiese
tenAnwundenduk¨ngenonnenh¨nicaufightaufohneeinewbeiteresestimmmitteArteinemvonanderenEingabGer¨ehardwatbenareutztzugescwerden.hnit-
UmdiesenEinschr¨ankungenentgegenzuwirken,wurdeindieserArbeiteine
Softwarearchitekturentworfen,dieeserm¨oglichensoll,beliebigeinteraktive
Anwendungenzumodellieren.AuchwurdealsTeildieserArchitektureine
formaleEineBeschreibungReferenzimplemenf¨urGestentierungfen¨urtwicdkieseelt.ArchitekturistlibTISCH.EinEnt-
wickler,derlibTISCHbenutzt,sollinderRegelnichtmehrZeitf¨urdieEnt-
wicklungeinerneuartigeninteraktivenAnwendungben¨otigenalsf¨ureinkon-
ventionellesgrafischesBenutzerinterface.Dasselbegiltf¨urdieIntegration
neuerSensorhardware-bestehendeAnwendungensollenohneweitereModifi-
kdieationEignvungerwvonendbarlibTISCHsein,fsofern¨ureindieseAufgabpassenderenTzureibunertersuczurVhen,erf¨ugungwurdenstehmehrt.Umere
AnwendungenentwickeltundaufverschiedenerSensorhardwaregetestet.Die
erzieltenErgebnissebelegendieangestrebteFunktionalit¨atimHinblickauf
AnwendungsentwicklungundHardwareintegration.

v

Abstract

Thegoalofthisthesisistoprovideagenericarchitectureandsoftwareframe-
workforgraphicalmulti-touchandmulti-userinterfaces.
Inrecentyears,researchinnoveltypesofcomputer-humaninteraction
hasincreasedconsiderably.Particularlymulti-touchandmulti-userinterfaces
havereceivedalotofinterest,partlyduetotheavailabilityofrobustand
affordablesensorhardware.Thistrendhasbeenacceleratedbytheemergence
ofcommercialproductswhichhavemadetheseinteractionconceptsavailable
toawideuserbaseinasurprisinglyshorttimeframe.
Althoughaconsiderableamountofusefulapplicationshasalreadybeen
writtenbasedonthesenewmodalities,theysharesomedeficienciesfroma
developer’spointofview.Evenwhensourcecodeisavailable,mostofthese
applicationsarewritteninamonolithicfashion,makingreuseofcodedifficult.
Furthermore,theyduplicatelargeamountsofcorefunctionalitysuchasges-
turerecognitionandareoftenlockedtoasingletypeofinputhardware.

Toaddressthislackofreusabilityandportability,alayeredarchitectureis
presentedinthisthesistodescribeaninteractiveapplicationinageneralised
fashion.Aspartofthisarchitecture,aformaldescriptionofgestureswillalso
ecified.spebAreferenceimplementationofthisarchitecture,libTISCH,ispresented.
Whenusingthisframework,adevelopershouldnotrequiremoretimeforcre-
atinganoveluserinterfacethanforaconventionalone.Thesameapplies
tointegrationofnewtypesofinputhardware-existingsoftwareshould“just
work”afterasuitableadapterhasbeenprovided.Anumberofexampleappli-
cationshavebeencreatedwithlibTISCHandtestedonvariousinputsensors.
TheresultsshowthesuitabilityoflibTISCHfortheintendedtasksregarding
softwaredevelopmentandhardwareintegration.

vii

tswledgemenknoAc

Writingathesisthankfullyrequiresnoblood,butasignificantamountofsweat
andatleastsometears(metaphoricallyspeaking).Therefore,Iwouldliketo
thankallthosepeoplewhohavehelpedmeduringthesenearlyfouryears(i.e.,
3years,5monthsandonereallynastyweek).
Firstofall,many,manythanksgotomyadvisor,Prof.GudrunKlinker,for
limitlesssupport,adviceandhelpinpursuingthisthesis.Moreencouragement
towardsandfreedominchoosingaresearchareacanhardlybeimagined.
Iwouldalsoliketothankmysecondadvisor,Prof.AndreasButz,forhis
thought-provokingcommentsandmanyinvaluablelast-minutetips.
SpecialthanksgotomycolleaguesManuelHuberandMarcusT¨onniswho
wsues,erealwaysparticularlyreadythetoreallydiscussesotericandhelpones.withIamanyalsoelectromucnichorobligedmectohanicPeteris-
Bj¨Keitler,ornSchPwatrickerdtfegerMaier,forbSimoneinganNestler,amazingDanielteamtoPustkwa,orkMicwith.haelSchlegeland
Letmeexpressmygratitudetowardsallthosestudentswhohavecon-
MartintributedWtothiseinand,tFhesis:ranziskusAndreasKarsunkDippon,eandNikolasAmirD¨orfler,Beshay.IThomasamPalsoototscindebtedhnig,
toallthosewhosacrificedtheirtimetoreaddraftversionsofthisthesisand
poinMarcustoutT¨somonnis,eofHeiktheeinnKreitmaumerableier,mistakMatthiases:Rahlf,GudrunAndKlinkreaser,DippAndreason,AndreaButz,
EchtlerandespeciallyChrisHodges.
Finally,Iwouldliketothankthosepeopleinmyimmediatevicinitywho
hadtoendurearichvarietyof“thesismoods”,butneverthelesshelpedme
inandwamanysIycouldothers.notLasthavebutimagnotined:least,ISylviawould&likErnstetoEchthanktler,AndreaCarstenEchtlerDlugoscforh
herunendingpatienceandsubtlewaysinsteeringmebacktowardsafinished
thesiswithmysanitystilllargelyintact.

ix

ThisthesiswassupportedbytheBayerischeForschungsstiftungwithin
thescopeofthe“TrackFrame”projectandbytheEurop¨aischeForschungsge-
sellschaftf¨urBlechverarbeitungthroughthe“Kopiertreiben”project.

Thisthesishasentirelybeencreatedwithopen-source1softwaresuchas
LATEX,Evince,make,GIMPandInkscape.Thesoleexceptionisfigure4.4,
whichwasdrawnusingtheEaglefreeware2edition.

spellingAllispictusedureswerethroughoutcreatedthisbydothecumenauthort.unlessnotedotherwise.

x

1heecfree-as-in-sp2eerfree-as-in-b

British

Contsten

ductiontroIn11.1Motivation..............................
1.2Challenges..............................
1.3RelatedAreasofResearch.....................
1.3.1Computer-HumanInteraction...............
1.3.2InputSensorHardware...................
1.3.3SoftwareArchitecturesforInteractiveSystems......
1.4DocumentStructure........................

orkWRelated22.1Computer-HumanInteraction...................
2.1.1InteractionMetaphors...................
2.1.2MultipleOrientations....................
2.1.3Applications.........................
2.2InputSensorHardware.......................
2.2.1MechanicalSensors.....................
2.2.2ElectricalSensors......................
2.2.3AcousticSensors......................
2.2.4OpticalSensors.......................
2.2.5SensorCapabilities.....................
2.3SoftwareArchitecturesforInteractiveSystems..........
2.3.1LayeredArchitectures...................
2.3.2WindowingSystems....................
2.3.3WidgetSetsandToolkits..................
2.3.4ToolkitsandFrameworksforNovelInputDevices....
2.3.5GestureRecognisers....................

xi

12456789

1111121213141415192026272727282829

CONTENTS

3ALayeredArchitectureforInteraction31
3.1Fundamentals............................31
3.1.1Concepts...........................31
3.1.2ArchitectureDesign.....................36
3.2TransportofMotionData.....................38
3.2.1DesignConsiderations...................38
3.2.2LocationTransportProtocol................39
3.3AFormalSpecificationofGestures................40
3.3.1WidgetsandEventHandling...............41
3.3.2AbstractDescriptionofGestures.............42
3.3.3GestureDescriptionProtocol...............50

57areHardwSensor44.1FundamentalTechniques......................57
4.1.1SynchronisedActiveIllumination.............57
4.1.2InterleavingDisjointLightSources............64
4.1.3UsingLEDsasSensors...................65
4.2InteractiveSurfaces.........................67
4.2.1TISCH............................67
4.2.2MiniTISCH.........................72
4.2.3SiViT............................75
4.2.4FlatTouch..........................76
4.2.5LCDwithIR-LEDSensor.................81
4.2.6Visible-lightDisplay&Sensing..............82
4.3CommercialSystems........................84
4.3.1Free-AirHandtracking...................84