Bringing the physical to the digital [Elektronische Ressource] : a new model for tabletop interaction / vorgelegt von Otmar Hilliges

Otmar Hilliges

Sujets

• Mathematics

Informations

• Publié par: ludwig-maximilians-universitat_munchen
• Publié le: 01 janvier 2009
• Nombre de lectures: 21
• Langue: English
• Poids de l'ouvrage: 6 Mo

Extrait

BringingthePhysicaltotheDigital:
ANewModelforTabletopInteraction
OtmarHilliges
München2009BringingthePhysicaltotheDigital:
ANewModelforTabletopInteraction
OtmarHilliges
Dissertation
an der Fakultät für Mathematik, Informatik und Statistik
der Ludwig-Maximilians-Universität München
vorgelegt von
Otmar Hilliges
aus München
München, den 19. Januar 2009iv
Erstgutachter: Prof. Dr. Andreas Butz
Zweitgutachter: Prof. Dr. Sheelagh Carpendale
Drittgutachter: Dr. Shahram Izadi
Viertgutachter: Dr. Andrew D. Wilson
Tag der mündlichen Prüfung: 22. Juli 2009Abstract v
Abstract
This dissertation describes an exploration of digital tabletop interaction styles, with the ultimate
goal of informing the design of a new model for tabletop interaction. In the context of this thesis
the term digital tabletop refers to an emerging class of devices that afford many novel ways of
interaction with the digital. Allowing users to directly touch information presented on large,
horizontal displays. Being a relatively young field, many developments are in flux; hardware
and software change at a fast pace and many interesting alternative approaches are available
at the same time. In our research we are especially interested in systems that are capable of
sensing multiple contacts (e.g., fingers) and richer information such as the outline of whole hands
or other physical objects. New sensor hardware enable new ways to interact with the digital.
When embarking into the research for this thesis, the question which interaction styles could
be appropriate for this new class of devices was a open question, with many equally promising
answers.
Many everyday activities rely on our hands ability to skillfully control and manipulate physi-
cal objects. We seek to open up different possibilities to exploit our manual dexterity and provide
users with richer interaction possibilities. This could be achieved through the use of physical
objects as input mediators or through virtual interfaces that behave in a more realistic fashion.
In order to gain a better understanding of the underlying design space we choose an approach
organized into two phases. First, two different prototypes, each representing a specific interaction
style – namely gesture-based interaction and tangible interaction – have been implemented. The
flexibility of use afforded by the interface and the level of physicality afforded by the interface
elements are introduced as criteria for evaluation. Each approaches’ suitability to support the
highly dynamic and often unstructured interactions typical for digital tabletops is analyzed based
on these criteria.
In a second stage the learnings from these initial explorations are applied to inform the de-
sign of a novel model for digital tabletop interaction. This model is based on the combination
of rich multi-touch sensing and a three dimensional environment enriched by a gaming physics
simulation. The proposed approach enables users to interact with the virtual through richer quan-
tities such as collision and friction. Enabling a variety of fine-grained interactions using multiple
fingers, whole hands and physical objects.
Our model makes digital tabletop interaction even more “natural”. However, because the
interaction – the sensed input and the displayed output – is still bound to the surface, there is a
fundamental limitation in manipulating objects using the third dimension. To address this issue,
we present a technique that allows users to – conceptually – pick objects off the surface and
control their position in 3D. Our goal has been to define a technique that completes our model
for on-surface interaction and allows for “as-direct-as possible” interactions. We also present
two hardware prototypes capable of sensing the users’ interactions beyond the table’s surface.
Finally, we present visual feedback mechanisms to give the users the sense that they are actually
lifting the objects off the surface.vi Abstract
This thesis contributes on various levels. We present several novel prototypes that we built and
evaluated. We use these prototypes to systematically explore the design space of digital tabletop
interaction. The flexibility of use afforded by the interaction style is introduced as criterion
alongside the user interface elements’ physicality. Each approaches’ suitability to support the
highly dynamic and often unstructured interactions typical for digital tabletops are analyzed. We
present a new model for tabletop interaction that increases the fidelity of interaction possible in
such settings. Finally, we extend this model so to enable as direct as possible interactions with
3D data, interacting from above the table’s surface.Zusammenfassung vii
Das Thema dieser Dissertation ist die Erforschung von Interaktionsstilen für digitale Tabletop-
Computer. Das ultimative Ziel ist ein neues Interaktionsmodel für die Tabletopinteraktion. Im
Rahmen dieser Arbeit steht der Begriff ‘digital tabletop’ für eine neue, aufstrebende Klasse von
Geräten die viele neue Arten mit digitalen Inhalten zu interagieren ermöglicht. Eine von
Geräten, die es Benutzern erlauben direkt mit digitaler Information zu interagieren die auf großen,
horizontalen Bildschirmen angezeigt wird. Da es sich um ein relativ junges Forschungsgebiet
handelt, sind viele Entwicklungen im Fluss. Hardware und Software entwickeln sich mit hoher
Geschwindigkeit und zurzeit gibt es viele unterschiedliche, teilweise konkurrierende Ansätze.
Von zentralem Interesse für unsere Forschung sind Geräte die in der Lage sind mehrere Kon-
taktpunkte (z.B. Fingerspitzen) aber auch weitergehende Informationen wie Umrisse von ganzen
Händen oder anderen Objekten zu erfassen.
Wenn wir Objekte in der physikalischen Welt manipulieren, profitieren wir dabei von der
Geschicklichkeit unserer Hände. In dieser Arbeit wird versucht diese händische Geschicklichkeit
auszunutzen um dem Benutzer vielfältigere Interaktionsmöglichkeiten zu eröffnen. Dies ließe
sich zum Beispiel durch physikalische Objekte als Interaktionsmedium erreichen, oder durch die
Verwendung von virtuellen Objekten, deren Verhalten stärker dem realer Objekte ähnelt.
Wir haben einen Forschungsansatz gewählt der sich in zwei Phasen einteilen lässt, um ein
besseres Verständnis der Materie zu erlangen. In einer ersten Phase wurden zwei Interaktions-
stile anhand von Prototypen untersucht. Einerseits gestenbasierte Interaktion und andererseits
Interaktion mit Hilfe von physikalischen Objekten (‘tangible interaction’). Die Flexibilität und
Physikalität dieser Lösungsansätze wird als Kriterium definiert um die Interaktionsstile zu be-
werten. Darauffolgend werden die beiden Paradigmen auf Ihre Tauglichkeit als generelle Inter-
aktionsmodelle hin untersucht.
In der zweiten Phase werden die gewonnenen Erkenntnisse als Grundlage für die Entwick-
lung eines neuen Modells für Tabletop-Interaktion verwendet. Dieses Modell kombiniert fortge-
schrittene multi-touch Sensortechnik mit einer virtuellen 3D-Welt, deren Objekte von einer Phy-
siksimulation aus dem Computerspielebereich kontrolliert werden. Der vorgeschlagene Ansatz
erlaubt es Benutzern mit virtuellen Objekten zu interagieren in dem Konzepte die aus der rea-
len Welt bekannt sind, wie z.B. Kollisionen und Reibung, angewendet werden. Dadurch werden
eine Reihe von komplexen Interaktionen ermöglicht, zum Beispiel Interaktionen mit mehreren
Fingern gleichzeitig, mit der ganzen Hand oder durch Verwendung von physikalischen Objekten.
Das Modell stellt einen Schritt in Richtung noch natürlicherer und intuitiverer Tabletop-
Interaktionen dar. Allerdings sind die vom System wahrgenommenen Benutzeraktionen und die
angezeigten Informationen nach wie vor an die Displayoberfläche gebunden. Dadurch ergibt sich
eine tiefgreifende Einschränkung bei der Manipulation von dreidimensionalen (3D) Objekten.
Um diese Problem zu adressieren, wird eine Technik vorgestellt die es erlaubt Objekte - kon-
zeptionell – vom Tisch aufzuheben und daraufhin deren Position im 3D Raum zu bestimmen.
Hierbei war unser Ziel das ursprüngliche Modell zu ergänzen und eine Interaktionstechnik zu
entwerfen, die es erlaubt so direkt wie nur möglich mit virtuellen Objekten zu interagieren. Um
dies zu bewerkstelligen wurden zwei neue Hardwareprototypen entwickelt, die es ermöglichenviii Zusammenfassung
Benutzerinteraktion zu messen die in größerer Entfernung von der Displayoberfläche stattfin-
det. Darüber hinaus werden visuelle Feedbackmechanismen vorgestellt die die Illusion erzeugen
sollen, dass der Benutzer die virtuellen Objekte tatsächlich von der Oberfläche aufhebt.
Diese Dissertationsschrift leistet auf mehreren Ebenen einen wissenschaftlichen Beitrag.
Mehrere neuartige Prototypen werden vorgestellt die während den Forschungsarbeiten erstellt
und evaluiert wurden. Diese Prototypen werden verwendet um systematisch den Designspace zu
erforschen. Dabei werden die Flexibiltät in der Benutzung und die vermittelte Physikalität als Kri-
terien verwendet. Die betrachteten Interaktionsstile werden daraufhin untersucht, ob sie die hoch
dynamischen und oft unstrukturierten Interaktionen unterstützen die typisch sind für Tablet