Interacting through the display [Elektronische Ressource] : a new model for interacting on and across external displays / vorgelegt von Sebastian Boring

Sebastian Boring

Sujets

• Mathematics

Informations

• Publié par: ludwig-maximilians-universitat_munchen
• Publié le: 01 janvier 2010
• Nombre de lectures: 10
• Langue: English
• Poids de l'ouvrage: 19 Mo

Extrait

INTERACTING ”THROUGH THE DISPLAY”
A New Model for Interacting on and
Across External Displays
DISSERTATION
an der Fakultät für Mathematik, Informatik und Statistik
der Ludwig-Maximilians-Universität München
vorgelegt von
Diplom-Medieninformatiker
SEBASTIAN BORING
München, den 11. Juni 2010INTERACTING ”THROUGH THE DISPLAY”
A New Model for Interacting on and
Across External Displays
DISSERTATION
an der Fakultät für Mathematik, Informatik und Statistik
der Ludwig-Maximilians-Universität München
vorgelegt von
Diplom-Medieninformatiker
SEBASTIAN BORING
München, den 11. Juni 2010iv
Erstgutachter: Prof. Dr. Andreas Butz
Zweitgutachter: Prof. Dr. Patrick Baudisch
Drittgutachter: Dr. Rafael ’Tico’ Ballagas
Tag der mündlichen Prüfung: 19. Juli 2010Abstract v
ABSTRACT
The increasing availability of displays at lower costs has led to a proliferation of such in our
everyday lives. Additionally, mobile devices are ready to hand and have been proposed as inter-
action devices for external screens. However, only their input mechanism was taken into account
without considering three additional factors in environments hosting several displays: first, a con-
nection needs to be established to the desired target display (modality). Second, screens in the
environment may be re-arranged (flexibility). And third, displays may be out of the user’s reach
(distance). In our research we aim to overcome the problems resulting from these characteristics.
The overall goal is a new interaction model that allows for (1) a non-modal connection mech-
anism for impromptu use on various displays in the environment, (2) interaction on and across
displays in highly flexible environments, and (3) interacting at variable distances. In this work
we propose a new interaction model called through the display interaction which enables users
to interact with remote content on their personal device in an absolute and direct fashion.
To gain a better understanding of the effects of the additional characteristics, we implemented
two prototypes each of which investigates a different distance to the target display: LucidDisplay
allows users to place their mobile device directly on top of a larger external screen. MobileVue
on the other hand enables users to interact with an external screen at a distance. In each of these
prototypes we analyzed their effects on the remaining two criteria – namely the modality of the
connection mechanism as well as the flexibility of the environment.
With the findings gained in this initial phase we designed Shoot & Copy, a system that allows
the detection of screens purely based on their visual content. Users aim their personal device’s
camera at the target display which then appears in live video shown in the viewfinder. To select an
item, users take a picture which is analyzed to determine the targeted region. We further extended
this approach to multiple displays by using a centralized component serving as gateway to the
display environment. In Tap & Drop we refined this prototype to support real-time feedback.
Instead of taking pictures, users can now aim their mobile device at the display resulting and
start interacting immediately. In doing so, we broke the rigid sequential interaction of content
selection and content manipulation. Both prototypes allow for (1) connections in a non-modal
way (i.e., aim at the display and start interacting with it) from the user’s point of view and (2)
fully flexible environments (i.e., the mobile device tracks itself with respect to displays in the
environment). However, the wide-angle lenses and thus greater field of views of current mobile
devices still do not allow for variable distances. In Touch Projector, we overcome this limitation
by introducing zooming in combination with temporarily freezing the video image.
Based on our extensions to taxonomy of mobile device interaction on external displays, we cre-
ated a refined model of interacting through the display for mobile use. It enables users to interact
impromptu without explicitly establishing a connection to the target display (non-modal). As the
mobile device tracks itself with respect to displays in the environment, the model further allows
for full flexibility of the environment (i.e., can be re-arranged without affecting on the
interaction). And above all, users can interact with external displays regardless of their actual
size at variable distances without any loss of accuracy.Zusammenfassung vii
ZUSAMMENFASSUNG
Die steigende Verfügbarkeit von Bildschirmen hat zu deren Verbreitung in unserem Alltag ge-
führt. Ferner sind mobile Geräte immer griffbereit und wurden bereits als Interaktionsgeräte für
zusätzliche Bildschirme vorgeschlagen. Es wurden jedoch nur Eingabemechanismen berücksich-
tigt ohne näher auf drei weitere Faktoren in Umgebungen mit mehreren Bildschirmen einzuge-
hen: (1) Beide Geräte müssen verbunden werden (Modalität). (2) Bildschirme können in solchen
Umgebungen umgeordnet werden (Flexibilität). (3) Monitore können außer Reichweite sein (Di-
stanz). Wir streben an, die Probleme, die durch diese Eigenschaften auftreten, zu lösen. Das über-
geordnete Ziel ist ein Interaktionsmodell, das einen nicht-modalen Verbindungsaufbau für spon-
tane Verwendung von Bildschirmen in solchen Umgebungen, (2) Interaktion auf und zwischen
Bildschirmen in flexiblen Umgebungen, und (3) Interaktionen in variablen Distanzen erlaubt.
Wir stellen ein Modell (Interaktion durch den Bildschirm) vor, mit dem Benutzer mit entfernten
Inhalten in direkter und absoluter Weise auf ihrem Mobilgerät interagieren können.
Um die Effekte der hinzugefügten Charakteristiken besser zu verstehen, haben wir zwei Proto-
typen für unterschiedliche Distanzen implementiert: LucidDisplay erlaubt Benutzern ihr mobiles
Gerät auf einen größeren, sekundären Bildschirm zu legen. Gegensätzlich dazu ermöglicht Mo-
bileVue die Interaktion mit einem zusätzlichen Monitor in einer gewissen Entfernung. In beiden
Prototypen haben wir dann die Effekte der verbleibenden zwei Kriterien (d.h. Modalität des Ver-
bindungsaufbaus und Flexibilität der Umgebung) analysiert.
Mit den in dieser ersten Phase erhaltenen Ergebnissen haben wir Shoot & Copy entworfen. Die-
ser Prototyp erlaubt die Erkennung von Bildschirmen einzig über deren visuellen Inhalt. Benutzer
zeigen mit der Kamera ihres Mobilgeräts auf einen Bildschirm dessen Inhalt dann in Form von
Video im Sucher dargestellt wird. Durch die Aufnahme eines Bildes (und der darauf folgenden
Analyse) wird Inhalt ausgewählt. Wir haben dieses Konzept zudem auf mehrere Bildschirme er-
weitert, indem wir eine zentrale Instanz verwendet haben, die als Schnittstelle zur Umgebung
agiert. Mit Tap & Drop haben wir den Prototyp verfeinert, um Echtzeit-Feedback zu ermögli-
chen. Anstelle der Bildaufnahme können Benutzer nun ihr mobiles Gerät auf den Bildschirm
richten und sofort interagieren. Dadurch haben wir die strikt sequentielle Interaktion (Inhalt aus-
wählen und Inhalt manipulieren) aufgebrochen. Beide Prototypen erlauben bereits nicht-modale
Verbindungsmechanismen in flexiblen Umgebungen. Die in heutigen Mobilgeräten verwende-
ten Weitwinkel-Objektive erlauben jedoch nach wie vor keine variablen Distanzen. Mit Touch
Projector beseitigen wir diese Einschränkung, indem wir Zoomen in Kombination mit einer vor-
übergehenden Pausierung des Videos im Sucher einfügen.
Basierend auf den Erweiterungen der Klassifizierung von Interaktionen mit zusätzlichen Bild-
schirmen durch mobile Geräte haben wir ein verbessertes Modell (Interaktion durch den Bild-
schirm) erstellt. Es erlaubt Benutzern spontan zu interagieren, ohne explizit eine Verbindung zum
zweiten Bildschirm herstellen zu müssen (nicht-modal). Da das mobile Gerät seinen räumlichen
Bezug zu allen Bildschirmen selbst bestimmt, erlaubt unser Modell zusätzlich volle Flexibilität
in solchen Umgebungen. Darüber hinaus können Benutzer mit zusätzlichen Bildschirmen (unab-
hängig von deren Größe) in variablen Entfernungen interagieren.viii ZusammenfassungPreface ix
PREFACE
This dissertation has been written in partial fulfillment of the requirements for the Degree of
Doctor of Natural Sciences in the Department of Mathematics, Informatics and Statistics at the
University of Munich (Ludwig-Maximilians-Universität München). I was a graduate student at
the chair for Media Informatics (LFE Medieninformatik) from April 2006 until July 2010 where
I conducted most of the research presented in this dissertation.
During my time as a graduate student I also had the opportunity to collaborate with researchers
from the University of Oulu, Finland and in particular with Marko Jurmu. We spent 13 months
(five in Oulu and eight in Munich) investigating possibilities mobile devices as interaction devices
for external displays. That time was a priceless experience for me, broadening my understanding
mostly from the technical point of view. However, the prototypes developed in collaboration are
part of this thesis with a strong focus on the interaction. Furthermore, I had the chance – for a
short but inv