A framework for dynamically adaptable augmented reality systems [Elektronische Ressource] / Thomas Reicher

Sujets

• Informatik

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2004
• Nombre de lectures: 11
• Langue: English
• Poids de l'ouvrage: 4 Mo

Extrait

A Framework
for Dynamically Adaptable
Augmented Reality Systems
Thomas Reicher
Institut fur¨ Informatik
Technische Universit¨at Munchen¨c
c c cInstitut fur¨ Informatik
c c c cc c
c c cder Technischen Universit¨at Munch¨ en c c c c
c c c
A Framework for Dynamically
Adaptable Augmented Reality Systems
Thomas Reicher
Vollst¨andigerAbdruckdervonderFakult¨atfur¨ InformatikderTechnischenUniversit¨at
Mu¨nchen zur Erlangung des akademischen Grades eines
Doktors der Naturwissenschaften (Dr. rer. nat.)
genehmigten Dissertation.
Vorsitzender: Univ.-Prof. Dr. Christoph Zenger
Pruf¨ er der Dissertation:
1. Univ.-Prof. Bernd Bru¨gge, Ph.D.
2. Univ.-Prof. Gudrun J. Klinker, Ph.D.
3. Univ.-Prof. Dr. Dr. h.c. Manfred Broy
Die Dissertation wurde am 27.11.2003 bei der Technischen Universit¨at Mun¨ chen
eingereicht und durch die Fakult¨at fur¨ Informatik am 16.04.2004 angenommen.iiAbstract
In this dissertation I present a software framework for adaptable Augmented Real-
ity systems in intelligent environments: the Distributed Wearable Augmented Reality
Framework (DWARF). The framework is a reusable basis for the development of Aug-
mented Reality applications and gives developers a system structure to customize
existing or develop new components.
Augmented Reality is a human-computer interaction paradigm offering users new
possibilities to interact with their environment. By tracking the position and viewing
direction of the user and of real world objects in the environment, real world objects
can be augmented with virtual objects. The most prominent example is the overlay
of real world objects with computer graphics in a head-mounted display.
DWARF models Augmented Reality applications in four abstraction layers: ap-
plication layer, inter-application layer, solution domain layer, and architectural style
layer.
For the architectural style layer, I specify a contract-based peer-to-peer style. A
system is a configuration of mutually interdependent distributed services. The con-
nectionsbetweenservicesareestablishedbyanactivemiddlewarebasedonanabstract
service specification. Existing solutions for Augmented Reality are usually designed as
monolithicorclient/serversystems. DWARFusesanextensionofcomponent-oriented
software engineering. Components on the user’s computer and in the environment are
both used as building blocks for Augmented Reality systems. Further on, I extend
the component-based system approach to a service-based approach. An application is
not built from instances of components, but from a configuration of services available
on the user’s computer and in the environment. An active middleware enables the
dynamic adaptation of the system to changes in the environment by a reconfiguration
of the system.
For the solution domain layer, I present an abstract reference architecture and a
system of patterns for Augmented Reality systems. The foundation for them is a
broad analysis of existing Augmented Reality systems.
Finally, as a case study for the applicability of the framework, I present the sub
3framework M ARF for mobile maintenance systems and a navigation application as
part of such a mobile Augmented Reality maintenance system, DWARF Pathfinder.
This case study covers the application layer, the inter-application layer, and the solu-
tion domain layer.
iiiKurzfassung
Diese Dissertation stellt ein Softwaregeru¨st fur¨ anpassbare Systeme der Erweiterten
Realit¨at in intelligenten Umgebungen vor: das Distributed Wearable Augmented Re-
ality Framework (DWARF). Dieses Framework ist eine wieder verwendbare Basis zur
Entwicklung von Anwendungen der Erweiterten Realit¨at und gibt Entwicklern ein
Geru¨st vor, um existierende Komponenten anzupassen oder eigene hinzuzufu¨gen.
Erweiterte Realit¨at (Augmented Reality) ist ein Interaktionsparadigma, das Be-
nutzern neue M¨oglichkeiten zur Interaktion mit ihrer Umgebung erm¨oglicht. Durch
das Verfolgen von Position und Blickrichtung der Benutzer und realer Objekte in
der Umgebung, kann die Welt der realen Objekte durch virtuelle Objekte erweitert
¨werden. Das bekannteste Beispiel ist die Uberlagerung von realen Objekten und Com-
putergrafik in einer Datenbrille (Head-mounted Display).
DWARF beschreibt Anwendungen der Erweiterten Realit¨at auf vier Abstraktions-
schichten: Applikationsschicht, Interapplikationsschicht, L¨osungsraumschicht und die
Schicht des Architekturstils.
Fu¨r die Schicht des Architekturstils schlage ich einen vertragsbasierten Peer-to-
Peer-Architekturstil vor. Ein System besteht aus einer Konfiguration von gegenseitig
abh¨angigen verteilten Diensten. Der Aufbau von Verbindungen zwischen Diensten er-
folgt durch eine aktive Middleware, die auf der Basis von Dienstbeschreibungen die
Verknup¨ fungen herstellt. Bisherige L¨osungen fur¨ Erweiterte Realit¨atssysteme sind
meist entweder monolithisch oder als Client/Server-System aufgebaut. DWARF ver-
wendet eine Erweiterung der komponentenorientierten Softwareentwicklung. Kom-
ponenten auf dem Anwenderrechner und in der Umgebung werden gleichberechtigt
als Systembausteine verwendet. Zudem erweitere ich den komponentenorientierten
Ansatz zu einem dienstorientierten Ansatz. Eine Anwendung besteht nicht aus In-
stanzen von Komponenten, sondern aus einer Konfiguration von Diensten auf dem
Anwenderrechner und Diensten in der Umgebung der Anwenders. Eine aktive Middle-
¨ware erm¨oglicht die dynamische Anpassung an Anderungen in der Umgebung durch
eine Umkonfiguration des Systems.
Fu¨r die L¨osungsraumschicht gebe ich eine abstrakte Referenzarchitektur und ein
System von Entwurfsmustern fu¨r Systeme der Erweiterten Realit¨at an. Grundlage ist
eine umfassende Analyse von bestehenden Systemen.
Schließlich gebe ich als Fallstudie fur¨ die Anwendbarkeit des Frameworks das Teil-
3framework M ARF fur¨ mobile Wartungssysteme und eine darauf aufbauende Navi-
vgationsanwendung als Teil eines solchen mobilen Wartungssystems an, DWARF Path-
finder. Diese Fallstudie umfasst die Applikationsschicht, die Interapplikationsschicht
und die L¨osungsraumschicht.
viPreface
The history of the DWARF project The starting point of developing an Augmented
Reality system at the Technische Universit¨at Mun¨ chen was the course “Erweiterte
Realit¨at: Bildbasierte Modellierung und Tragbare Computer”. It was part of the 1999
summer school organized by the Technische Universit¨at Munc¨ hen and the Friedrichs-
Alexander Universit¨at Erlangen-Nur¨ nberg. Prof. Bernd Brugge¨ and Prof. Gudrun
Klinker had the vision that software engineering and Augmented Reality would have
a stimulating influence on each other.
There, the idea was born to develop an own Augmented Reality system based on
modernsoftwareengineeringconcepts. TheprojectnamewasDWARFforDistributed
Wearable Augmented Reality Framework.
The DWARF project started in earnest in spring 2000 and resulted in the first
DWARF application, DWARF Pathfinder. It was demonstrated successfully in fall
2000. After that, the DWARF framework became the basis for several other Aug-
mented Reality student projects at the Technische Universit¨at.
But now DWARF has become a complex framework. It is the result of apply-
ing software engineering to develop a reusable framework for adaptable mobile Aug-
mented Reality systems in ubiquitous computing environments. Since the first version
of DWARF, a lot of development work and improvement has beeb done by several
people on each of the different layers of the framework. There are several remaining
researchissueswhicharethesesoftheirown. However,thebasicconceptofDWARFas
distributed service-based system is still the same, and has proven valid for Augmented
Reality system design.
Acknowledgements Iwouldliketothankallpeoplethatsupportedme,andapologize
to all which I had not enough time for.
The people I want to thank first are the original members of the DWARF team
(the “seven dwarfs”): Martin Bauer, Asa MacWilliams, Florian Michahelles, Stefan
Riß, Christian Sandor, Martin Wagner, and Bernhard Zaun. Without their efforts
and talent, DWARF never would have been as successful as it appears to be now.
The collaboration with them in the DWARF team has always been very enjoyable. In
particular I want to thank Asa, who is the one who shares my interests and visions in
respect to software architectures for Augmented Reality.
viiNext, I want to thank Prof. Bernd Bru¨gge and Prof. Gudrun Klinker who had the
initial idea to implement a mobile Augmented Reality system as part of an intelligent
building. TheirconceptsforintelligentbuildingsdevelopedwithintheOWLprojectat
the Carnegie Mellon University, Pittsburgh and the Technische Universit¨at Mu¨nchen,
andthevisionofAugmented-Reality-readybuildings,developedintotheideaofacom-
pletely distributed peer-to-peer Augmented Reality system. This concept has shown
to be very flexible and open for future enhancements.
For the reading and the many valuable comments on previous versions of this work,
I want to thank Prof. Bernd Bru¨gge, Prof. Gudrun Klinker, and the former dwarfs
and now colleagues Asa, the two