Low latency technology for interactive virtual environments [Elektronische Ressource] / vorgelegt von Ingo Assenmacher

Ingo Assenmacher

Sujets

• Informatik

Informations

• Publié par: rheinisch-westfalischen_technischen_hochschule_-rwth-_aachen
• Publié le: 01 janvier 2009
• Nombre de lectures: 10
• Langue: English
• Poids de l'ouvrage: 4 Mo

Extrait

Low Latency Technology for Interactive Virtual
Environments
Von der Fakultät für Mathematik, Informatik und Naturwissenschaften
der Rheinisch-Westfälischen Technischen Hochschule Aachen zur
Erlangung des akademischen Grades eines Doktors der
Naturwissenschaften genehmigte Dissertation
vorgelegt von
Dipl.-Inform.
Ingo Assenmacher
aus Düren
Berichter: Prof. Dr. T. Kuhlen
Prof. Dr. M. Vorländer
Prof. C. Bischof, PhD
Tag der mündlichen Prüfung: 05.02.2009
Diese Dissertation ist auf den Internetseiten der Hochschulbibliothek
online verfügbar.ABSTRACT
Minimizing system latency is a traditionally important topic for the development of
multi-modal Virtual Environments (VE). Human perception thresholds have to be met
in order to create immersive environments with a high degree of believability. The sys-
tem latency has to be in the range of milliseconds, indicating the need for fast interfaces
and low system overhead. This thesis provides a comprehensive approach to the cre-
ation of multi-modal VEs with high requirements on low latencies, abstract and flexible,
yet real-time capable interfaces for device data handling and versatile application sup-
port mechanisms. In that sense it offers a stable software and conceptual basis for the
development of appealing multi-modal environments.
The “Virtueller Kopfhörer” (VirKopf) system is a representative of a demanding multi-
modal environment that was developed as a joint research project between the Institute
of Technical Acoustics and the VR Group at the Department of Computer Science at
RWTH Aachen University. It features binaural acoustics, which enables the placing
of virtual sounds at arbitrary 3-D positions within the scene, even very close to the
user’shead. Headphone-lessreproductionissupportedbydynamiccrosstalkcancellation
(CTC).ThesystemisdesignedforimmersiveCAVE-likeenvironments. Asacostforthis
comprehensivesystem, therequirementsforaprecisesetupandaccuratedataprocessing
have to be respected very carefully. For example, delivering the correct tracking data
with a low latency is most crucial for the successful application of the dynamic CTC. By
using CTC, a sweet spot is created, providing a correct sound field impression for the
user. In a dynamic system, where the user is free to move arbitrarily, this sweet spot
is constantly updated to the current position of the ears of the user, which in term is
determinedbyatrackingdevice. Duetothediscreteprocessing,amisalignmentbetween
theassumedandrealpositionoftheuser’searscanoccur. Amisalignmentbetweenthese
positions of above 1 cm is enough to cause audible artefacts for the listener, disrupting
the 3-D impression of the auralized scene. This is a severe constraint, as practically the
1runtime of the sound waves from the loudspeakers to the user’s ears can take several
milliseconds, and this can not be compensated by faster tracking hardware. Predictive
trackingcanbeusedtoestimateafuturepositionoftheuser’searsbasedonobservations
fromthepast. However, thesealgorithmscannotforecastarbitrarilyintothefutureand
a low latency system support is a mandatory precondition for a successful application.
Low latency processing is not only important for the VirKopf system, but a general
requirement on VR software, especially for device and interaction handling.
A versatile, flexible and runtime optimal VR device driver architecture is introduced.
This architecture enables the parallel low-latency data access for multi-modal data
streams and enhanced interaction algorithms as it supports driver-level histories. Addi-
tionally, thearchitecturesuggestsenhancedtransformationandapplicationstageswhich
simplify the application development for the field of VR. The resulting misalignment of
theestimationoftheuser’sheadinthevirtualsceneisloweredbyanadaptivepredictive
tracking algorithm. The suggested solution features an on-line update strategy based
solely on the local development of the tracking sensor’s velocity. The coupling of a vi-
sual VR system with its acoustic counterpart as a network communication architecture
is defined and its capabilities explained. The cost of end-to-end latency with respect to
this audio-visual coupling architecture is inspected and discussed in detail. In addition
to the optimized system behavior, an application architecture for multi-modal VEs is
described. This approach models VEs as a collection of communicating agents, enabling
the building of versatile interactive, multi-modal virtual worlds. A cluster rendering
scheme based on a hybrid master-slave architecture is introduced. This approach is
furthermore optimized for a minimal latency state processing from master to slave.
2ZUSAMMENFASSUNG
DieMinimierungvonSystemLatenzisttraditionelleinwichtigesThemabeiderEntwick-
lung von multi-modalen virtuellen Umgebungen. Zur Erstellung von virtuellen Umge-
bungen mit einem hohen Maß an Glaubhaftigkeit für den Nutzer müssen menschliche
Wahrnehmungsschwellen berücksichtigt werden. Die Systemlatenz muss daher im Bere-
ich von Millisekunden liegen. Dies deutet bereits darauf hin, dass schnelle Schnittstellen
undSystememitwenigzusätzlichemAufwandbenötigtwerden. DieseArbeitbeschreibt
einen umfassenden Ansatz zur Erzeugung von multi-modalen virtuellen Umgebungen
welche hohe Anforderungen an niedrige Latenz stellen, dabei aber abstrakte, flexible
und Echtzeit-fähige Schnittstellen zur Gerätedatenverarbeitung sowie vielfältige Mech-
anismen zur Gestaltung von Anwendungen benötigen.
DasSystem„VirtuellerKopfhörer” (VirKopf)isteinRepräsentanteineranspruchsvollen
multi-modalen Umgebung. Es wurde als gemeinschaftliches Forschungsprojekt zwischen
demInstitutfürTechnischeAkustikundderVRGruppeanderRWTHAachenentwick-
elt. Die binaurale Wiedergabe von virtuellen Klängen ist eine wesentliche Komponente
desSystems. DieseerlaubtdiePlatzierungvonKlangobjektenanbeliebigen3-DPositio-
neninderSzene, auchsehrnahamKopfdesBenutzers. DieräumlicheKlangwiedergabe
wird durch dynamische Übersprechkompensation auch ohne die Nutzung von Kopfhör-
ern möglich. Diese Eigenschaft erlaubt den Einsatz in immersiven Umgebungen. In
solchen System müssen die Anforderungen an einen genauen Aufbau und sorgfältige
Datenverarbeitung unbedingt respektiert werden. So ist es zum einwandfreien Betrieb
der dynamischen Übersprechkompensation zwingend notwendig, ein aktuelles Tracking
DatummitniedrigerLatenzanalleTeilsystemezuübermitteln. DieÜbersprechkompen-
sationreproduziertaufdieserBasiseinderaktuellenKopfpositionangepasstesKlangfeld
mit einem begrenzten Gültigkeitsbereich (sweet-spot). In einem dynamischen System,
in der sich der Benutzer frei bewegen darf, muss der sweet-spot kontinuierlich aktual-
isiert werden, in Abhängigkeit von der Position der Ohren des Benutzers. Diese wird
3wiederum vom Tracking System ermittelt. Durch die diskrete Verarbeitung entsteht
ein Unterschied zwischen der im System angenommenen und der tatsächlichen Position
des Benutzers. Ein Unterschied zwischen diesen Positionen von mehr als 1 cm kann
zu hörbaren Artefakten für den Zuhörer führen. Dies ist eine harte Einschränkung, da
ein Unterschied bereits durch die fast konstante Laufzeit der Schallwellen von den Laut-
sprechernzumOhrdesBenutzersimSystemexistiert. DieseLatenzliegtimBereichvon
Millisekunden und kann nicht durch schnelleres Tracking kompensiert werden. Prädik-
tives Tracking kann dazu benutzt werden, um die zukünftige Position der Ohren des
Benutzers zu bestimmen, auf Basis von Beobachtungen aus der lokalen Vergangenheit.
Diese Algorithmen können allerdings nicht beliebig in die Zukunft schätzen, so dass eine
niedrigeSystemlatenzunabdingbarist, umdieKompensationerfolgreichdurchzuführen.
Diese Anforderung ist nicht nur wichtig für das VirKopf System, sondern eine generelle
Eigenschaft von Software zur Erstellung von Virtueller Realität (VR). Ganz speziell gilt
dies für Geräte-Behandlung und Interaktions-Verarbeitung.
Zu diesem Zweck stellt diese Arbeit eine vielseitige, flexible und Laufzeit-optimale VR
GeräteArchitekturvor. SieermöglichtparallelenZugriffaufmulti-modaleDatenströme,
bei niedriger Latenz. Zudem kann erweitere Interaktion auf der Basis von Historien ent-
wickeltwerden, diedirektvonderGeräteschichtangebotenwerden. DieArchitekturun-
terstützt erweiterte Transformations- und Anwendungsschnittstellen, und dadurch eine
vereinfachteProgrammierungfürAnwendungen. DerobenbeschriebeneUnterschiedbei
der Schätzung der aktuellen Position des Benutzers in der virtuellen Szene wird durch
einen prädiktiven Tracking Algorithmus mit dynamischer Adaption verkleinert. Die
vorgeschlagene Lösung basiert lediglich auf der Betrachtung der lokalen Entwicklung
der Geschwindigkeit der verwendeten Tracking Sensoren. Die Kopplung des visuellen
VR Systems mit der akustischen Gegenseite als Netzwerkarchitektur wird in dieser Ar-
beit definiert und ihre Eingenschaften diskutiert. Hierbei sind besonders die Kosten
für den Netzwerktransport in Bezug auf die audio-visuelle Kopplung interessant. Zusät-
zlichzudengenanntenEigenschaftenwirdeineAnwendungsarchitekturzurEntwicklung
von multi-modalen virtuellen Umgebungen vorg