Rendering methods for augmented reality [Elektronische Ressource] / vorgelegt von Jan T. Fischer

Sujets

• Informatik

Informations

• Publié par: eberhard_karls_universitat_tubingen
• Publié le: 01 janvier 2006
• Nombre de lectures: 11
• Langue: Deutsch
• Poids de l'ouvrage: 8 Mo

Extrait

RenderingMethodsfor
AugmentedReality
Dissertation
derFakultat¨ fur¨ Informations-undKognitionswissenschaften
derEberhard-Karls-Universitat¨ Tubingen¨
zurErlangungdesGradeseines
DoktorsderNaturwissenschaften
(Dr.rer.nat.)
vorgelegtvon
Dipl.-Inform.JanT.Fischer
ausMainz
Tubingen¨
2006Tag der mundlichen¨ Qualifikation: 14.06.2006
Dekan: Prof.Dr.rer.soc.MichaelDiehl
1.Berichterstatter: Prof.Dr.-Ing.Dr.-Ing.E.h.WolfgangStraßer
2. Prof.Dr.rer.nat.BerndFrohlich¨
(Bauhaus-Universitat¨ Weimar)
3.Berichterstatter: PDDr.rer.nat.DirkBartzErklarung¨
Hiermiterklare¨ ich,dassichdieArbeitselbstandig¨ undnurmitdenangegebenenHilfsmitteln
angefertigt habe und dass alle Stellen, die im Wortlaut oder dem Sinne nach anderen Werken
entnommensind,durchAngabenderQuellenalsEntlehnungkenntlichgemachtwordensind.
Tubingen,¨ Februar2006 Jan Fischeriv
Zusammenfassung
In den letzten Jahren hat sich die Erweiterte Realitat¨ (englisch: Augmented Reality)zuei-
ner vielversprechenden und schnell an Bedeutung gewinnenden Anwendung der Computer-
graphik entwickelt. Augmented-Reality-Systeme kombinieren vom Computer erzeugte gra-
phische Darstellungen mit der Ansicht der realen Welt. Mehrere zentrale Problemstellungen
lassen sich im Bereich der Augmented Reality identifizieren. Dabei handelt es sich um die
Entwicklung spezieller Anzeigegerate,¨ das Kamera-Tracking, den Systementwurf, die Benut-
¨zerinteraktion und Darstellungsverfahren. Wahrend sich der Großteil vorhergehender Arbei-
ten mit den Problemen des Systementwurfs, des Kamera-Trackings und mit Anwendungen
der Augmented Reality befasste, liegt der Schwerpunkt dieser Doktorarbeit auf dem bislang
relativwenigbeachtetenThemaderDarstellungstechniken.
ImerstenTeildieserDoktorarbeit(Kapitel2)wirdeinneuentwickeltesSystemfur¨ dieme-
dizinischeAugmentedRealityvorgestellt [22].DasARGUS-ProjektisteinneuesAugmented-
Reality-System, das auf einem kommerziellen intraoperativen Navigationsgerat¨ basiert, wo-
durch ein Einsatz in der klinischen Praxis erleichtert werden konnte.¨ Mehrere Erweiterungen
desgrundlegendenProjektswerdenbeschrieben,daruntereinhybridesTracking-Verfahren,ei-
ne Bibliothek fur¨ die Benutzerinteraktion und eine Methode fur¨ die Verdeckungsbehandlung.
Letztere macht es moglich,¨ die Verdeckung graphischer Objekte durch die Patientenanatomie
¨ ¨korrekt darzustellen, was zu einer realistischeren und verstandlicheren Ausgabe fuhrt. Dieser
Algorithmus ist eine der fortgeschrittenen Darstellungstechniken fur¨ Augmented Reality, die
imRahmendieserDoktorarbeitentwickeltwurden.
Der zweite Teil dieser Doktorarbeit, Kapitel 3, stellt das neue Konzept der Stylized Aug-
mented Reality vor. Dabei werden kunstlerische¨ oder illustrative Stilisierungsmethoden auf
Augmented-Reality-Videostrome¨ angewendet[15].DadiegleicheArtderStilisierungaufvir-
tuelle und reale Bildelemente angewendet wird, nimmt ihre Unterscheidbarkeit stark ab. Auf
diese Art und Weise wird ein neuartiges Augmented-Reality-Erlebnis vermittelt, und mogli-¨
cherweise wird eine bessere Immersion erzeugt. Echtzeitverfahren fur¨ die Cartoon-artige und
malerische Stilisierung von Augmented-Reality-Bildern werden beschrieben. Auch der Ein-
satz programmierbarer Graphikhardware zu diesem Zweck wurde untersucht. Zudem werden
die Ergebnisse einer psychophysikalischen Studie uber¨ die Unterscheidbarkeit virtueller Ob-
jekteinderStylizedAugmentedRealityprasentiert.¨
ZuBeginnvonKapitel4,dasdendrittenTeildieserDoktorarbeitdarstellt,wirdeineneue
MethodederillustrativenVisualisierungbeschrieben.DieserneueDarstellungsalgorithmusfur¨
Isoflachen¨ und polygonale Modelle erzeugt die illustrative Abbildung einer Oberflache¨ und
dahinterversteckterStrukturen[12].DieMethodewurdefur¨ dieprogrammierbarenArchitek-
turen moderner Graphikhardware entworfen und kann komplexe Modelle in Echtzeit darstel-
len. Eine Erweiterung dieses neu entwickelten Darstellungsstils wurde auch auf Augmented-
Reality-Videostrome¨ angewendet.DieseEntwicklungstellteineweitereRealisierungdesKon-
zeptsderStylizedAugmentedRealitydar.v
Abstract
Augmented reality (AR) has become a promising and fast-growing application of computer
graphics over the course of the last years. Augmented reality systems overlay-
generated graphical information over the view of the real world. Several main research chal-
lenges can be identified in the field of augmented reality. These are the design of advanced
display devices (e.g., head-mounted displays), camera tracking, system design, user interac-
tion, and rendering. While a major part of the previous work focused on the problems of
system design, camera tracking, and applications of AR, this thesis puts a different emphasis
on the relatively underrepresented aspect of rendering techniques. In this thesis, several novel
methodsfordisplayingaugmentedvideostreamsareexplored.
InthefirstpartofthisthesisinChapter2,thedesignandimplementationofanovelsystem
formedicalaugmentedrealityarediscussed[22]. TheARGUSframeworkisanewaugmented
reality system based on a commercial surgical navigation device. Since it does not require
any additional hardware components, a transition into the clinical practice can be facilitated.
Several extensions of the basic framework are described, including a hybrid tracking scheme,
a user interaction library, and a method for handling occlusion. The latter algorithm makes it
possible to correctly render the occlusion of graphical objects by the anatomy of the patient,
leading to a more realistic and easily comprehensible output. This approach is one of the
advancedrenderingmethodsforaugmentedrealityinvestigatedinthecontextofthisthesis.
The second part of this thesis, Chapter 3, introduces the concept of stylized augmented
reality, which applies artistic or illustrative stylization methods to augmented reality video
streams [15]. Since the same type of stylization is applied to virtual and real scene elements,
they become difficult to distinguish. This way, a novel augmented reality experience is cre-
ated,andpossiblyevenabetterimmersion. Real-timealgorithmsforcartoon-likeandpainterly
brush stroke stylization of augmented video streams are described. The exploitation of pro-
grammable graphics hardware for this purpose is discussed. Moreover, the results of a psy-
chophysical study on the discernability of virtual objects in stylized augmented reality are
presented.
At the beginning of Chapter 4, which is the third part of this thesis, a novel illustrative
visualization method is described. This new rendering algorithm for iso-surfaces and polyg-
onal models generates an illustrative representation of a surface and structures hidden behind
it [12]. The method is designed for the programmable rendering pipelines of modern graph-
ics hardware and is capable of displaying complex models in real-time. An extension of this
newlydevelopedillustrativedisplaystylewasalsoappliedtoaugmentedrealityvideostreams.
Thissystemconstitutesanotherrealizationoftheconceptofstylizedaugmentedreality.Acknowledgements
This thesis was conducted during my occupation as research assistant in the group Visual
ComputingforMedicine(VCM)atthedepartmentGraphical-InteractiveSystems(WSI/GRIS)
oftheUniversityofTubingen.¨ Theresearchdescribedinthisdissertationwouldnothavebeen
possible without the support and encouragement of many people. First and foremost, I would
liketothankmyadvisorsProf.Dr.-Ing.Dr.-Ing.E.h.WolfgangStraßer(headofthedepartment
WSI/GRIS) and PD Dr. Dirk Bartz (head of VCM). They provided me with a pleasant and
productive work atmosphere and the opportunity to freely explore different research topics,
evenifthesesometimesstretchedthestrictdefinitionofmyresearchgrantalittle. Iwouldalso
¨liketothankProf. Dr. BerndFrohlich,whoagreedtobepartofmygraduationcommittee.
Anothermainreasonforthegoodandfruitfulenvironmentwerethecolleagueswithwhom
I worked together in the department. In particular, I would like to express my gratitude to-
´wards Angel del R´ıo for the inspiring scientific collaboration as well as countless pounds
of great Spanish coffee. I would also like to thank Zein Salah, who is another member of
the VCM group, for many interesting conversations. The colleagues who shared the office
with me, Stefan Kimmerle and Bernhard Thomaszewski, deserve to be mentioned, if nothing
else, for bearing with my curses and other types of monologues at the computer screen, their
sense of humor, and having to cope with mine. Many other coworkers at the GRIS helped
me to broaden my horizon with regard to science, the academic world, and through interest-
ing and enjoyable common conference trips. To name only some of them, I would like to
thank Andreas Schilling, Ralf Sondershaus, Peter Biber, Sven Fleck, Dirk Staneker, Michael
Keckeisen, Markus Wacker, Michael Wand, Philipp Jenke, Urs Kanus, Gregor Wetekam, Jo-
¨hannes Mezger, Stefan Guthe, Michael Hauth, Johannes Gorke, Stefan Gumhold, and Jo-Hirche. Ofcourse,anyscientificachievementwouldbeimpossiblewithoutthesupport
and organization skills of the secretaries, who are often appropriately regarded as the persons
who actually run the department. I would therefore like to acknowledge Constanze Christ,
Adelheid Ebert, and Be