Visual computing for computer assisted interventions [Elektronische Ressource] / Oliver Kutter

Kutter Oliver

Sujets

• Informatik

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2010
• Nombre de lectures: 28
• Langue: English
• Poids de l'ouvrage: 93 Mo

Extrait

Computer Aided Medical Procedures
(CAMP)
Prof. Dr. Nassir Navab
Dissertation
Visual Computing for
Computer Assisted Interventions
Oliver Kutter
Fakultät für Informatik
Technische Universität MünchenTECHNISCHE UNIVERSITÄT MÜNCHEN
Fakultät für Informatik
Chair for Computer-Aided Medical Procedures & Augmented Reality
Visual Computing for Computer Assisted
Interventions
Oliver Kutter
Vollständiger Abdruck der von der Fakultät für Informatik der Technischen Universität
München zur Erlangung des akademischen Grades eines
Doktors der Naturwissenschaften (Dr. rer. nat.)
genehmigten Dissertation.
Vorsitzende: Univ.-Prof. G. J. Klinker, Ph.D.
Prüfer der Dissertation:
1. Univ.-Prof. N. Navab, Ph.D.
2. Prof. T. Peters, Ph.D.
The University of Western Ontario, Canada
Die Dissertation wurde am 04.03.2010 bei der Technischen Universität München
eingereicht und durch die Fakultät für Informatik am 18.06.2010 angenommen.Abstract
Continuous improvement in medical imaging technology provides an ever increasing
amount of high resolution, peri-operative and multi-modal image data. Fusion and visu-
alization of multiple datasets of the same patient has been shown to improve diagnosis as
well as therapy guidance for many medical interventions.
However, the sheer amount of image data acquired by today’s imaging modalities, and
their objective fusion and real-time visualization for diagnosis and therapy postulates the
request for efficient image processing, and data presentation techniques.
This thesis focuses on developing visual computing solutions for improving and accel-
erating computer assisted medical interventions. Advanced simulation, registration and
visualization algorithms have been developed and implemented on Graphic Processing
Units (GPU) for optimal efficiency, merging computation of the result and real-time vi-
sualization of the data. The methods are investigated in detail for three, closely related,
medical applications.
In the first application GPU-accelerated medical Augmented Reality (AR) visualiza-
tion on a stereo video see-through Head Mounted Display is investigated. A key challenge
for any medical AR system supporting medical navigation tasks is direct, pre-processing
free, integration of image data and natural embedding into the AR scene. In this thesis I
present a series of techniques for optimizing perception, performance and quality of med-
ical AR visualization. Furthermore, occlusion problems of virtual and real objects are
addressed. The methods are evaluated in a series of phantom and in-vivo experiments in
close collaboration with our clinical partners.
The second application is simulation of medical ultrasound (US) image data from
Computed Tomography (CT) data for patient-based acquisition training and
patient-specificregistrationwithCT.Here, Ipresentaframeworkforray-basedultrasound
simulation on GPUs, supporting different simulation models of varying complexity.
The third application is multi-modal registration of US with CT. GPU-accelerated
US simulation is an essential part of the algorithm. In this thesis we present
two novel, efficient, multi-modal registration applications. (1) Simultaneous registration
of multiple 3D ultrasound scans with one CT scan. (2) Purely intensity based, dense
deformableregistrationof3DUSandCTscansusingavariationalapproach. Themethods
are validated for a series of real patient US and CT scans.
Keywords:
GPU, Medical Image Processing, Real-time Visualization, Ultrasound Simulation from
CT, Multi-modal Registration, Medical Augmented Reality, Visual ComputingZusammenfassung
Der kontinuierliche Fortschritt medizinischer bildgebender Modalitäten resultiert in
immergrösserenMengenvonhochaufgelösten,peri-operativenundmulti-modalenBildda-
ten. Der Mehrwert von Fusion und Visualisierung von mehreren Datensätzen des gleichen
PatientenfürDiagnoseundtherapeutischeNavigationwurdebereitsfürvielemedizinische
Anwendungen demonstriert. Die enormen Datenmengen, ihre Fusion und Visualisierung
fordern effiziente Algorithmen für Bildverarbeitung, Visualisierung sowie fortgeschrittene
Präsentationstechnicken um eine verbesserte Diagnose und Therapie für den Patienten zu
erreichen.
Der Kern dieser Arbeit liegt in der Entwicklung von Visual Computing Lösungen für
ComputerunterstützteEingriffeninderMedizin.FortgeschritteneAlgorithmenfürVisua-
lisierung, Simulation und Registrierung wurden entwickelt und für höchste Effiziens auf
Graphik Prozessoren (GPU) implementiert. Die Berechnung des Resultats und Echtzeit
Visualisierung erfolgt dabei in einem Arbeitsschritt. Die Methoden werden für drei, eng
zusammenliegende, medizinische Anwendungen untersucht.
Die erste Anwendung untersucht GPU-beschleunigte medizinische Augmented Reali-
ty (AR) Visualisierung auf einem stereo Video see-through Head Mounted Display. Eine
der Hauptherausforderungen für medizinische AR Systeme ist die direkte Integration von
medizinischen Bilddaten und eine möglichst natürliche Einbettung in die AR Szene in
Echtzeit. Diese Arbeit stellt eine Reihe von Techniken zur Optimierung der Wahrneh-
mung, Systemleistung und Qualität der AR Visualisierung vor, und zur Lösung von Ver-
deckungsproblemen von echten und virtuellen Objekten. Die Methoden werden in mehre-
ren Phantom und in-vivo Experimenten in enger Zusammenarbeit mit unseren klinischen
Partnern evaluiert.
Die zweite Anwendung ist Simulation von medizinischen Ultraschall (US) aus Com-
puter Tomographie (CT) Daten für patienten-basiertes US Untersuchungstraining und
patienten-spezifische Registrierung mit CT Daten. Ein generisches Framework für GPU-
beschleunigte Simulation von US aus CT Daten, mittels strahlen-basierter Modelle un-
terschiedlicher Komplexität, wird vorgestellt.
In der dritten Anwendung wird multi-modale Registrierung von US und CT Daten
untersucht. GPU-beschleunigte US Simulation spielt dabei eine essentielle Rolle. In dieser
Arbeit werden zwei neue multi-modal Registrierungsanwendungen vorgestellt: (1) Simul-
tane Registrierung von mehreren 3D US Scans mit einem 3D CT Scan. (2) Intensitäts-
basierte, deformierbare Registrierung von 3D US und CT Daten mittels eines variationel-
len Ansatzes. Die Methoden werden anhand einer Reihe von Patienten US und CT Scans
validiert.
Schlagwörter:
GPU, Medizinische Bildverarbeitung, Echzeit Visualisierung, Ultraschall Simulation aus
CT, Multi-modale Registrierung,Medizinische Augmented Reality, Visual ComputingAcknowledgments
First of all, I would like to thank my PhD advisor Nassir Navab, for accepting and
supporting me as one of his PhD students. I had the fortune to already get to know him
and join his group as a diplomat and continue to work with him as PhD student.
In these last five years he not only provided motivation, ideas, guidance, support and his
opinion for my scientific work and this thesis, but also taught me so much more.
I would like to express my special thanks to Jörg Traub, for not only his help on proof-
reading this thesis, but also for his great support and unconditional friendship over the
last five years. I highly appreciate him sharing his senior PhD experience with me, and
his feedback and insight he provided to any question and issue we discussed. The same
way, I owe many thanks to Wolfgang Wein and Ramtin Shams. I was fortunate to have
closely worked with them on multiple research projects in the last years. I am especially
thankful for them providing me with many good advices, ideas, productive discussions
and joint research work resulting in many publications.
I would like to thank Martin Horn, Virginie Fite Georgel and Martina Hilla for their
support on organizational and administrative issues. Especially Martin for always pro-
viding me and our GPU group with the latest GPUs for conducting our research. Many
thanks to André Aichert, Matthias Wieczorek, Darko Zikic, Jörg Traub and Wolfgang
Wein for proof-reading parts of this thesis.
This work would not have been possible without the support of a large team of col-
leagues and students from the chair for computer aided medical procedures. I would
like to thank all of them, especially Jörg Traub, Tobias Sielhorst, Marco Feuerstein,
Wolfgang Wein, Stefanie Demirci, Stefan Hinterstoisser, Thomas Wendler, Tobias Lasser,
Tobias Blum, Darko Zikic, Ben Glocker, Tobias Reichl, Christian Wachinger, Pierre Fite
Georgel, Christoph Bichlmeier, Martin Groher, Ahmad Ahmadi, Hauke Heibel, Andreas
Keil, Tassilo Klein, André Aichert, Matthias Wieczorek, Markus Vill, Athanasios Kara-
malis, Philipp Stefan, Aliaksei Maistrov, Marina Berkovic, Ya Chen, Andreas Kirsch,
Benedikt Schultis, Christian Harrer, for the great joint work, joint publications, fruitful
discussions and ideas on research, over the last three years.
I would also like to express my thanks to my medical collaboration partners, Sonja
viiKirchhof at Radiology Department Grosshadern, Munich. Gernot Brockman, Eva Braun,
Robert Bauernschmitt and Rüdiger Lange at German Heart Center, Munich and San-
dro Heining, Ben Ockert, Jürgen Landes and Eckehard Euler at Chirugische Klinik und
Poliklinik Innenstadt, Munich. My