From sprites to global motion temporal filtering [Elektronische Ressource] / vorgelegt von Andreas Krutz

Andreas Krutz

Informations

• Publié par: technische_universitat_berlin
• Publié le: 01 janvier 2010
• Nombre de lectures: 31
• Langue: English
• Poids de l'ouvrage: 42 Mo

Extrait

From Sprites to
Global Motion Temporal Filtering
Von der Fakult at IV - Elektrotechnik und Informatik
der Technischen Universit at Berlin
zur Verleihung des akademischen Grades
Doktor der Ingenieurwissenschaften
- Dr.-Ing. -
genehmigte Dissertation
vorgelegt von
Dipl.-Ing. Andreas Krutz
Promotionsausschuss
Vorsitzender : Prof. Dr.-Ing. T. Wiegand
1. Gutachter: Prof. T. Sikora
2. Gutachter: Prof. Dr. M. Frater
Tag der wissenschaftlichen Aussprache: 25.02.2010
Berlin 2010
D 83To Jana and my parentsAcknowledgment
I would like to express my honest gratitude to my supervisor Prof. Dr. Thomas Sikora, who
supported and motivated me regarding my research and beyond. The same gratitude goes
to Prof. Dr. Michael Frater for our collaborative research over the last years.
Very special thanks go to my colleague and friend Alexander Glantz for a lot of delightful
and successful collaborative work, which resulted not only in quite a number of publications.
Special thanks go also to my long-time friend and colleague Martin Haller for enlightning
discussions about and beyond research topics.
I would like to thank my colleagues Dr. Matthias Kunter, Michael Droese and Dr. Se-
bastian Knorr for collaborations and sharing new and forward-looking ideas.
Further, I would like to acknowledge Dr. Heiko Schwarz, Prof. Dr. Thomas Wiegand, and
Dr. Karsten Mull er for discussions and technical support.
I also would like to thank Prof. Dr. Mark Pickering. We had (and hopefully will have) a
great time at various places around the world.
Finally, my greatest thank goes to my parents and girlfriend. To my mother and father
for all their support and love. And, above all, to Jana for staying by my side at any moment
in time, as strange as it was.Abstract
Video coding techniques have evolved over recent decades. Since digital video representation
and transmission have replaced the analogue counterpart, e cient compression of digitized
video is a very important topic in the whole processing chain. As well as common TV-
broadcast and storage media like DVD or Bluray-Disk, other devices and platforms showing
video content have been developed such as handheld devices and, especially, the Internet.
Popular internet platforms, e.g. YouTube, Myvideo, Sevenload, etc., have led to the trans-
mission of large amounts of video data. Further, the latest development of High-Denition
(HD) displays demands high-de nition video content, which means higher resolution video
than the common TV-broadcast format. It has been shown that the latest video coding
standard H.264/AVC, which has outstanding coding performance for Standard-De nition
(SD) resolution, can be signi cantly improved applying enhanced and new techniques for
HD-resolution video content.
All these aspects point to a great increase of video data material for all media, requiring
ongoing research, development and enhancement of existing techniques and nding new ap-
proaches for e cient encoding of this huge amount of data. For that, a number of algorithms
has been developed. The most successful technique is DCT-based motion-compensated pre-
diction. This so-called hybrid video coding approach has been the subject matter in various
standardization processes and has been used until today in almost all applications described
above.
Alternative approaches for e ciently encoding video data have also been pursued. One
method, which can be described as \model-based", analyzes the video content rst, sepa-
rates the content into objects and codes these separately. After transmission, the separated
objects are decoded and merged to the original form. This technique brought very high
coding gain in comparison to the hybrid video coding approach and therefore, it was stan-
dardized almost ten years ago. However, this \object-based" coding approach has several
limitations, e.g. the object segmentation in the pre-analysis step and the content-dependent
coding performance. Since the standardization, people have tried to develop techniques
to improve this type of coding. Some improvements have been developed considering one
object representation called Sprite, where all the background information of an entire video
sequence is mapped into one image. New and more e cient algorithms have been developed
to build such a Sprite. Furthermore, these Sprite representations have been included inencoding environments to show some improvements comparing to hybrid video encoding.
However, a lot of open issues remain for bringing this type of encoding, which was called
Sprite coding during the standardization process, to the market.
Therefore, the motivation of this thesis is to build a bridge between Sprite coding and
the hybrid video coding approach to both combine advantages and minimize disadvantages.
It starts with the classical Sprite coding technique. Then, the Sprite-based representation is
integrated in a coding environment using the latest standardized video codec, H.264/AVC.
Although H.264/AVC is not designed for model- or object-based representations, a signi -
cant improvement of coding e ciency is shown using the Sprite-based approach. Further,
pre-analysis steps, such as automatic object segmentation and analysis of the content of the
video for checking whether the video is appropriate for Sprite coding or not are also exam-
ined. Di erent kinds of visual quality metrics are also used to even emphasize the subjective
improvement of videos coded with Sprites. Finally, a lter design will be introduced using
techniques inside the Sprite generation, which has a great potential to be used not only in
coding environments but also as post-processing for video enhancement or as pre-processing
for further video analysis techniques.Zusammenfassung
Videocodierungstechniken haben sich ub er die letzten Jahrzehnte sehr stark entwickelt.
Seit die digitale Videoverarbeitung und -ub ertragung die analoge Technik abgeostl hat,
ist die Komprimierung von Videodaten vor der Ubertragung ein sehr wichtiger Bestandteil
der gesamten Prozesskette der Videoub ertragung. Dabei kamen zus atzlich zu den schon
vorhandenen Systemen, wie normale TV-Ubertragung und Speichermedien wie DVD oder
Bluray-Disk, nun neue Platformen und Ger ate, in denen Video angezeigt werden kann dazu.
Zwei wichtige Beispiele stellen hier mobile Ger ate, wie Handys und mobile Spielkonsolen,
und naturlic h das Internet dar. Betrachtet man popul are Internet-Platformen, wie z.B.
YouTube, Myvideo, Sevenload, etc., ist zu erkennen, wie drastisch die Anzahl der Video-
daten heutzutage steigt. Weiterhin erfordert die jungste Entwicklung von High-De nition
TV-Endger ate naturlic h auch High-De nition Inhalt, d.h. Videodaten mit einer h oheren
Au osung als der bisher bekannte TV-Standard. Es wurde schon gezeigt, dass der let-
zte Videocodierungsstandard H.264/AVC, welcher eine ub erragende Codierungse zienz bei
Videodaten bis zu einer Au osung des bisherigen TV-Standards hat, durch erweiterte und
neue Techniken bei Anwendung auf h oher aufgel ostes Videomaterial signi kant verbessert
werden kann.
All diese Aspekte zeigen, dass das allgemeine fast unvorstellbare Wachstum an digi-
talem Videodatenmaterial fur jegliche Medien eine fortlaufende Forschung und Entwick-
lung zur Erweiterung bestehender Codierungstechniken und neuen Ans atzen zur e zien-
ten Codierung dieser riesigen Datenmengen erfordert. Dafur wurden einige Ans atze zu
Codierung von Video bereits vorgestellt. Die erfolgreichste Technik beinhaltet eine DCT-
basierte bewegungskompensierte Pr adiktion. Die sogenannte hybride Videocodierung wurde
bereits mehrfach in verschiedenen Standardisierungen verarbeitet und be ndet sich heutzu-
tage in fast allen Anwendungen, die oben erw ahnt wurden.
Neben der hybriden Videocodierung wurden alternative Verfahren ebenfalls verfolgt.
Eine \Modell-basierte" Methode analysiert zuerst den Videoinhalt, um dann diesen In-
halt in unterschiedliche Objekte zu unterteilen und diese dann separat zu codieren und
zu ub ertragen. Am Empf anger werden die Objekte dann decodiert und wieder zum ur-
sprunglic hen Inhalt zusammengesetzt. Diese Technik brachte einen sehr hohen Codiergewinnim Vergleich zum hybriden Ansatz und wurde deshalb auch vor ungefahr zehn Jahren stan-
dardisiert. Allerdings hat dieser objektbasierte Ansatz auch gro e Nachteile, wie z.B. die Ob-
jektsegmentierung im Voranalyseschritt und die allgemeine inhaltsabh angige Codiere zienz.
Seit der Standardisierung wurde versucht, diese Technologie fortlaufend zu verbessern.
Verbesserungen wurden gezeigt in Bezug auf eine Objektrepr asentation, welche Sprite genannt
wird. In einem sogenannten Sprite wird der gesamte Hintergrundinhalt ub er alle Bilder
einer Eingangsvideosequenz zu einem Bild zusammengefasst. Neue und e zientere Algo-
rithmen wurden entwickelt, um solch ein Sprite aufzubauen. Weiterhin wurden die Sprites
in Codierungsumgebungen eingebunden, um dadurch Codierverbesserungen im Vergleich
zum hybriden Ansatz zu erreichen. Allerdings verbleibt eine signi kante Anzahl an o e-
nen Fragen, um diese Art der Codierung, welche auch \Sprite coding" genannt wird, zur
Marktanwendung zu bringen.
Deshalb ist die Motivation dieser Dissertation, eine Bruc ke zwischen dem \Sprite coding"
und der hybriden Videocodierung zu bauen, um Vorteile beider Verfahren zu kombinieren
und m ogliche Nachteile zu minimieren.