Process-based design of multimedia annotation systems [Elektronische Ressource] / eingereicht von Cristian Erick Hofmann

Sujets

• Informatik

Informations

• Publié par: technischen_universitat_darmstadt
• Publié le: 01 janvier 2010
• Nombre de lectures: 29
• Langue: English
• Poids de l'ouvrage: 11 Mo

Extrait

DISSERTATION
PROCESS-BASED DESIGN OF MULTIMEDIA
ANNOTATION SYSTEMS
Zur Erlangung des akademischen Grades
eines Doktor-Ingenieur (Dr.-Ing.)
Genehmigt vom Fachbereich Informatik der
Technischen Universitat¨ Darmstadt
Eingereicht von
Dipl.-Inf. Cristian Erick Hofmann
geboren in Talca (Chile)
Referenten: Prof. Dr. techn. Dieter W. Fellner (TU Darmstadt)
Prof. Dr. Volker Wulf (Universitat¨ Siegen)
Tag der Einreichung: 04.10.2010
Tag der Disputation: 06.12.2010
Darmstadt 2010
D17i
Abstract
Annotation of digital multimedia comprises a range of different application scenarios,
supported media and annotation formats, and involved techniques. Accordingly, recent
annotation environments provide numerous functions and editing options. This results
in complexly designed user interfaces, so that human operators are disoriented with
respect to task procedures and the selection of accurate tools.
In this thesis we contribute to the operability of multimedia annotation systems in sev-
eral novel ways. We introduce concepts to support annotation processes, at which
principles of Workflow Management are transferred. Particularly focusing on the be-
havior of graphical user interface components, we achieve a significant decrease of
user disorientation and processing times.
In three initial studies, we investigate multimedia annotation from two differ-
ent perspectives. A Feature-oriented Analysis of Annotation Systems describes
applied techniques and forms of processed data. Moreover, a conducted Em-
pirical Study and Literature Survey elucidate different practices of annotation,
considering case examples and proposed workflow models.
Based on the results of the preliminary studies, we establish a Generic Pro-
cess Model of Multimedia Annotation, summarizing identified sub-processes and
tasks, their sequential procedures, applied services, as well as involved data for-
mats.
By a transfer into a Formal Process Specification we define information entities
and their interrelations, constituting a basis for workflow modeling, and declar-
ing types of data which need to be managed and processed by the technical
system.
We propose a Reference Architecture Model, which elucidates the structure and
behavior of a process-based annotation system, also specifying interactions and
interfaces between different integrated components.
As central contribution of this thesis, we introduce a concept for Process-driven
User Assistance. This implies visual and interactive access to a given work-
flow, representation of the workflow progress, and status-dependent invocation
of tools.
We present results from a User Study conducted by means of the so-called SemAn-
not framework. We implemented this novel framework based on our considerations
mentioned above. In this study we show that the application of our proposed con-
cept for process-driven user assistance leads to strongly significant improvements of
the operability of multimedia annotation systems. These improvements are associated
with the partial aspects efficiency, learnability, usability, process overview, and user
satisfaction.ii
Zusammenfassung
Annotation von digitalen Multimediainhalten verbindet eine Reihe von verschiede-
nen Anwendungsszenarien, unterstutzten¨ Medien- und Annotationsformaten, sowie
involvierten Verfahren. Demgemaߨ verfugen¨ heutige Annotationsumgebungen uber¨
zahlreiche Funktionen und Bearbeitungsoptionen. Daraus resultieren unubersichtlich¨
gestaltete Benutzungsoberflachen,¨ so dass Anwender hinsichtlich der Aufgaben-
ablaufe¨ sowie der Auswahl der richtigen Werkzeuge desorientiert sind.
Diese Arbeit leistet einen Beitrag zur Verbesserung der Bedienbarkeit von Multimedia
Annotationssystemen. Sie fuhrt¨ neue Konzepte zur Unterstutzung¨ von Annotation-
sprozessen ein, wobei Prinzipien aus dem Bereich Workflow Management transferiert
werden. Insbesondere durch die Fokussierung auf das Verhalten von Komponenten der
Benutzungsschnittstelle wird eine signifikante Reduktion von Benutzerdesorientierung
und Bearbeitungszeiten erreicht.
In drei initialen Studien wird Multimedia Annotation aus zwei Perspektiven un-
tersucht. Eine Funktionsorientierte Analyse von Annotationssystemen beschreibt
eingesetzte Verfahren sowie Arten von verarbeiteten Daten. Des Weiteren
beleuchten eine Empirischen Studie und eine Untersuchung relevanter Literatur
Praktiken des Annotierens unter Berucksichtigung¨ von Fallbeispielen und ex-
istierenden Workflowmodellen.
Auf Basis der aus den Studien gewonnenen Erkenntnisse wird ein Generisches
Prozessmodell fur¨ Multimedia Annotation definiert. Dabei werden identifizierte
Teilprozesse und Aufgaben, ihre Ablaufe,¨ verwendete Dienste, sowie involvierte
Datenformate zusammengefasst.
¨ Durch die Uberfuhrung¨ in eine Formale Prozessspezifikation werden Informa-
tionsentitaten¨ und ihre Relationen definiert, und somit eine Grundlage fur¨ die
Modellierung von Workflows geschafft, sowie die vom technischen System ver-
walteten und verarbeiteten Daten deklariert.
Weiterhin wird Referenzarchitekturmodell vorgeschlagen, das den strukturellen
Aufbau und das Verhalten eines prozessbasierten Annotationssystems, wie auch
Interaktionen und Schnittstellen zwischen integrierten Teilkomponenten spezi-
fiziert.
Als zentraler Beitrag dieser Arbeit wird ein Konzept zur Prozessgeleiteten Be-
nutzerunterstutzung¨ eingefuhrt.¨ Dieser impliziert einen visuellen und inter-
aktiven Zugang auf den gegebenen Workflow, die Darstellung des Arbeits-
fortschritts, sowie das vom Status abhangige¨ Aufrufen von Werkzeugen.
Abschließend werden die Ergebnisse einer Benutzerstudie vorgestellt, die mittels
des sogenannten SemAnnot Frameworks durchgefuhrt¨ wurde, das die oben genan-
nten Gesichtspunkte realisiert. In dieser Studie wird aufgezeigt, dass der Einsatziii
des vorgeschlagenen Konzepts zur prozessgeleiteten Benutzerfuhrung¨ zu hoch sig-
nifikanten Verbesserungen hinsichtlich der Bedienbarkeit von Multimedia Annota-
tionssystemen fuhrt.¨ Diese Verbesserungen konnen¨ mit den Teilaspekten Effizienz,
Lernforderlichk¨ eit, Gebrauchstauglichkeit, Prozessuberblick,¨ und Benutzerzufrieden-
heit assoziiert werden.ivAcknowledgements
This work originated in the course of my scholarship at the interdisciplinary postgrad-
uate school “eLearning” at the Technische Universitat¨ Darmstadt, as well as during
my occupation as research associate at the Fraunhofer Institute for Computer Graphics
Research Darmstadt.
In the first instance, I would like to thank my advisor Prof. Dr. Dieter W. Fellner for his
support and excellent advice. Special thanks go also to Prof. Dr. Volker Wulf for acting
as co-referee. I am also grateful to Dr. Tobias Schreck, Dr. Christoph Hornung, and
Dr. Stefan Gobel¨ for advices during different periods of my time as doctoral student.
Moreover, I extend my thanks to Dr. Arjan Kuijper for reviews and advices during the
writing process.
I thank all advisors and doctoral students of the postgraduate school “eLearning” for
all the fruitful discussions and the creative as well as exciting ambiance. Very special
thanks go to Nina Hollender, my “interdisciplinary research partner”. I would also like
to thank Prof. Dr. Max Muhlh¨ auser¨ , Prof. Dr. Regina Bruder, and Dr. Michael Deneke
for discussions and feedback on my work.
I am grateful to all my colleagues at Fraunhofer IGD A6 “3D Knowledge Worlds and
Semantics Visualization” for the kindly and amicable working atmosphere, and for the
support during periods of prototype implementation. In this scope, I thank the students
who contributed to the implementation of the system, including Leonard Swiezinski,
Aubin Tchaptchet, Uwe Boettcher, and Michael Kosiol.
Furthermore, I would like to thank Prof. Nuno Guimaraes˜ and Dr. Teresa Chambel for
their advice and feedback on my work during lab visit at Universidade de Lisboa, Por-
tugal. With respect to the conducted empirical study, I am grateful to all persons who
dedicated their time. To name but a few, I thank Dr. Carmen Zahn (KMRC Tubingen),¨
Dr. Inger Marie Dalehefte (IPN Kiel), Dr. Daniel Link (TU Darmstadt), Wilfried Russe¨
(TU Darmstadt), and Dr. Jur¨ gen Steimle (TU Darmstadt). Moreover, special thanks go
to Dr. Kai Richter (SAP Research) for motivating me to pursue an academic career.
Finally, my unlimited thanks go to my family and my closest friends for all the support,
love, and patience.viContents
1 Introduction 1
1.1 Motivation and Problem Definition . . . . . . . . . . . . . . . . . . . 2
1.2 General Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Technological Achievements . . . . . . . . . . . . . . . . . . 3
1.2.2 Aimed Benefits . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Outline of this Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 Publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Digital Multimedia Annotations and Workflow Management 11
2.1 Annotation of Digital Multimedia . . . . . . . . . . . . . . . . . . . 11
2.1.1 Annotation - A General Overview . . . . . . . . . . . . . . . 1