An valuation methodology and framework for semantic web services technology [Elektronische Ressource] / von Ulrich Küster

Sujets

• Informatik

Informations

• Publié par: friedrich-schiller-universitat_jena
• Publié le: 01 janvier 2011
• Nombre de lectures: 11
• Langue: Deutsch
• Poids de l'ouvrage: 5 Mo

Extrait

An Evaluation Methodology
and Framework for
Semantic Web Services Technology
Dissertation
zur Erlangung des akademischen Grades
Doktor-Ingenieur (Dr.-Ing.)
vorgelegt dem Rat der Fakultät für Mathematik und Informatik
der Friedrich-Schiller-Universität Jena
von Diplom-Informatiker Ulrich Küster
geboren am 08.03.1980 in WuppertalGutachter
1. Prof. Dr. Birgitta König-Ries
Friedrich-Schiller-Universität Jena, D-07743 Jena
2. Prof. Dr. Thomas Kirste
Universität Rostock, D-18059 Rostock
3. Prof. Dr. Manfred Hauswirth
National University of Ireland, Galway, Irland
Tag der öffentlichen Verteidigung: 18. Juni 2010Ehrenwörtliche Erklärung
Hiermit erkläre ich,
† dass mir die Promotionsordnung der Fakultät bekannt ist,
† dass ich die Dissertation selbst angefertigt habe, keine Textabschnitte oder
Ergebnisse eines Dritten oder eigenen Prüfungsarbeiten ohne Kennzeichnung
übernommen und alle von mir benutzten Hilfsmittel, persönliche Mitteilungen
und Quellen in meiner Arbeit angegeben habe,
† dass ich die Hilfe eines Promotionsberaters nicht in Anspruch genommen habe
und dass Dritte weder unmittelbar noch mittelbar geldwerte Leistungen von
mir für Arbeiten erhalten haben, die im Zusammenhang mit dem Inhalt der
vorgelegten Dissertation stehen,
† dass ich die noch nicht als Prüfungsarbeit für eine staatliche oder
andere wissenschaftliche Prüfung eingereicht habe.
Bei der Auswahl und Auswertung des Materials sowie bei der Herstellung des
Manuskripts haben mich folgende Personen unterstützt:
† Prof. Dr. Birgitta König-Ries
Ich habe die gleiche, eine in wesentlichen Teilen ähnliche bzw. eine andere Abhand-
lung bereits bei einer anderen Hochschule als Dissertation eingereicht: Ja / Nein.
Jena, 8. Februar 2010
[Ulrich Küster]Deutsche Zusammenfassung
DiefolgendeZusammenfassungindeutscherSprachegibteinenkompaktenÜberblick
über die Inhalte dieser Arbeit. Sie orientiert sich an der Gliederung der Disserta-
tionundstelltjeweilsQuerbezügezurausführlichenBehandlungderentsprechenden
Themen in der eigentlichen Arbeit her.
Einleitung, Stand der Forschung und Zielsetzung
Die vorliegende Arbeit beschäftigt sich mit der Evaluation von Semantischen Web
Diensten (Semantic Web Services, SWS, siehe Kapitel 2.3). Unternehmen organ-
isieren heute ihre IT-Systeme mittels dienstorientierter Architekturen (siehe Kapi-
tel 2.2). Hier werden Ressourcen (etwa die Funktionalität, die ein Rechner bere-
itstellen kann) als Dienste gekaspelt und über definierte Schnittstellen nach außen
angeboten. So aufgebaute Systeme sind potentiell sehr flexibel und dynamisch an
Veränderung anpassbar. Eine zentrale Forschungsfragestellung der Informatik ist,
wie das Potential dieser Architekturen vollständig ausgeschöpft werden kann, ins-
besondere inwieweit eine automatische Zusammenstellung von Diensten zum Erre-
ichen einer gewünschten Funktionalität möglich ist (siehe Kapitel 1.1). Semantis-
che Web Dienste versuchen diese Automatisierung mittels maschinenverständlicher
Beschreibungen von Diensten zu erreichen (siehe Kapitel 2.1 und 2.3).
In den letzten Jahren wurden eine Vielzahl von Ansätzen in diesem Gebiet en-
twickelt, die Praxistauglichkeit der Verfahren und ihre relativen Stärken und Schwä-
chen sind jedoch weitgehend unbekannt. Es fehlt an etablierten Methoden, die
Ansätze objektiv und zuverlässig zu evaluieren (siehe Kapitel 3.1). Der resul-
tierende Mangel experimenteller Evaluation erweist sich als kritisches Hemmnis
für den Forschungsfortschritt und die Übertragung der Forschungsergebnisse in die
Wirtschaft (siehe Kapitel 1.2).
Ziel der Arbeit ist es, diese Lücke zu schließen und Methoden zur verlässlichen
und aussagekräftigen Evaluation verschiedener Ansätze zur Automatisierung des di-
vDeutsche Zusammenfassung
enstorientierten Rechnens zu entwickeln (Kapitel 1.3). Die Arbeit folgt dem Ansatz,
Standardbenchmarks zu entwickeln die im Rahmen gemeinschaftlicher Evaluation-
sinitiativen in der Forschergemeinde Anwendung finden (siehe Kapitel 1.4). Ein
detaillierter Überblick über die Struktur der Arbeit wird in Kapitel 1.5 präsentiert.
Modell zur Evaluation Semantischer Dienste
Um die Grundlage eines systematischen Ansatzes für die Evaluation zu legen, wird
zunächst ein konzeptionelles Modell entwickelt, welches die möglichen Kriterien der
Evaluation definiert und einen Katalog von Anforderungen an Evaluationen bereit-
stellt (Kapitel 4).
Die Evaluationskritieren werden mit Hilfe des Goal-Question-Metric Ansatzes aus
der Softwaretechnik hergeleitet (Kapitel 4.1). Eine Literaturrecherche gibt einen
Überblick über die Ziele, die der Entwicklung semantischer Dienste zu Grunde
liegen. Diese Ziele werden dann mit Hilfe von konkreten Fragen operationalisiert.
Die konkreten Fragen wiederum ermöglichen die Ableitung von fünf Dimensio-
nen der Evaluation: Performanz und Skalierbarkeit, Benutzerfreundlichkeit und
Aufwand, Korrektheit, Unabhängigkeit von Dienstanbietern und -nutzern sowie
Funktionsumfang und Automatisierung.
Desweiteren wird ein Anforderungskatalog an Evaluationen semantischer Dien-
ste entwickelt (Kapitel 4.2). Der Anforderungskatalog unterstützt die Qualität von
Evaluationen und ermöglicht zudem eine Meta-Evaluation. Er basiert auf Evalu-
ationsstandards der Deutschen Gesellschaft für Evaluation, die unter Berücksichti-
gung relevanter Arbeiten aus verwandten Gebieten konkretisiert werden.
Das präsentierte Modell zur Evaluation semantischer Dienste ermöglicht eine
detaillierte, strukturierte Analyse existierender Arbeiten im Gebiet (Kapitel 4.3
und 4.4). Basierend auf dieser Analyse werden drei offene Probleme ausgewählt, für
die im Rahmen der Dissertation Lösungen entwickelt werden (Kapitel 4.5). Diese
werden im Folgenden beschrieben.
Test Daten zur Evaluation Semantischer Dienste
Qualitativ hochwertige Testdaten stellen die essentielle Grundlage jeglicher Evalua-
tion dar. Eine Lösung zur Bereitstellung dieser Daten wird in Kapitel 5 präsentiert.
Basierend auf einer Anforderungsanalyse werden verfügbare Daten zur Evaluation
semantischer Dienste untersucht. Die Untersuchung betrachtet dabei sowohl Daten,
die frei im Netz verfügbar sind (Kapitel 5.1), als auch explizit entwickelte Testdaten-
sätze (Kapitel 5.2). Es stellt sich heraus, dass Daten nicht im notwendigen Umfang
zur Verfügung stehen. Insbesondere existieren beispielsweise keine nennenswerten
viDeutsche Zusammenfassung
öffentlich verfügbaren Daten für den weit verbreiteten WSMO/WSML Ansatz. Zu-
dem werden die derzeit verfügbaren Daten den Anforderungen hinsichtlich ihrer
Qualität und Vielseitigkeit nicht gerecht.
Die Arbeit argumentiert, dass wegen des Aufwandes, qualitativ hochwertige Test-
daten im nötigen Umfang zu erstellen und um die gewünschte Vielfalt und Objek-
tivität der Testdaten zu gewährleisten, Standardtestdaten gemeinschaftlich von der
Forschergemeinde als Ganzes entwickelt werden sollten. Dies ist jedoch nur um-
setzbar, wenn eine verteilte Entwicklung von geeigneten Werkzeugen unterstützt
wird.
Zu diesem Zweck wird OPOSSum (Online POrtal for Semantic Services), ein
Portal zum Austausch und für die gemeinschaftliche Entwicklung von Testdaten
für semantische Dienste entwickelt (Kapitel 5.3). Das Portal dient dem Zweck,
die Wiederverwendung und Weiterentwicklung existierender Daten zu unterstützen,
ihre Strukturierung, Dokumentation und Nutzbarkeit zu verbessern und eine Nutz-
ung und einen Vergleich über verschiedene Formalismen hinweg zu ermöglichen.
Das Portal wurde als öffentlich zugängliche quelloffene Webanwendung implemen-
tiert und auf verschiedenen Konferenzen vorgestellt. Die verbreiteten existieren-
den Testdatensätze wurden in das Portal integriert und auf diese Art komfortabler
zugänglich gemacht. Die Nutzbarkeit des Portals wird durch die Entwicklung des
neuen Jenaer Geographie Datensatzes (JGD) illustriert (Kapitel 5.4). Dieser Daten-
satz verbessert den Stand der Forschung hinsichtlich wesentlicher Anforderungen
und findet im Rahmen der Dissertation für erweiterte Evaluationen Verwendung.
Benchmark für den Funktionsumfang von SWS Ansätzen
Im Anschluss an die Arbeiten zu SWS Testdaten wird ein Benchmark für die Er-
fassung und Zertifizierung des Funktionsumfangs von Ansätzen zur semantischen
Dienstsuche, -auswahl und -ausführung vorgestellt (Kapitel 6). Der Benchmark
basiert auf einer Sammlung von Problemszenarien die in natürlicher Sprache spez-
ifiziert sind. Jedes Szenario definiert eine Menge konkreter Dienstangebote und
strukturiert sich in einzelne Problemstufen (Kapitel 6.4). Diese sind jeweils durch
eine Anzahl spezifischer Dienstanfragen repräsentiert. Die Aufgabe besteht darin,
den zu einer Anfrage optimal passenden Dienst auszuwählen und ggf. auszuführen.
Jede Problemstufe ist zudem mit einer Menge grundlegender funktionaler An-
forderungen verknüpft, welche bewältigt werden müssen, um