UniversidadPolit´ecnicadeMadrid Facultad de Inform´atica Doctoral Thesis Benchmarking Semantic Web technology Author: Raul´ Garc´ıa Castro Advisor: Prof. Dr. Asunci´on G´omez P´erez July 2008iiiii A los padres A mi abuela Mar´ıaivAgradecimientos La elaboraci´on de esta tesis a lo largo de los ultimos´ anos˜ me ha costado muchosudor,perotodaslasl´agrimashanbrotadoenlaescrituradeestap´agina. Lo primero ha sido muy f´acil comparado con lo segundo. Esta tesis est´a dedicada a Tom´as, mi padre, quien me ha hecho ser como soy, pensar como pienso y luchar como lucho. Me he esforzado en ella, aun´ sabiendo que ´el no podr´a ver los resultados, pero intentando que se sintiera orgulloso de ellos y de m´ı mismo. Adem´as, tengo que agradecer a D´acil y a toda mi familia (a todas mis fa- milias), a los que vienen y a los que se van, toda la comprensi´on, el carino˜ y el apoyo mostrado no s´olo durante estos anos,˜ sino durante toda mi vida. No obstante, sacar adelante una tesis no es un trabajo solitario. Antes que a nadie debo nombrar a Asun, por todo lo que me ha ensenado,˜ a Charo, por haber convertido mis textos ilegibles en textos ilegibles en correcto ingl´es, y a Holger, por toda su ayuda y buenos consejos. Tambi´en quiero mencionar a toda la gente del grupo, ya que sin ellos no se aguantar´ıan ni las cosas buenas ni las malas del d´ıa a d´ıa, y a todos aquellos con los que he trabajado en estos ultimos´ anos.˜ Finalmente, quiero dar gracias a toda la gente que me ha ...
UniversidadPolit´ecnicadeMadrid
Facultad de Inform´atica
Doctoral Thesis
Benchmarking Semantic Web technology
Author: Raul´ Garc´ıa Castro
Advisor: Prof. Dr. Asunci´on G´omez P´erez
July 2008iiiii
A los padres
A mi abuela Mar´ıaivAgradecimientos
La elaboraci´on de esta tesis a lo largo de los ultimos´ anos˜ me ha costado
muchosudor,perotodaslasl´agrimashanbrotadoenlaescrituradeestap´agina.
Lo primero ha sido muy f´acil comparado con lo segundo.
Esta tesis est´a dedicada a Tom´as, mi padre, quien me ha hecho ser como
soy, pensar como pienso y luchar como lucho.
Me he esforzado en ella, aun´ sabiendo que ´el no podr´a ver los resultados,
pero intentando que se sintiera orgulloso de ellos y de m´ı mismo.
Adem´as, tengo que agradecer a D´acil y a toda mi familia (a todas mis fa-
milias), a los que vienen y a los que se van, toda la comprensi´on, el carino˜ y el
apoyo mostrado no s´olo durante estos anos,˜ sino durante toda mi vida.
No obstante, sacar adelante una tesis no es un trabajo solitario. Antes que
a nadie debo nombrar a Asun, por todo lo que me ha ensenado,˜ a Charo, por
haber convertido mis textos ilegibles en textos ilegibles en correcto ingl´es, y a
Holger, por toda su ayuda y buenos consejos.
Tambi´en quiero mencionar a toda la gente del grupo, ya que sin ellos no se
aguantar´ıan ni las cosas buenas ni las malas del d´ıa a d´ıa, y a todos aquellos
con los que he trabajado en estos ultimos´ anos.˜
Finalmente, quiero dar gracias a toda la gente que me ha ayudado, ya sea
en mayor o menor medida, en las actividades de benchmarking realizadas en
esta tesis: la gente con la que he trabajado en el grupo: Stefano, Jesus,´ Silvia
y Mois´es; todos aquellos que participaron en el RDF(S) Interoperability Bench-
marking: Olivier Corby, York Sure, Moritz Weiten y Markus Zondler; y los que
participaron en el OWL Interoperability Benchmarking: Stamatia Dasiopoulou,
Danica Damljanovic, Michael Erdmann, Christian Fillies, Roman Korf, Diana
Maynard, York Sure, Jan Wielemaker, y Philipp Zaltenbach. Sin su esfuerzo
esto no habr´ıa sido posible.
Madrid, mayo de 2008
vviAbstract
Semantic Web technologies need to interchange ontologies for further use.
Due to the heterogeneity in the knowledge representation formalisms of the
differentexistingtechnologies,interoperabilityisaproblemintheSemanticWeb
and the limits of the interoperability of current technologies are yet unknown.
AmassiveimprovementoftheinteroperabilityofcurrentSemanticWebtech-
nologies,orofanyothercharacteristicofthesetechnologies,requirescontinuous
evaluations that should be defined and conducted in consensus, using generic,
reusable, freely-available, and affordable tools and methods.
This thesis presents the following contributions to the field of benchmarking
within Semantic Web technologies:
It proposes a benchmarking methodology for Semantic Web technologies.
It defines the UPM Framework for Benchmarking Interoperability, an
evaluation infrastructure that includes all the resources (experiment def-
initions, benchmark suites and tools) needed for benchmarking the in-
teroperability of Semantic Web technologies using RDF(S) and OWL as
interchange languages.
It describes two interoperability benchmarking activities carried out over
Semantic Web technologies and provides detailed interoperability results
ofthetoolsthatparticipatedinthem;theRDF(S)InteroperabilityBench-
marking that contemplates interoperability using RDF(S) as the inter-
change language, and the OWL Interoperability Benchmarking that con-
templates interoperability using OWL as the interchange language.
viiviiiResumen
Las diferentes tecnolog´ıas de la Web Sem´antica necesitan intercambiar on-
tolog´ıas para su posterior utilizaci´on. La Web Sem´antica, por otro lado, tiene
que hacer frente al problema de la interoperabilidad, que est´a causado, en gran
medida, por la heterogeneidad de los formalismos de representaci´on de conoci-
miento de las distintas tecnolog´ıas existentes, siendo la interoperabilidad en la
Web Sem´antica un problema cuyos l´ımites hoy se desconocen.
Una mejora masiva de la interoperabilidad de las tecnolog´ıas actuales de la
WebSem´antica,odecualquierotracaracter´ısticadedichastecnolog´ıas,requiere
evaluaciones continuas, que sean definidas y realizadas en consenso, utilizando
herramientasym´etodosqueseangen´ericos,reutilizables,publicos´ yecon´omicos.
Esta tesis presenta las siguientes contribuciones al campo de benchmarking
en las tecnolog´ıas de la Web Sem´antica:
Proponeunametodolog´ıade benchmarking paralastecnolog´ıasdelaWeb
Sem´antica.
Define el UPM Framework for Benchmarking Interoperability, una infra-
estructura de evaluaci´on que incluye todos los recursos (definiciones de
experimentos, conjuntos de pruebas y herramientas) necesarios para ha-
cer benchmarking de la interoperabilidad de las tecnolog´ıas de la Web
Sem´antica utilizando RDF(S) y OWL como lenguajes de intercambio.
Describe dos actividades de benchmarking de las tecnolog´ıas de la Web
Sem´antica y ofrece los resultados detallados de las herramientas que par-
ticiparon en las mismas; el RDF(S) Interoperability Benchmarking, que
contemplalainteroperabilidadutilizandoRDF(S)comolenguajedeinter-
cambio, y el OWL Interoperability Benchmarking, que tambi´en contempla
la interoperabilidad pero utiliza OWL como lenguaje de intercambio.
ixx