A semantic concept for the mapping of low-level analysis data to high-level scene descriptions [Elektronische Ressource] = Ein semantisches Konzept für die Abbildung von Low-level-Analyseergebnissen auf High-level-Szenenbeschreibungen / von Holger Neuhaus

Holger Neuhaus

Description

A Semantic Concept for The Mapping ofLow-level Analysis Data to High-level SceneDescriptionsEin semantisches Konzept fur die Abbildung von low-levelAnalyseergebnissen auf high-level SzenenbeschreibungenD I S S E R T A T I O Nzur Erlangung des akademischen GradesDoktoringenieur(Dr.-Ing.)vorgelegt derFakult at fur Elektrotechnik und InformationstechnikTechnische Universit at IlmenauvonDipl.-Ing. Holger Neuhausgeboren am 31.08.1972 in Rotenburg (Wumme)vorgelegt am: 18. Juni 2007Gutachter:1. Prof. Dr-Ing. Karlheinz Brandenburg2. Prof. Thomas Sikora3. Dr-Ing. Ulrich-Lorenz BenzlerVerteidigung am: 24. Oktober 2008urn:nbn:de:gbv:ilm1-2008000197AbstractAlong with the growing need for security, an increasing amount of surveil-lance content is created. It is indispensable to index the content in advancein order to enable quick and reliable searches on the output of hundredsor thousands of surveillance sensors installed at a single facility. For thispurpose, the concept of Smart Indexing and Retrieval (SIR) enables cost ef- cient searches by generating high-level meta data. The generation of thismeta data has to be done automatically, based on the low-level features ex-tracted by content analysis algorithms. Creating it manually becomes moreand more di cult to handle in reasonable time at reasonable costs.

Sujets

• Informatik

Informations

• Publié par: technische_universitat_ilmenau
• Publié le: 01 janvier 2008
• Nombre de lectures: 71
• Poids de l'ouvrage: 1 Mo

Extrait

ASemanticConceptforTheMappingof
Low-levelAnalysisDatatoHigh-levelScene
Descriptions

EinsemantischesKonzeptf¨urdieAbbildungvonlow-level
Analyseergebnissenaufhigh-levelSzenenbeschreibungen

DISSERTATION

zurErlangungdesakademischenGrades
Doktoringenieur(Dr.-Ing.)

derorgelegtvFakult¨atf¨urElektrotechnikundInformationstechnik
TechnischeUniversit¨atIlmenau

onvNeuhausHolgerDipl.-Ing.geborenam31.08.1972inRotenburg(W¨umme)

vorgelegtam:18.Juni2007

ter:hGutac

1.Prof.Dr-Ing.KarlheinzBrandenburg
2.Prof.Dr-Ing.ThomasSikora
Benzlerh-LorenzUlricDr-Ing.3.

Verteidigungam:24.Oktober2008

v:ilm1-2008000197bn:de:gburn:n

Abstract

Alongwiththegrowingneedforsecurity,anincreasingamountofsurveil-
lancecontentiscreated.Itisindispensabletoindexthecontentinadvance
inordertoenablequickandreliablesearchesontheoutputofhundreds
orthousandsofsurveillancesensorsinstalledatasinglefacility.Forthis
purpose,theconceptofSmartIndexingandRetrieval(SIR)enablescostef-
ficientsearchesbygeneratinghigh-levelmetadata.Thegenerationofthis
metadatahastobedoneautomatically,basedonthelow-levelfeaturesex-
tractedbycontentanalysisalgorithms.Creatingitmanuallybecomesmore
andmoredifficulttohandleinreasonabletimeatreasonablecosts.
Whereasformerlyproposedapproacheshavebeenstronglyapplication
dependent,inthisthesis,agenericconceptformappingtheresultsofthelow-
levelcontentanalysisdatatosemanticeventdescriptionsanditsapplication
ispresented.Theconstitutingelementsofthisapproachandtheirunderlying
conceptsaswellasanintroductiontotheirapplicationareshown.Themain
contributionoftheapproacharethegeneralityandtheearlystageatwhich
thestepfromlow-leveltohigh-levelrepresentationistaken.Thisreasoningin
themetadatadomainisperformedonsmalltimeframeswhilethereasoning
oncomplexerscenesisdoneinthesemanticspace.Evenanunsupervised
self-assessmentispossibleusingthesemanticapproach.

ords:Keywscenedescription,behaviorrecognition,eventontology,smartindexing,video
nceeillasurval,retriev

Zusammenfassung

ZusammenmitdemwachsendenBedarfanSicherheitwirdeinezunehmen-
deMengean¨Uberwachungsinhaltengeschaffen.Umeineschnelleundzu-
verl¨assigeSucheindenAufnahmenhunderterodertausenderineinerein-
zelnenEinrichtunginstallierten¨Uberwachungssensorenzuerm¨oglichen,ist
dieIndizierungdiesesInhaltsimVorausunentbehrlich.ZudiesemZweck
erm¨oglichtdasKonzeptdesSmartIndexing&Retrieval(SIR)durchdie
Erzeugungvonhigh-levelMetadatenkosteneffizienteSuchen.Daesimmer
schwierigerwird,dieseDatenmanuellmitannehmbaremZeit-undKosten-
aufwandzugenerieren,mussdieErzeugungdieserMetadatenaufBasisvon
low-levelAnalysedatenautomatischerfolgen.
W¨ahrendbisherigeAns¨atzestarkdom¨anenabh¨angigsind,wirdindieser
ArbeiteingenerischesKonzeptf¨urdieAbbildungderErgebnissevonlow-
levelAnalysedatenaufsemantischeSzenenbeschreibungenpr¨asentiert.Die
konstituierendenElementediesesAnsatzesunddieihnenzugrundeliegen-
denBegriffewerdenvorgestellt,undeineEinf¨uhrunginihreAnwendung
wirdgegeben.DerHauptbeitragdespr¨asentiertenAnsatzessinddessenAll-
gemeing¨ultigkeitunddiefr¨uheStufe,aufderderSchrittvonderlow-level
aufdiehigh-levelRepr¨asentationvorgenommenwird.DiesesSchließeninder
Metadatendom¨anewirdinkleinenZeitfensterndurchgef¨uhrt,w¨ahrenddas
SchließenaufkomplexerenSzenenindersemantischenDom¨aneausgef¨uhrt
wird.DurchdieVerwendungdiesesAnsatzesistsogareineunbeaufsichtigte
SelbstbewertungderAnalyseergebnissem¨oglich.

orter:¨hlagwScSzenenbeschreibung,Verhaltenserkennung,Ereignisontologie,”Kluge“Indexer-
stellung,SucheinVideos,¨Uberwachungssysteme

meinen

Eltern

iii

tswledgmenknoAc

IamthankingmysupervisorProf.Dr.-ing.KarlheinzBrandenburgforha-
vinggivenmetheopportunitytocommenceinthischallengingandmost
interestingarea.Aboveall,Ithankhimforhisvaluablecluesandreferences,
andforhisguidanceandsupportthroughoutthiswork.IamthankingProf.
Dr-Ing.ThomasSikoraforhissupport.

IthankDr.Ulrich-LorenzBenzlerforhisguidanceandmentoring,the
unboundedpatienceandreadinessandtheadministrativesupporthegave
ears.ythesethroughme

Idenprogramm”thanktheandRobertnamelyBoschDr.GmLarsbHforPlacke,emploDr.yingAndreasmeintheEngelsberg,“Doktoran-Dr.
WolfgangNiem,Dr.StefanMueller-Schneiders,andThomasJ¨ageratRo-
bring,ertandBoschtheGmwillibHngnessHildesheimforcounfort-theirandendlessadministrativdiscussions.esupport,Greatthegratitumento-de
tomylektorsUlrichandMarco.IthankUweDaniel,theheadofthedepart-
mentCR/AEM,forhissupportinallformalities.

theIgreatthankcommalltheunityotheranddothectoralmanysoircandidates´eestoatstrengRobertthenBoscthishcommHildesheimunityfor;-)

MyspecialthanksgototheKernTeam.

onsIwethankhadabRobouttheWijnhovtopicenforandhisforcohisoperationconstructivandetheliteraryprohinductivts.ediscussi-

VielenDankanKerstinLietzf¨urdieBereitstellungdes”Drehortes“.
felloIwthankstudenStimonandfriendMoserbutnotalsoonlyforforhishimprofessionalfortifyingmeadviceandandbeingsuppaort.good

iv

ZusprucIchhdankundeVerstAndrea¨andnis&Gert,indenUlrikwe,enigerSoerenerfolgreicundMarcohen“f¨urZeiten.Unterst¨uzung,
”WeiterhindankeichmeinendamaligenKommilitonenMarcusKern,Matt-
hiasKautznerundHelge-HubertusHundackerf¨urdie¨außerstproduktiveZu-
sammenarbeitw¨ahrenddesgesamtenStudiumssowieChristianWeigelf¨ur
ebendies,alsauchihmundRossif¨urdiefreundlicheUnterkunftinIlmenau.

CheerstotheAustralianOutbackforinspiration.

Meingr¨oßterDankjedochgiltmeinenEltern1,diemichstetsmitallihrer
Kraftunterst¨utztundgef¨orderthabenundmirsodenlangenWeg,denich
gegangenbin,ersterm¨oglichten.

1Mygreatestgratitudegoestomyparents

v

Contsten

1TheSmartIndexingandRetrievalProblem
1.1Introduction............................
1.2ProblemStatement........................
1.2.1Anoverallsystem.....................
1.2.2Fieldsofapplication...................
1.3ExistingSolutions.........................
1.3.1Model-basedEventRecognition.............
1.3.2BlankSpots........................
1.4DefinitionofaSemanticConcept................
1.5Organizationofthiswork....................

1123455889

2RecentAdvancesintheFieldofAnalysisandModelingof
ObjectMotionandBehavior10
2.1Introduction............................10
2.2Overviewonappliedtechniques.................11
2.2.1ProbabilisticandStochasticTechniques.........11
2.2.2SymbolicTechniques...................13
2.2.3PetriNet.........................14
2.3Action-orientedmotionanalysisandtracking..........15
2.4Scenarioanalysis.........................17
2.5Eventdetectionandrepresentation...............21
2.6OntologiesforVideoEvents...................34

3EmployedTechniquesandTools37
3.1Introduction............................37
3.2Ontologies.............................37
3.2.1Ontologydesign......................37
3.2.2OntologyLanguages...................39
3.2.3VERL...........................42
3.3TheVCAAlgorithm.......................56
3.4Retrievalqualitymeasures....................56

vi

4

5

3.4.1Recall...........................57
3.4.2Precision..........................57
3.5The“GroundTruth”.......................57
ASemanticConceptfortheMappingoflow-levelAnalysis
Datatohigh-levelSceneDescriptions58
4.1Introduction............................58
4.2Terminology............................59
4.3EventMorphemes.........................63
4.3.1MetaKnowledge.....................64
4.3.2SemanticModule.....................65
4.3.3EventMorphemeTaxonomy...............66
4.3.4SemanticInterpolation..................68
4.3.5Reasoning-outfalsepositives...............69
4.3.6EventMorphemePath..................69
4.4ApplicationofEventMorhpemes................69
4.4.1Separatelistofobjects..................69
4.4.2EventMorphemeTemplate...............70
4.4.3EventMorphemes’sphereofresponsibilityforreasoning71
4.5Whereistheindex?........................71
4.6Anexample............................72
4.7ImplementingEventMorphemes.................74
4.7.1Anoverallsystem.....................74
4.7.2TheEventMorphemeOntology.............75
4.7.3TheEventMorphemedetectormodules.........75
81Results5.1Introduction............................81
5.2RealizationofUseCases.....................81
5.2.1Fight............................82
5.2.2Shopping.........................82
5.2.3CriminalBehavioratanATM..............83
5.2.4DetectBeggar/SalesmanonStreet...........83
5.3Reasoningoutfalsepositives...................84
5.4EventMorphemedetection....................84
5.4.1Resultsforthetestsequences..............86
5.4.2Errorbounds.......................87
5.5Comparison............................88
5.6Mappingotherapproaches’eventstoEventMorphemes....92

vii

6Conclusionandoutlook93
6.1Introduction............................93
6.2Assessingtheresults.......................94
6.3Outlook..............................95

AZusammenfassungindeutscherSprache104
A.1Einleitung.............................104
A.1.1Problemstellung......................105
A.1.2EinGesamtsystem....................106
A.1.3Anwendungsgebiete....................107
A.2ExistierendeL¨osungen...............