Bimodal audiovisual perception in interactive application systems of moderate complexity [Elektronische Ressource] / von Ulrich Reiter

Ulrich Reiter

Informations

• Publié par: technische_universitat_ilmenau
• Publié le: 01 janvier 2009
• Nombre de lectures: 20
• Langue: English
• Poids de l'ouvrage: 15 Mo

Extrait

agBimoter,dalhniscAudiovisualMedienP1.ercepR.tioThomasnhinAugustInteractiveBrandenApplicationIlmenauSystemsAmesofCA,MoraunhoferderateTComplexitbyhenDissertationv:ilm1-2009000273zurDr.-Ing.ErlangungTdesUnivakDr.adPh.D.ehmtainisc3.henorerGradesf?rDoktoringenieurhnik,(Dr.-Ing.)derv17.or2007gelegtwissenscderhe:Furn:nakult?tter:f?rUniv.-Prof.ElekKarlheinztrotecburghnikecundheInformationstecersit?thnik2.derDurandTBegaultecNASAhniscResearchenCenUnivMouneView,rsit?tUSAIlmenauDr.-Ing.vSponFDipl.-Ing.InstitutUlricDigitalehtecReiIlmenautagerEinreicgebung:orDezemeneramT1.derJulihaftlic1970Ausspracin21.Gelsenkirc2009henbn:de:gbGutachrelevZusammenfassungdenierteDieidenvescorliegendeaufDissertationInbonneneneEGscnanalyseh?ftigtzun?csicunktionsf?higkhnicmitabgestimmA-implemenspIn-ektenEingabderHilfeQundualiedingtt?tsvwonahrnehmhungorrektvonondieinAuswteraktivmoenM?glicaudiotzeitbvisuellenTAnwwdieendungssystemen?hrendmoundderaterEineKungstestsomplexit?t,ist.wiersieZielenz.B.edurcWhWdenerizMPEG-4InStandardvdeniertvisuellsind.iDieahrnehmFundrage,Durcwteelcterpreta-hewurdeFtaktorenheEinussderaufeitendievwtahrgenommeneuniziertQualit?tervtonewaudioersonen.visuellennAnauftreten,woendungssystemeneiterehabexpenexistierendenistdaleenobtscFheideutlic-fehlendedendndaf?r,terteilungwieExpdiet.nkurdiebgegebegderrteeerstelltennzthinauszurdenVwerf?gungauditivstehendeeit,Reckhenleistung(cross-mof?rndieeitEcvisuellenhdurctestmethozedingungen,eit-tlicSimderulationExpvansconund3DderSzenenDundobderenAudio-EngineDarbietungorfensinnwvaufolleitevSzenenerteialleltEcwhnerdenRaumakustiksoll.desW?hrendkQualit?tsfaktorenkf?rMunimoPladaleeinemauditivBenerfacealsderaucdurchest-visuelletlicStimtudielTi?nnenseitLoggilangemaufgezeicbdieekatannStatis-twsinddeundestmethoenf?rtsprecahr-hendezMo?bdelleaudioexistieren,m?glicmei?ssendassdiesehf?rtnisdindeahrnehmbimoeinedalehaudiodurcvisuelleteWerscahrnehmeiunginotencwhbimohergeleitetungwnenerden.steuern.Dabhf?hrungeiungsexpidiestitbestsystemsekDar?bannent,AnhaltspunktedassveineaufWGesamecinhselwirkungMozwi-diescqualit?theneurteilenauditivwerInunddiesenvisuellertQualit?tgenebWiederholbarkestehvt,audionicWhungsteststhjedoTcdenh,-bwieunddieeigenMechehanismenhf?hrungmenscaufeinanderh-tenlicerimenhermitaudiohlie?endervisuellerertungWInahrnehmtionunggewgenauDaten.arbazueiten.eineEsjektbasierte,wirddulareaucmitenhwangenommen,unddasstiert,derelcFbasierendaktordenInhktneMPEG-4raktbihreibungonF?higkeinenzurwhesenerectlicunghenonEinussbietet.aufnerhalbwenahrwicgeeltennommeneestsystemsQualit?tommhat.derDasPZie-4lydiesermitArbhard-eitaregest?tztenwutzerinar,eeinzurSystemef?rQualit?tsbdieertungenzeitsparendehundTwpeitgehendS?mautoma-hetisierteanDurcehf?hrungEreignisse,vwoneinersubestsessionjektivkenmitaudioeinesvisuellenng-TWolsahrnehmhnetungstestsf?rimwgegebDeneneKmitontikprogrammentextortiertzuerden.erstellenAnalyseundresTf?rdeneinige-empfehlungenexemplariscunimoheWExpnehmerimensollteteeigen,einzusetzen,derenwertragungelcdenhvisuellenealler-hsteDabAussagenwurde?bh,erbaudiodurcvisuelledieWKennecdehselwirkungenzugrundeliegeundedenWEinussungsprozessevhstonUnInnacteraktiondenaufderdhgef?hrtenierimenesinnWollahrnehmheinungWerlaubtenrhsollten.nDemzufolgeonngliederteEinussfaktorensictiziertherden,diedieArbdaleeitahrnehminimdreieAufgabKenbtexte-BeireicDurche:derdieahrnehmErstellungerimeneineswurdegeeignetenFTeestsystemsdesaufTdervGrundlageiert.eerinesergabvsicorhandenen,erstejedof?rcEinusshoninteraktionseidienerahrgenommeneAudiofunktionalit?ttqualit?t:noteraktioncderheneingescdalit?thr?nktenerringertMPEG-4F?higkPlaAudioykers,bdaszuSic?nnen,her-?hrendstellengest?tztevteraktionondal)VEektehrgleiczwingehdbarkreitert.undforAbstracttsTheerdissertation.atthehandcollected:dealsaudiowithandasptsectstoofwqualitdoytspsimplerceptionhapticofeninsteractivbimoevaudioinuencingvi-psualeapplicationofsystemspofamothederatetedcomplexitonytheasjectse.g.wsdenedcollectedinAtheforMPEG-4whetherstandard.bBecausepinaccordingtheseFsystemsntheenasystem,vrstailableerallcomputingdalitpwhereasocomparabilitwofertheisordinatedlimiandtobeasd,wsitsimisdescriptiondeMPEG-4cisivhebtotheirkntoorelevwassessmenwhicehappropriatefactorstheinuencemethothesubperformederceivtheedeasilyqualitthatyab.sOnlyofthencouldcanhtheumaevconailableerceptioncomputingByptsoandwAparterroleberceivevdistributedtheinhtheaudiomost(cross-moeectivgeeandandducibilitecienvisualtresults,werformanceaofyerimeforthetheterpretationsimdata.ulationmoandenginedisplaandyhofpau-rodiolationsvisualMPEG-43Dinscenes.fromWhereasyqualitbyoffactorsDevicefortesttheenunimoydalloauditorythatandjournalizevisualtstimduringulisession.arecanwortedellanalysisknotownanalysisandellrespishedectivandemomoedelsasofndptransfererceptionvi-hacasevossible.eevidenbdueeenknosuccessfullythedproeavisedlbasederimenontheirthiseknothewledge,thethisaisernotcouldtruedforthatbimoodaldalaudiothevisualonperformingerception.expFtheorfunctionalittheoflatter,vitthat,isforonlyinknoinwnothatysomebkindteractionofminreducesterdepabilitendencyratingbyetsuallywineennotauditorythisandyvisualreproerceptionydoaudioesassessmenexist.andTheandepxactofmecserieshanismscoofexphnumanincludingaudioanalysisvisualinpofercecollectedpAntiject-basedondularharenderingvweco-designednot-implemenbwhiceenallode-toscriberformed.eItom-acousticisu-assumedbasedthattheinsceneteractionparadigmwithreal-timeanApartapplicationtheorplasceneer,hastestaencmaconsistsjorainuenceInputupusedonythesubptoerceivteredqualitoratingsvaerallggingqualitolyallo.toTheallgoalanofevthistswanorktwTheasdatatobdeviseexpacomfortablysystemfurthercapableusingofstatisticpols.erformingthoroughsubofjectivweeaudiotablvi-testsualdsassessmenrecommendationstuni-sdalinjectivtheassessmengivwenpcontotextoutinaatolaudioarsualgdalelyisautomatedpwItaecameyt.-Bytoapplyinglimitedthewledgesystem,outrstunderlyingevierceptualdencecesseregarding-audionovisualeincategorizationterdepexpendencytsandtoinuencegoalsofbinhelpfulteractionorganizeupresearconinpeld.er-urthermore,ceptionnshouldbbofefactorscolblected.iThereforeethistiedwexerciseorktrolwvasbimocompposedinofgivthreeceltext.dpstheoferceptualactivities:erimentheusingcreationdevisedofitsaytesteasebuseencasheried.basedfromonsometheindicationsathevofailabletbutraction(regardingptheedaudiovfunctionalitquality)hasomewhaterestrictedeenMPEG-4inplainyauditoryer,otheypreoacuman'scupationywithcorrectlymethothedsqualitand,framewviorkbasedre-dal)quirementeractiontsesthatnecessarilyeneratensueect.reFDanksagungten,DieihrevdankoeirsielHerrniegendeDiplArbf?reiFtderenttstandR.iSpmmeinenRahmenhmeinerSatuT?tigkkritisceitdieseralsewissenscndhaftldiesericArbheresen.Mitar-Dr.bPh.D.eiterr.-Ing.amWInstituticf?rollegenMedienMathiastecarkhnikMSc.dero-PyykkTangeregtenecDiskussionenhnErstel-ieit.scKatjahenhUnivterst?tzungersit?twIlmenau.eMeinOhDank?regilnicthdenhMitarbHerrneiternDurandundBegaultStudierendenunddesDFThomasacorer.hgeeiterhinbieteseElektronischheKMedienHerrntec.-Inf.hnik,Scwwelcundheraumireng.dieJumiskErst?ediellungundderhenvborliegendenderDissertationlungerm?glicArbhMeinerten.rauMeindankbicesondererf?rDankUngiltumeinemGeduldDoktorv?hrendaterErstHerrnllungUniv.-Prof.Dissertation.Dr.-Ing.neKarlheinzwBrandendieseburgeitundhdenm?glicbgeweidenUlricKReiterorreferen.ContentsStreamsI.Introercduction.1.1.Introiduction.3.1.1.BacPkground..and.......trilo.39.................47...A...Bimo...............t...eradditivit...2.4.6........3.1.2POv.erviewctivof.the45Thesis..P.Preliminary.....visual.....wn.....37.......37.........y.........ed........5.1.3.Con.tribut.i.ons.of.thettenA.u.thor..P...............tion.......A.y...A.-.Mo.........3.ralization.u..7.1.4.Related.Publications2.4binyPthe.Author......Visual...............V.................Sync....7.I.I.Related.R.e.sea2.4.4rchP11y2.Human.P.erception.13.2.12.4.5Visual.P.erception............Sic...............2.5.in.............43.of...........2.5.2.Cycle....14.2.1.1.Ph.ysiology.of2.5.3VisualAP.erception............Di.tio.erceptual.mits.....F.tion.Qualit.BTL.a.47.osit....14.2.1.2.Visual.P.erception.of.SpaceRo.and.Audio.Stim.l.................35.Kno.Eects.Human.dal.erception..........15.2.2.Auditory.P2.4.1erceptionDominance.............................2.4.2.en.quism..........................18.2.2.1.Ph2.4.3ysiologyhronof.Auditory.P.erception..........................40.Impac.on.erceiv.Qualit..18.2.2.2.F.requency.and.Directional.Hearing./.Auditory.Lo.calization42.Sup.y......22.2.2.3.Auditory.P.erception.of.Space..........43.Motion.kness............................23432.3AMectionhanismsHumanoferceptionCognition./.Pro.cessing.of.P.ercepts............2.5.1.erception.Multiple............24.2.3.1.T.ransmission.of44InformationTheinerceptualthe.Nerv.ous.System...................25442.3.2SeleMeetttenho.ds.of.Examination......................2.5.4.vided.tten.n.P.Capacit.Li...........2.5.5.rom25tten2.3.3toNeerceptualuyrophtheysiologyPofeptuthelHumandelBrain2.6.P................................26492.3.4ComputationalJoinomtcousticsProAucessing51of.VI.Con.ten.tsImplemen3.1.Exact.SimEngineulation.vs..Real-Time.Rendering......Rendering.......Mediator.......n..............53ANGA3.2HostRenderingEngineMethoProds..t.......T.....88.............5.3.5...........r.......5.5............54.3.2.1.ITmage.SourceFloMetho.d..to.the.5.6.1...Exampl.103...5.3.1...................s.......5.3.4......55.3.2.2.Ra.y.T.racingandMetho.d..Conditional.................Ro.......dular.....dule.....92.......92....56.3.2.35.5.4Beam.T.racing.Methoerviewd......C...98.Comp...5.5.8.Chart:.5.6.erceptual...de.....4.....Approac............59.3.2.4.Other.Metho.ds.for.theRoutesER.Calculation..............5.3.3.ol................63aluators3.2.5.Rendering.of.Diuse.R.e.v.erb.erationScript...............5.3.6.and.........90........63.3.2.6.Asse.m.bly5.3.8of.ER.and.DR..........91.A.MPEG-4...........ANGA.Audio.......5.5.1.are..........66.3.3TAuditoryduleVirtual.En.vironmen.ts......T.dule.............ANGA.Mo.........94.Class............675.5.63.4ChartAudiompvisualExampleVirtual.En.vironmenCurrentsT.ts.......ne.Flo.T...