Density estimation over data streams [Elektronische Ressource] / vorgelegt von Christoph Heinz

Description

und2007vEstimabtionersitätoausveracDhadertvaChristophStreilburgeFamshDissertationereiczurMathematikErlangungInformatikdesPhilipps-UnivDoktorgradesMarburgderorgelegtNaturwissensconhaftenHeinz(Dr.Wrer.Marburg/Lahnnat.)DensitydemSeeger18.SanderomProf.Fter:acmündlichebBernhereiceitgutachDr.MathematikagundPrüfungInformatik2007derr:Philipps-UnivDr.ersitätardMarburgZwalshDissertationProf.amJörg12.TAprilder2007henangenommen.amErstgutacAprilhVternelmemelemenAeletgrowithwingstudynestimatorsumstreams.bterutilizesogenericfcompreal-wworlderelyapplicationsstreamssharetthepropropksertssivyathatapprotheyInhathevyemethotoelldealvwiparticular,thputedtransienwithtestimationdataotedarrivingestimatorsinformassiveehvstream,olumes,solutso-calledcdatademand.streams.statistics,TheecnewharacteristicsanofisontheseedataestistoreathemsonrenderKetheirvanalysisfoundedbcomputationalyapplicabilitmeannorscanofreal-vconcomputationalvessingener,tionalatanalysis,ethecvhniquesinextremelyfordif-eletcult,d-inprothethemakjoritWhileykoftocasesernelevieKernels,ntheimpsummarizeossible.

Sujets

• Informatik
• Mathematics

Informations

• Publié par: philipps-universitat_marburg
• Publié le: 01 janvier 2007
• Nombre de lectures: 27
• Langue: Deutsch
• Poids de l'ouvrage: 6 Mo

Extrait

InformatikDensityFEstimaontionereicoMarburgverWDhaMathematiktPhilipps-UnivaorgelegtStrHeinzeMarburg/LahnamsacDissertationbzurhErlangungunddesderDoktorgradesersit?tdervNaturwissenscvhaftenChristoph(Dr.ausrer.eilburgnat.)2007demZwVAprilomTFDr.acProf.hhenbr:ereicardhhMathematikJ?rgundderInformatikamderePhilipps-UnivProf.ersit?tBernhMarburgSeegeralseitgutacDissertationter:amDr.12.SanderAprilag2007m?ndlicangenommen.Pr?fungErstgutac18.h2007tandAbstractbAtsgrodensitwingan,umarebHoereospfdesignreal-wetitors.orldaapplicationsimpsharebtheofpropcessingertofyelythatntheyximatehaordervresultseoftodsdealaswied,thneithertransienotthedatacanarrivingourselvintomassivweWDEs,vdataolumes,theso-callediondataks,streams.TheseThewhiccxharacteristicsstrategiesofextensivthesewithdataal,stmareaimpmsclassrenderktheirrnelanalysiseletbandyburdemeanyswofbconaluevcomplexitenrequirementionalastcrucialewcadaptationhniqueseletextremelycompliancedif-streams.cult,densitincthecessingmastream,joritisyproofestimatorscasesoneevdensiteld-ntoimpstreamossible.alreadyInlfact,fotots.bieinapropplicablewtordataghstreams,tecautecoutphniqueyhasunknotoimeettrigidofprononparametriccessingbasedrequiremenandtelets.swsucahyasicallyaapprosingletheirpasssevotheirvInerernelthevstreamestimatorsandcom-stricterlidatamitationstheironcollidesthecaforvevailableymemorye.onenWithstreamrespdevecttotokthesearequiremenyts,streamsantheadequatetsreal-timesolutionminingvandestimators,analysiscompresseofulativaondatacstreamofhaseacturnedcociatedutestimator.tothebcesucceainhighlyOurdemandingktask,estimatorswhicbuhblocanClusteronlyebforentacKernelskledcessedbtermsycaldareevanelopingoftailoredsolutionstieacfacilitatehniques.ofIntheirthissteps.wassessork,conductedwexpetaldelvaermoreetitivdeeplyAsinthistrevotecanallimperall,ortanintingbuildingdensitblodatacokortanomemfersmantheyofdatamethominingareandonanalysisernelsappwroacvhes,Kenamelyasdensitellywestimation,vwithdensittheestimatorsobtheoret-jectivfoundedepracticallytovadaptbuticomputationaltntoerelytedeshapplicabilite.dataparticular,streamkscenario.norDensitayeletestimation,yacanvitaleresearcputedhvtopicreal-vindmathematicalstreamsstatistics,ecauseaimscomputationaltoycapturewiththeprounknoessingwntsdistributionstreams.ofwaer,real-vdensitaluedestimationdatabsetabcompytedatastanalysis,imatingeitsotedunderlyingesprobabilittheyofdenernelsiwtvydensitfunc-estimatorstion.dataAinsuitablewithdensitproyrequiremenestimateforcanOurbforeaexploitedelettoygaintinsighrmedtd-inumteoreliesthepromainblofeaturesksofdatathethedata;whereithcanbloalsokprepareassothewithgroundseparateforWhileacessingvstream,arietbloykofarefssivurtmergedhetorestimator.analysissoluttasks.forDueerneltoytheutilizesimpecicortanceiofingdensitcytermedestimation,Kernels,vderivariousametestimatorhtheoodsdemand.haClustervsummarizeeprobelemeneeinnofdeovstatistics,elophedusedirnapprorecenresamplingtelemendecades.BothAmongethehmostbpromisingtmethogenericdstoarethethetegrationnonparamenewtforricmainones.cessingTheyInstandtooutthem,feranoemetheimenparametricstudyapproacincludinghthorouescompaasisontheycomponlyemakhniques.ethevoferystwdyeakeassumptionsouronhniquesterformhecompdata;Ovtheytheletsucceedtheestidatatsptheeakwnforythemselvaes.stream.TwaZusammenfassungiiEineResamplingstetigtigeweacthsendeoZahlelet-DicveitungonbAnesenwbendungenhsiehDatdiesesicksichlmitScdervVmittelserarbumeitungn?cwhdietiger,soinomphohenwVtoluminadereinvtreendereDatenerarbkwiconfroneinertiert.bAufgrun?hrenddtescderClus-CharakteristikfassenahedieserTsogenannttenzuDatenstr?mewurdestellthensictheitderenhAnalyseVmittelshkest?tigt.ont?tvhenbtionellerDicTereconenhnikdarstellt,eneziellalsundscauhewingeStr?men.ritescggenann,eweisenennobnickhDieseteitunggarDieunm?glicwich,ezielleheraus.eUmkDatenstr?meerarbanalysierenenzuxikte?nnen,sindmInussneineerarbenRatsprecexphendeeingehendTaucecenhnikcrigidenaren.VdiesererarbTeitungsanforderungenanngerecad?quathisctBeidewohlerden,alszuhdenenihreretewsieahderohnaufurheneinmaligim?glicteschengZugriwicaufom-jebdeseinesElemensicteitalsAaucKernhadietescstrikteDaBescr?hterrt?striktennkungvdesf?rvelet-Dicerf?gbarenenSpelteecompressed-cumitcbasiertherscz?her-lDatenstroms,ejedern.oAufgrundeinemdassoziiertierdeneVserDatenstromsAnforderungeneistKernel-Dicdieenad?quateelteVendeter-sogenannarbKernels,eitungScundBedarfAnalyseClustereinesereitsDatenstromsElemeneinealer?u?erstwanspruceinhsvmativollerAufgabhen.e,hnikwhelceinfacheneuerdieiEndiethenwichriklunghen.neuereTumfasseectellenhnikbentersucerforderlicinsbhmitmacecherglict.heDasalle-ZielterlegendieserderArbdieeitdieistvdiehnikAbdaptionDeineseinesBausteinsscvielermetrMininghen-erfahren.undsindAnalyse-Ans?tze,wn?mlictheoretischfundiertderaucDicpraktischbtescAufgrundh?tzung,Kf?rldenxiDaten-sindstromkjedonctext.nicDicthnetesceiteresh?tzungDatenstr?menselbsterecistbar.einedFeragestellunghdh?erzumathematiscabheneineStatistik,hdieKsicphtedereiScAnalyseh?tzuDatenstromsngwidmetderhWArbahrscsphederidaptionnonlel-icWhkveitsdichhh?tzerntefeinestreellwnstertimgunenBer?cDatensatzeshwiiguddermet,VumeitungsanforderungendessenonunDiebWekvannhteh?tzerVt-erteilungkundL?sung,Charakteristiktauzuaerfassen.ivEinWDEs,geeigneteraufDicblohkwtescVh?t-arbzerdeskwannei?bDatenelrdiescalsmitGrundlageseparatenf?rh?tzerwist.eiterf?hrendewAnalysenwdienedern.erarbDerdesWicsukzessivhvtigkreinigt.eitf?rderhDich?tzerhttesckh?tzungL?sungwurdeerwinspdenBausteine,vteeterrgangenenumJahrzehninenth?tzereeinzumitonstruieren.derKernelsEnbtvwiceiteteklungteenloktsprecStatistikhenderzusammen,Scelch?tzvwiederumerfahrenapproRec-hnesungdegetragen.ElemenInsberm?glicesondereBeidenicechentparametriscgenerischeaufgebaut,VeineerfahrenhehabtegrationenSsicrateghedabf?reiwalstlicvVoneitungsscbtteesonderererm?glicBeImdeutunghmenherausgestellt,idaersie,ndenimerimenVStudieergleicnheidezuunparametrischhenundVesondereerfahren,hnahezu?hnlickTehnikinevAnnahmenhen,belcez?glicjedohhdersamDatenunmacwhen.InKernel-SummeuelegenndErgebnisseWStudieaF?higkvderelet-orgestelltenDicechen,tescunh?tzerekz?hlentezuicdentenicDatenstromshzutpah?tzen.ra.Con.ten.ts.1.In.tro.duction.1.1.1.Data.Streams.and.Densit.y.Estimation..Measure.Bandwidth.3.4.3.......Densit.Data.e.35...a.T..................1.1.1.1.Data.SDensitt.rea.m.Phenomenon..3.4.8.........n...Analysis.........a...y....................1.1.1.2.Mining.and.Analysis.of.Data.StreamsAsymptotic.......3.4.5.....33.......Viabilit.n.....a......2a1.1.3.Densit.y.Estimation.otrovver.Data.Streams........Expansion.....W.....Daub.......a........4.1.2.Con.tributions......28.Discrepancy.............0.e...............F...............32.erties.............36ariate1.3EstimationOutline.of.the.Thesis..Practical.............34.of.Estimat...........dap.ion.............3.5.elet.y............10.2AnRelatedctiWWork.11.2.1.Pro.cessing.and.Querying3.5.1.1of.Data.Str.e.ams..3.5.1.2.elet...........3.5.1.3.v.........37.hies.elets........11.2.23.5.2Miningeletand.Analysis.of.Data.S.t.rea39ms............................3.4.1.of..............1.5.2.3.Densit.y.E.st3imation3.4.2oStratvgieser.Data.Streams......................31.Kernel.unction..................19.3.Data.Stream.Mo.del.and3.4.4MathematicalPropPreliminaries.24.3.1.Data.Stream.Mo.de.l.and.Pro.cessing.Requiremen.ts....3.Multiv.Kernel.y...................3.4.6.Considerations2.4.3.1.1.Data.S.t.rea.m.Mo.del........3.4.7.y.Kernel.y.io...................34.A.t.t.to.Streams..........24.3.1.2.Pro.cessing.Re.quir.e35menWtsv.D.nsit.Estimation.............................3.5.1.In.du.o.to.a.elets..25.3.2.Densit.y.E.st.imation........35.Multiresolution.....................36.W.v.Series.....................37.Discrete.a.elet26ransformation3.3.Naiv.e.Densit.y.Estimation......3.5.1.4.ec.W.v.......................38.W.v.Densit.Estimation..............28.3.4.Kernel.Densit.y.Estimationiii..iv.CONTENTS.3.5.2.1.Linea.rStreamsW.a.vKernelselet.Densit.y.Estimation......d-cum.............6.65......41o3.5.2.2.Thresho.lTdinedoW.a.v.elet.Densit.y.Estimationthe...n...ulat...k.......Step..42Memory3.5.2.3.MultivEvariate.W.aImplemenv.elet75De.nsit.y.Estimationulti...79.6.1.......82...6.1.3...y43.3.5.2.4vPrac.tandical.Considerations......5.1.5.........o.....of..................43.3.5.3.Viabilit.y.of.W.a.vaelet.Densit72yAnalysisEstimation....in...............77.Compression...o.Streams......45Kernel3.5.4ataAClusterdap.t.a.tEvion.to.Data.StreamsCluster.......Streams.............86.Data.....6.2.1.....o.ramew........45.3.6.ComparisontatiofXXLDensit.y.Estimation.Metho.ds....5.2.e.er.........5.2.1.Blo.............Merge....46.3.7.A.naiv.e.Densit.y5.2.3Estimator.o.v.er.Data.Streams....67.t.............69.In.Summary.......Implemen.and..46.4.An.Ov73erviewoof.XXL.and.PIPES.48.4.1.XXL..Extensions.................Other.es.....5.2.8.2.e.er.ariate.5.2.8.3.Stream...........Cluster.y.er.ams.erview...............80.of......48.4.2.F.unctionsMergeand.Aggre.gati.o.n.F.unctions..ev.............6.1.4.Cluster.............M-Kernels.univ............49F4.3SettingsCursors........f.F.ork.......................62.Implemen.o.in...........................63.Compressed-cum.iv.WDEs.v51Data4.4.PIPES..............5.Computation.a.c.WDE.......................5.2.2.Step................................52664.5CompressionMath..............................5.2.4.Managemen.............................5.2.5.aluation,.tegration,.nd.Measures............555.2.64.6tatiOthernPAlgorithmac.k.ages..............5.2.7.tati.n.XXL...........................5.2.8......................56.5.Compressed.-c.u.m.ulativ5.2.8.1eWDEWDEs:ypWandaStrategiesv.elet.Densit.y77EstimatorsCompresseoulativvWDEservDatamStreamsv57Data5.178ADeletionsFtheramew.ork.f.or.Statistical.Estimators.o.v.er.Data.Streams..6.Kernels:.Densit.Estimators.v.D.Stre.80.Ov.of.Kernels57.5.1.1.Cum.ul.a.t.iv.e.Estimators............6.1.1.aluation.Cluster.........................6.1.2.of.Kernels........58.5.1.2.W.eigh.ting.S.t.rateg.i82eCapturingsolving.........................85.Viabilit.of.Kernels........................606.25.1.3oCompressed-cumerulativariateeStreamsEstimators....