L’objectifduproble`meestd’e´tudierlesrudimentsdelammoccinueiroaledth´eioatn´ethieorou-de l’information - introduite en 1948 par Claude Shannon.
De´finitionsetnotations (Ω,A, Pgisenuenapserpecobabilis´e.d´) ln(x) ϕfanotcoidne´nfiei0]ersutsl,1] parx7→ϕ(x) =−. ln(2) Pourun´eve´nementAt´enbilirobadepopnoesunno,elli(A) =ϕ(P(A)). htlessur[0dne´nfieifanotcoi,1] par ln(x) het pour(0) = 0x∈]0,1], h(x) =−x ln(2) Pourunevariableale´atoireXr(Ωiesu´efinetedid`rcs,A, Prse´elrua`av)ussosepoons,leelevrese´r d’existence : X H(X) =h(P(X=x)) x∈X(Ω) SiXlavasruesnadnenumbsefinleiest`{x1, x2, . . . , xn}, alorsH(X) existe et, en notantpk=P(X=xk), on a : n n X X H(X) =h(P(X=xk)) =h(pk) k=1k=1 Remarque:Enthe´oriedel’information,i(A)tspaep´leetnemene´ve´l’dedetutiernciAetH(X)est l’incertitude moyenne- ouentropie- deX.
1
Partie Ine´entmesevs´dedetutierncI ◦ I.1 )On choisit une carte au hasard dans un jeu de 32 cartes. SoitAenv´´el’tenem«decœdamelaurritetracaltseee´». Que valentP(A) eti(A) ? ◦ ∗ I.2 )Soitn∈N. On lancenilrbe´.ece´eqeiuunisi`epfo Atv´enemenestl’´e«obtenirnfois PILE»rseci´ePr.i(A). ◦ I.3)Ve´rifierlespointssuivants: 0 0 (i)Pourun´ev´enementΩquasi-certain:i(Ω ) = 0. (ii) SiA’ltemene´ve´entcontraireA´tqeiurpbobael,soralssoni(A) = 1. (iii) SiAetBsitnoe´dn´eilitobabalrpoprunastepdnPet siP(A∩B)6= 0, alorsi(A∩B) =i(A) +i(B). ◦ I.4)Pre´ciseri(A1∩A2∩. . .∩An)quanmenestneseld´ve´A1, A2, . . . , Ansont mutuellement ind´ependantsetP(A1∩A2∩. . .∩An)6= 0. ◦ End´eduireunenouvelled´emonstrationdeI.2). ◦ I.5 )SoitAetBdeux´ev´enmenestetsluqeA⊂BetP(A)6= 0. Compareri(A) eti(B). ◦ I.6 )Que vaut limx→0ϕ(xluat?tinteelleetqu)pnoi-tue´rprtatecedeesr´doonernn +
Partie IIenIidcs`rte´eeda’tuonierveacreiratbilteauld ◦ ∗ II.1 )Soitn∈N. SiUnsuit la loi uniforme sur{1,2, . . . , n}, que vautH(Un) ? ◦ II.2 )Si on supposeP(Z= 1) = 1/4, P(Z= 2) = 1/4 etP(Z= 3) = 1/2, que vautH(Z) ? ComparerH(Z) etH(U3). ◦ II.3)Onseproposedesimulerinformatiquementunevariableale´atoire. On supposera querandom(3)auitsahafrnoue´erme´lnudrbmonentde{1,2,3}et que random(2)´eeln´duarasuhtaofruinedtnem{1,2} programESSEC2003 var ini,y : integer; begin ini:=random(3); ifini=3theny:=random(2) ;elsey:=3 ; end; On appelleYle contenu deyemrgmae`rpautecx´seroupndioESSEC2003. Donner la loi deYnaecp´eronesle,rcsalcuE(Y) et son incertitudeH(Y). ◦ II.4)Ve´rifierquehest continue et positive sur [0,1]. ´ Est-elled´erivableen0?Etudierhsentperd´teee.ativreasssnieberocru ◦ II.5 )SoitX´ealleab`areoiatiravenuemblefini.avelrudsnausensn Montrer queH(X)>italsi´ets,eleeueva0ge´c,sintmeXest quasi-certaine.
Partie III´edealitaximMeirtpo’lne ◦ ´ III.1 )Etude pourn= 2. Pourx∈[0,1], on poseh2(x) =h(x) +h(1−x). 2
a) Pourx∈[0,1], on a clairementh2(x) =h2(1−xgnifiuesi).Qa`terecsu´eatltanqu la courbe deh2noro´m?edansunrep`ereorth ´ b) Etudierh2et donner son graphe. c) SoitXvinaerusoldiutenablevariatoial´eenuapariledonluBererem`etp∈]0,1[. Montrer queH(X)6st,ieslumeneva1eti,est´liga´eecp= 1/2. ◦ ´ III.2 )Etude pourn= 3. 2 a) SoitOl’ensemble des (x, y)∈]0,1[v1fiant´eri−x−y >0 eth3´endioctiefinfanol surOpar : h3: (x, y)7→h(x) +h(y) +h(1−x−y) OnadmetqueOest un ouvert. Montrer queh3admet au plus un extremum surO. b)Justifierparunargumentdeconvexite´: pour toutu >0,ln(u)6u−1 (1)
Iurpoutraitsuone,aDalsnquestrationsn´dmenolisireasln(u) =u−1si, et seulement si, u= 1. c)Ende´duirequeh3admet un maximum global surO. On pourra utiliser(1)pour1/(3x)et pour1/(3y)entre autres. d) SoitXsntoire`avaleursdanuveraailbae´lae{x1, x2, x3}. Montrer que : H(X)6ln(3)/,istneesi,lit´ulemetse(n)2le´agvaceXsuit la loi uniforme sur {x1, x2, x3} ◦ III.3 )Soitn∈N\ {0,1}. SoitXruelnadserioava`alleat´evaneabrius{x1, x2, . . . , xn}. On pose pk=P(X=xk). a) Danscette question on suppose que pour toutk∈ {1,2, . . . , n},pk>0. 1 En utilisant (1) pour les, montrer que : npk H(X)6ln(n)/lumetees,inest)2(nlga´eecavi,est´liXsuit la loi uniforme sur {x1, x2, . . . , xn}. b)Ve´rifierquelaconclusiondua)estencorevraieensupprimantlacondition «pk>0 pour toutk∈ {1,2, . . . , n}». ◦ III.4 )Soitp∈]0,1[ etGatoial´eivanresuuenbaelavirpadeueiqreetm`ragiolenutrte´moe´p. ∗ On posem=E(G) et pourk∈N,pk=P(G=k). a) Rappelerla valeur dem, montrer queH(G) existe et la calculer. ∗ b) SoitXeuqelleteriota´ealleabrivaneuX(Ω) =N,E(X) =metH(X) existe. ∗ Pourk∈N, on poseqk=P(X=k) et on supposeraqk>0. ∗ Enutilisant(1)v´erifierquepourtoutk∈N, on a : qkln(p) + (k−1)qkln(1−p)−qkln(qk)6pk−qk et´etablir:H(X)6H(Gi,ts)vacee´agilt´esi,etseulemenXmeˆeamtluiseuqiolG.
Partie IVuecoreinnt’uneudedrtitIncetaiolae´baelavir