Description statistique des classes d'une partition

Description

ENSAE - 1ère année














Description statistique des classes
d’une partition




Olivier Sautory



Cette note présente un certain nombre d'indicateurs statistiques permettant de décrire les classes d'une
partition, disponibles dans les macros SAS PARTNUM, PARTQUAL, DESNUM et DESQUAL.


Soit PC= KKCC une partition d’un ensemble de n individus Ii= 1KKnsur lequel sont mesurées
[] {}
1 kK
des variables numériques ou qualitatives. Ces variables peuvent avoir participé ou non à la construction de
la partition : elles sont actives ou supplémentaires.

On cherche à identifier les variables, ou les modalités des variables qualitatives, qui :

 caractérisent le mieux la partition, i.e. celles qui discriminent le mieux les différentes classes, d’un point
de vue global ;

 caractérisent le mieux chacune des classes : pour une classe donnée, on repère

− les variables numériques dont la moyenne dans la classe est "très différente" de la moyenne dans
l’ensemble I,

− les variables qualitatives dont la distribution dans la classe est "très différente" de la distribution
dans I,

− les modalités dont la fréquence dans la classe est "très différente" de la fréquence dans I.


On note la variable de classe associée à la partition, i.e. la variable qualitative qui à chaque individu
associe la classe à laquelle il appartient :

∀∈iI ()iC=⇔i∈C
kk

On note n l’effectif de la classe C .
k k


I. Cas d'une variable ...

Sujets

• Aktionsart
• Transmission de la grippe
• Classe préparatoire ENS Cachan D1
• Variables d'échelle de Bjorken
• L'Hypothèse du tableau volé
• Probichtip

Informations

• Publié par: Naphong
• Nombre de lectures: 205
• Langue: Français

Extrait

ENSAE  1ère année

Description statistique des classes d’une partition

Olivier Sautory

Cette note présente un certain nombre d'indicateurs statistiques permettant de décrire les classes d'une partition, disponibles dans les macros SAS PARTNUM, PARTQUAL, DESNUM et DESQUAL. Soit P=CKCKC une partition d’un ensemble de n individus I= { 1KiKn } sur lequel sont mesurées [ 1 k K ] des variables numériques ou qualitatives. Ces variables peuvent avoir participé ou non à la construction de la partition : elles sontactivesousupplémentaires. On cherche à identifier les variables, ou les modalités des variables qualitatives, qui : • caractérisent le mieux la partition, i.e. celles qui discriminent le mieux les différentes classes, d’un point de vue global ; • caractérisent le mieux chacune des classes : pour une classe donnée, on repère − les variables numériques dont la moyenne dans la classe est "très différente" de la moyenne dans l’ensemble I, − les variables qualitatives dont la distribution dans la classe est "très différente" de la distribution dans I, − les modalités dont la fréquence dans la classe est "très différente" de la fréquence dans I. On note lavariable de classeà la partition, i.e. la variable qualitative qui à chaque individu associée associe la classe à laquelle il appartient : ∀i∈I (i)=C⇔i∈C k k On note n l’effectif de la classe C . kk I. Cas d'une variable numérique Soit X une variable numérique définie sur I. On note : 2 • X et Sla moyenne et la variance empiriques de X dans l’ensemble I 2 • pourk=1KK : X et Sla moyenne et la variance empiriques de X dans la classe C . k k k On a les relations : K n k X=X k ∑ n k=1 K K 2 n n 2 k 2 k S=S+X−X ∑ ∑ k ( k ) k=1 n k=1 n 2 2 =S+S intra inter

1

I.1. Caractérisation de la partition par la variable On cherche à répondre à la question : "estce que la variable Xexpliquebien la partition ?", en comparant les moyennes par classeX. On utilise pour cela un test classique d’analyse de la variance (présenté dans k tout bon ouvrage de statistique mathématique), qui va permettre de juger si les écarts observés entre les moyennesXsontsignificatifs. k Méthodologie du test 2 On suppose que X est une variable aléatoire suivant une loi normale,N ( m σ)la classe dans C k k ( k=1KK ). On teste l’hypothèse d’égalité des espérances de X dans chaque classe : H :( m=K=m=K=m )  contre H :(∃tq mk ,k' ≠m ) 0 1 k K 1 k k' On calcule la statistique : 2 n− K S inte r F= ∈0 ,+ ∞ 2 [ [ K−1 S intra Sous H , F suit une loi de Fisher à −1  et n−  degrés de liberté. On rejette H  si F est élevée. Le 0 0 niveau de significativité du test vaut : P=Prob Fisher ( K−1,n−K )>F [ ] Interprétation La statistique de Fisher F est liée à indicateur classique de statistique descriptive, le rapport de corrélation, 2 2 S 2 inter n−Kη η = ∈0 ,1 , par la relation : F= . 2 [ ] 2 S K−1 1 − η Cet indicateur permet de mesurer l'intensité de la relation entre une variable qualitative (ici la variable de classe) et une variable numérique (ici la variable X). 22 On admet que la variable Xexpliquebien la partition si η , ou F (ou S ) est suffisamment élevé (ou P inter faible, par exemple < 5%), i.e. lorsque les moyennes par classeXsont suffisamment dispersées. k

2

I.2. Caractérisation d’une classe par la variable Pour une classe C donnée, on cherche à répondre à la question : "estce que la variable Xcaractérisebien k la classe ?", en comparant la moyenne dans la classeXla moyenne générale à X ; le test présenté ci k dessous va permettre de juger si l’écart entreXet X estsignificatif. k Méthodologie du test On teste l’hypothèse H : les n individus de la classe C sont issus d’un tirage équiprobable sans remise 0kk parmi les n individus de I. Si H  est vraie, d’après un résultat classique présenté dans tout bon ouvrage de théorie des sondages, la 0 moyenne X calculée sur les n individus tirés est une variable aléatoire d’espérance X et de variance : k k n−n k 2 V=S k n ( n−1) k X−X k Avec l’approximation normale habituelle, U k = sous suit H 0 loi normale centrée réduite une V k N(0,1). On rejette H si U est élevée. Le niveau de significativité du test vaut : 0k P=Prob N(0,1)>U [ k ] Interprétation Plus la valeur test U élevée (en valeur absolue), i.e. plus P est faible, plus l’hypothèse que les est n kk valeurs de la variable X dans la classe C proviennent d’un tirage équiprobable sans remise est douteuse : k X estsignificativementdifférente de X , et la variable Xcaractérisela classe C . k k Limite du test Ce test n’est valide que pour une variablesupplémentaire, i.e. une variable n’ayant pas joué de rôle dans la constitution de la partition. Pour une variable active, on peut toutefois utiliser la valeurtest, ou le niveau de significativité, comme indicateur numérique, permettant en particulier de classer les différentes variables actives pour caractériser la classe.

3

II. Cas d'une variable qualitative Soit une variable qualitative définie sur I, de modalités XKXKX . 1 j J On considère le tableau de contingence croisant la variable de classe et la variable :  Variable qualitative X KK J X 1 X j C ......... 1 M n n kj k. Variable f f k. kj de C k ...... f j/ k classe f k / j M C ......... K n . j  n f . j On note : n  nombre d'individus de la classe C prenant la modalité X kjkj n kj f= de la case (k,j) fréquence kj n n  effectif de la classe C k. k n k . f= de la classe fréquence C k. k n n de la modalité effectif X . jj n . j f=  fréquence de la modalité X . j j n n f kj kj f j/ k = = de la modalité fréquence X j dans la classe C k n k. f k . n f kj kj f= =  fréquence de la classe C dans la modalité X k / j kj n f . j . j Ce tableau va être analysé successivement selon 4 approches : •et ?globalement : y atil une relation entre les deux variables •par classe sontelles différentes de sapar ligne : les distributions conditionnelles de  distribution marginale ? •les distributions conditionnelles de par colonne : par modalité sontelles différentes de sa  distribution marginale ? •par case : y atil "surreprésentation", ou "sousreprésentation", dans la case ?

4

II.1. Caractérisation de la partition par la variable On cherche à répondre à la question : "estce que la variableexplique bien la partition ?", à l’aide d’un test classique d’indépendance du khideux (présenté dans tout bon ouvrage de statistique mathématique) réalisé sur le tableau de contingence cidessus ; ce test va permettre de juger si les distributions de dans les K classes sontsignificativementdifférentes les unes des autres. Méthodologie du test On teste l’hypothèse H d’indépendance entre la variableet la variable de classe. 0 On calcule la statistique du khideux : 2  n k⋅ n ⋅j   n kj −  2 K J K J 2  n ( f kj −f k f j )  ⋅ ⋅ D= =n ∑ ∑ ∑ ∑ n k n j f f ⋅ ⋅ k=1 j=1 k=1 j=1 k ⋅ ⋅j n 2 Sous H 0 est une loi du khideux à, la loi asymptotique de K−1 ) J−1 ) degrés de liberté. On rejette 2 H élevée. Le niveau de significativité du test vaut :si est 0 2 2 P=ProbχK−1 ) J−1 ) > D [ ] Interprétation La statistique du khideux mesure l’intensité de la liaison entre la variable et la variable associée à la partition : elle quantifie l’écart à la situation d’indépendance, dans laquelle la distribution de la variable serait identique dans chaque classe (ou bien, de façon équivalente, la répartition selon les différentes classes serait identique au sein de chaque modalité de ). Remarques 1. Le test du khideux étant un test asymptotique, il n’est utilisable que pour de gros échantillons. Plus précisément, on ne peut l’appliquer que si le nombre de cases du tableau de contingence ayant un effectif inférieur à 5 est faible (disons inférieur à 10% du nombre total de cases). 2. Si l’on veut comparer, d’un point de vue descriptif, l’intensité des liaisons entre la variable de classe et plusieurs variables qualitatives, la comparaison des khideux de contingence respectifs n’est pas pertinente, car leurs valeurs maximales dépendent du nombre de modalités des variables. Il est préférable d’utiliser les V de Cramer, définis par : 2 D V= n inf ( K−1, J−1 ) qui sont compris entre 0 (indépendance entre et dans l’échantillon) et 1 (liaison parfaite entre et dans l’échantillon). Pour repérer les variables qui expliquent le mieux la partition, on peut alors les classer par V de Cramer décroissants.

5

II.2. Caractérisation d’une classe par la variable Pour une classe C donnée, on cherche à répondre à la question : "estce que la variablecaractérisebien k la classe ?", en comparant la distribution dela classe à sa distribution dans I, à l’aide d’un test dans d’homogénéité du khideux. Méthodologie du test On teste l’hypothèse H : les distributions de dans C et dans I sont identiques. 0k On calcule la distance du khideux entre ces deux distributions, centrée sur la distribution dans I : 2 n n  kj⋅j   −  2 −f J J  n ⋅ n  ( f j / k⋅j ) 2 k D=n=n ∑ ∑ k k⋅k⋅ j=1 n ⋅j j =1 f ⋅j n 2 2 Sous H , la loi asymptotique de D est une loi du khideux à −1 degrés de liberté. On rejette H si D 0 k 0 k est élevée. Le niveau de significativité du test vaut : 2 2 P=Probχ ( J−1 ) >D [ ] k k Interprétation 2 La statistique D mesure la distance entre les deux distributions. Si la probabilité P est faible (< 0.05), on k k considère que les écarts entre ces deux distributions sont significatifs, et que la variablecaractérisebien la classe. Remarques Les conditions d’application de ce test ne sont pas rigoureusement vérifiées, car la "distribution de référence" est ellemême issue d’un échantillon, et de plus cet échantillon contient des individus de la classe C . On peut néanmoins utiliser P indicateur de l’écart entre les deux distributions de : à une comme kk faible valeur de P correspond un écart élevé. k Si l’on veut repérer les variables les plus significatives pour une classe parmi un ensemble de variables qualitatives, on les classe par niveaux de significativité croissants.

6

II.3. Caractérisation de la partition par une modalité Pour une modalité X  de donnée, on cherche à répondre à la question : "estce que la répartition par j classe des individus prenant cette modalité est différente de la répartition par classe de l'ensemble I ?", i.e. estce que la modalité X j caractérisebien la partition ; pour cela, on compare ces deux distributions de la variable de classe , à l'aide d'un test d'homogénéité du khideux. Méthodologie du test On teste l’hypothèse H : les distributions de dans X et dans I sont identiques. 0j On calcule la distance du khideux entre ces deux distributions, centrée sur la distribution dans I : 2  n  kj n k⋅ − 2   − K K  n ⋅j n  ( f k / j f k⋅ ) 2 D'=n=n ∑ ∑ j⋅j⋅j n k= 1 k⋅ k=1 f k⋅ n 2 Sous H , la loi asymptotique de D' une loi du khideux à est −1  degrés de liberté. On rejette H si 0j0 2 D' est élevée. Le niveau de significativité du test vaut : j 2 2 P=Probχ ( K−1 ) >D' [ ] j j Interprétation 2 La statistique D' mesure la distance entre les deux distributions. Si la probabilité P est faible (< 0.05), on jj considère que les écarts entre ces deux distributions sont significatifs, et que la modalité X caractérise j bien la partition. Remarques Les conditions d’application de ce test ne sont pas rigoureusement vérifiées, car la "distribution de référence" est ellemême issue d’un échantillon, et de plus cet échantillon contient des individus prenant la modalité X . On peut néanmoins utiliser P comme indicateur de l’écart entre les deux distributions de : à j j une faible valeur de P correspond un écart élevé. j Si l’on veut repérer les modalités les plus significatives pour la partition parmi toutes les modalités d’un ensemble de variables qualitatives, on les classe par niveaux de significativité croissants (ou, ce qui est 2 équivalent, car le nombre de degrés de liberté K−1 est constant, par D' décroissants). j

7

II.4. Caractérisation d'une classe par une modalité Pour une modalité X  de et une classe C k dedonnées, on cherche à répondre à la question : "estce j que la modalité X est significativement plus (ou moins) fréquente dans la classe C que dans l'ensemble j k n kj I ?", en comparant la fréquence de la modalité X la classe dans C (f=)  à sa fréquence dans la jkj/ k n k⋅ n ⋅j population (f=) . ⋅j n Méthodologie du test On teste l’hypothèse H  : les individus de la classe C issus d'un tirage équiprobable sans remise sont 0k parmi les n individus de I. On considère le tableau de contingence condensé suivant :  modalité autres ensemble és X j  modalit . classe C k n kj  .. n k . autres classes ... ... le ensemb n . j n ... Soit N la variable aléatoire : nombre d’individus de la classe C prenant la modalité X . kjkj

Sous H , la loi suivie par la variable N , les effectifs n et n étant considérés comme fixés, est une loi 0 kj k⋅ ⋅j

n ⋅j hypergéométrique H(n, n , ), telle que : k⋅ n x n−x k⋅ C C n ⋅j n−n ⋅ j P N=x= ( k ) n ⋅ j k C n

n n N k . . j  kj  En particulier : )E( N = , i.e. E=   f  : les deux fréquences f  et f être "peu doivent kj. jj / k⋅j n  n k .  différentes". Si f>f , on choisit comme hypothèse alternative H  : la proportion d’individus de la classe C j / k⋅j 1 k prenant la modalité X est plus élevée que dans I. j Le niveau de significativité du test est :

min n ,n ( k⋅ ⋅j = ≥ P kj Prob ( N kj n kj ) = P ( N kj =x ) ∑ x=n kj

8

Si f<f , on choisit comme hypothèse alternative H  : la proportion d’individus de la classe C j / k⋅j 1k

prenant la modalité X est moins élevée que dans I. j

Le niveau de significativité du test est : n kj P kj =Prob ( N kj ≤n kj ) =P ( N kj =x ) ∑ x=0 La probabilité P est égaleà la probabilité, sous H , d'apparition de la configuration observée, ou d'une kj0 configuration encore plus "significative". Interprétation Si la fréquence f j/ k de la modalité X j dans la classe C k est suffisamment élevée (resp. faible) par rapport à sa fréquence f dans la population, i.e. si la probabilité P est faible (< 0.05), on considère que la modalité ⋅j kj X est significativement "surreprésentée" (resp. sousreprésentée) dans la classe C : ellecaractérisedonc jk cette classe. Remarques 1. Pour "faciliter" la lecture des résultats du test, certains logiciels ou programmes calculent unevaleurtest, égale par définition à la valeur d'une loi normale centrée réduite conduisant au même niveau de significativité. Cette valeurtest est positive si f>f , négative dans le cas contraire. j/ k⋅j 2. Ce test n’est valide que pour une modalité d'une variablesupplémentaire, i.e. une variable n’ayant pas joué de rôle dans la constitution de la partition. Pour les modalités des variables actives, on peut toutefois utiliser la valeurtest, ou le niveau de significativité, comme indicateur numérique. On peut ainsi repérer les modalités les plus caractéristiques d’une classe, parmi toutes les modalités d’un ensemble de variables qualitatives, actives ou supplémentaires, en les classant en deux groupes : • les modalités "surreprésentées" dans la classe, telles que f>f j/ k⋅j • les modalités "sousreprésentées" dans la classe, telles que f<f j/ k⋅j et en les triant dans chaque groupe par niveaux de significativité croissants. 3. Lorsque les effectifs ne sont pas trop faibles, on peut utiliser une approximation normale de la loi hypergéométrique. Remarque générale sur l'utilisation des résultats des tests Lorsque l’on ne se trouve pas dans un contexte d’application des procédures de test (par exemple si les données décrivent une population exhaustive, et non un échantillon), les tests présentés cidessus n'ont pas de justification théorique. On peut néanmoins, avec un peu de hardiesse, utiliser le niveau de significativité d'un test commeindicateur de liaisonentre la partition (ou la classe) et la variable (ou la modalité).

9