Cours 8 - Gestion et analyses de données

Hans

Description

GESTION ET ANALYSES DE DONNÉES EN RECHERCHE CLINIQUEPSY 8006MÉTHODES DE RECHERCHE EN PSYCHOLOGIE CLINIQUEAutomne 2010Plan de cours• Gestion de données• Erreurs alpha et bêta• Puissance statistique• Taille de l’effet• Déterminer la taille de l’échantillon nécessaire• Comment maximiser la puissance statistique?• Comparaisons multiples• Données manquantes• Méthodes basées sur l’importance clinique des changementsGestion de données en recherche• Création d’un codeur de données– Identification des variables par un nom unique (contraintes selon le logiciel)– Échelle de mesure• Nominale (catégories)• Ordinale (rang)• Intervalle (zéro relatif)• Ratio (zéro absolu)– Domaine des valeurs permises– Codes pour données manquantes• Prévoir 1+ valeur selon le domaine des valeurs permises de la variable (-7 = NSP, -9 = manquante)£Gestion de données en recherche• Création de l’entrepôt de données – Importance de distinguer l’entreposage et l’analyse des données pour éviter la corruption des données originales– Excel, Access, SPSS• Saisie et vérification de données– Vérification manuelle– Vérification à la saisie (filtrage automatisé)– Double saisieÉvaluation statistique• Quatre éléments clefs à considérer dans l'évaluation statistique– tolérance aux erreurs (niveau alpha et beta)– capacité à détecter des différences (puissance statistique du test)– l’ampleur de la différence entre les conditions comparées (taille de l’effet) – taille de ...

Informations

• Publié par: Viod
• Nombre de lectures: 61
• Langue: Français

Extrait

GESTION ET ANALYSES DE DONNÉES EN RECHERCHE CLINIQUE

PSY 8006 MÉTHODES DE RECHERCHE EN PSYCHOLOGIE CLINIQUE

Plan de cours

Automne 2010

• Gestion de données • Erreurs alpha et bêta • Puissance statistique • Taille de l’effet • Déterminer la taille de l’échantillon nécessaire • Comment maximiser la puissance statistique? • Comparaisons multiples • Données manquantes • Méthodes basées sur l’importance clinique des changements

Gestion de données en recherche • Création d’un codeur de données – Identification des variables par un nom unique (contraintes selon le logiciel) – Échelle de mesure • Nominale (catégories) • Ordinale (rang) • Intervalle (zéro relatif) • Ratio (zéro absolu) – Domaine des valeurs permises – Codes pour données manquantes • Prévoir 1+ valeur selon le domaine des valeurs permises de la variable (-7 = NSP, -9 = manquante)

Gestion de données en recherche • Création de l’entrepôt de données – Importance de distinguer l’entreposage et l’analyse des données pour éviter la corruption des données originales – Excel, Access, SPSS • Saisie et vérification de données – Vérification manuelle – Vérification à la saisie (filtrage automatisé) – Double saisie

Évaluation statistique

• Quatre éléments clefs à considérer dans l'évaluation statistique – tolérance aux erreurs (niveau alpha et beta) – capacité à détecter des différences (puissance statistique du test) – l’ampleur de la différence entre les conditions comparées (taille de l’effet) – taille de l'échantillon

Niveau alpha

Test statistique

Si p > 0.05

Non-rejet de Ho (non-significatif)

Si p σ 0.05

Rejet de Ho (significatif)

Niveau alpha • Définition d’usage (FAUX) : probabilité que l'hypothèse nulle (absence de différence ou d’association) soit vraie, compte tenu des données observées • Définition statistique : probabilité d’observer les données obtenues dans l’expérience (une différence ou une association) en assumant que l’hypothèse nulle est vraie – Conséquence : si la probabilité est inférieure à 5%,on conclue que H0 est intenable et on la rejette au profit de H1. • fonction de la taille de l'échantillon (degrés de liberté): plus le n est grand et moins la différence entre deux conditions a besoin d'être élevée pour être statistiquement significative – n = 100 r = .20, p .05 < – n = 40,000 r = .01, p < .05

Erreurs alpha et bêta

• Le processus de décision est probabiliste : il n ’y a pas de certitude absolue en statistique inférentielle. • Différentes erreurs sont possibles :  Erreur de type I (alpha)  Erreur de type II (bêta) • La probabilité de ces erreurs est déterminée par le chercheur • L ’erreur alpha : probabilité de rejeter Ho lorsque Ho est vraie, soit de conclure qu ’il y a une différence alors qu ’il n ’y en a pas (fixée entre 1% et 5%). • L’erreur bêta : probabilité de ne pas rejeter Ho lorsque Ho est fausse, soit de conclure qu ’il n ’y a pas de différence alors qu ’il y en a une (fixée à 20%)

Erreurs alpha et bêta Résumé des types d’erreur H o e s t   v r ai e H o e s t   f a u ss e a ccep t e   Ho bonne décision erreur de type II (1 - a = 95%) (B = 20%) r e j ette   H o erreur de type I bonne décision (a 5%) (1 - B = 80%) =

•

•

•

•

Puissance statistique

Définition (1-bêta) [1-.20 =.80=80%]

Capacité (probabilité) d'une étude à détecter une différence significative si cette différence est effectivement présente dans la population

La puissance statistique d'un test est fonction de quatre facteurs :

– taille de l'échantillon (n) – le niveau alpha – la direction de l’hypothèse – l’importance de l’association ou de la différence(taille de l’effet)

Taille de l’effet ( Effect Size; ES)

Trois méthodes pour estimer taille de l’effet – méta-analyse – résultats d'études préliminaires/pilotes – approche rationnelle (absence de données empiriques)

Conventions servant à définir l'ampleur d'un effet (Cohen): – d 0.2 (petit) 0.5 (moyen) 0.8 (grand) = – r = 0.1 (négligeable) 0.3 (moyen) 0.5 (important)

• •

Taille de l’effet ( Effect Size; ES)

m 1 – m 2 d = ---------- ET p

m = moyenne du groupe ET p = écart-type combiné (pooled) des deux groupes

La taille de l’effet est exprimée en score standard (score Z), l’unité est l'écart-type; Unité de mesure commune pour compiler les données d'études ayant utilisées différentes variables dépendantes (approche méta-analytique)

Taille de l’effet ( Effect Size; ES) Il existe plusieurs mesures de tailles d’effet, selon le type de tests: • d = comparaison de deux moyennes • r = corrélation • w = khi carré   • f = analyse de variance • f 2 = analyse multivariée (régression, MANOVA, etc.)

Pour une recension :

Cohen, J. (1992). A power primer. Psychological Bulletin, 112 (1), 155-159.

Combien de sujets ?

• Comment déterminer la taille optimale de notre échantillon? – déterminer le niveau alpha et la direction de l’hypothèse – spécifier un niveau de puissance statistique raisonnable (généralement 80%) – estimer la taille de l'effet attendu (ES) – regarder dans les tables de Cohen (1988) ou utiliser un logiciel (GPower, 2007)

Faul, F., Erdfelder, E., Lang, A. G., & Buchner, A. (2007). G*Power 3: a flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research and Methods, 39 (2), 175-191.

Comment maximiser la puissance statistique? 1. Augmenter la taille d’échantillon (ddl) • Réduire les abandons • Conserver toutes les données disponibles et non seulement les sujets « complets » • Augmenter le nombre de temps de mesures 2. Augmenter le niveau alpha • Poser des hypothèses directionnelles • Réduire le nombre de comparaisons 3. Augmenter la grandeur d’effet en augmentant la différence entre les groupes • Utiliser des interventions plus efficaces • Contraster des groupes plus distincts 4. Augmenter la grandeur d’effet en réduisant la variabilité des mesures • Réduire l’hétérogénéité des sujets par des critères de sélection • Utiliser des instruments avec une meilleure fidéli té • Réduire la variabilité des procédures par un manuel de traitement

Autres considérations en analyse statistique

• Comparaisons multiples • Données manquantes • Déviations au protocole de recherche • Analyses basées sur la méthode d’intention de traitement

Comparaisons multiples

• Nature du problème: à mesure que le nombre de comparaisons statistiques augmente, la probabilité d’obtenir au moins une différence significative dûe au hasard (erreur alpha) augmente également

• Solutions possibles pour atténuer ce problème: – Limiter le nombre d’analyses/comparaisons – Appliquer une correction pour réduire l’inflationde l’erreur alpha (Bonferroni, Simultaenous Test Procedure, etc.) selon l’unité conceptuelle d’erreur

Comparaisons multiples

Unité conceptuelle d’erreur libéral Le niveau alpha peut être fixé selon : • la variable dépendante 3 comparaisons pour une VD : .05/3 = .013 • la famille de variables dépendantes 5 VD : 0.05/5 = .01 par VD • l’expérience au complet 10 tests statistiques dans l’étude : .05/10 = 005 . par test conservateur

Données manquantes (DM)

Conséquences des DM : – réduit la taille d’échantillon – réduit la généralisation des résultats – diminue la puissance statistique – introduit un biais dans les paramètres statistiques (si les sujets manquants sont distincts)

Données manquantes (DM)

Quoi faire en présence de données manquantes: – Prévention!! – Collecte des données manquantes en questionnant à nouveau les participants avec DM – Imputation des données manquantes – Utilisation de modèles statistiques robustes aux données manquantes (modèles linéaires mixtes, régressions robustes, etc.) sans faire d’imputation – Pondération (usage de poids)

Données manquantes (DM)

Imputation de données • Remplacement par la moyenne Méthode simple mais réduit la variance des données • En analyste longitudinale, remplacement par la dernière observation disponible (last-observation-carried-forward) Méthode simple mais présente plusieurs biais (augmente artificiellement les ddl, réduit l’effet de l’intervention et augmente l’erreur alpha/bêta, selon le sens des effets) • Remplacement par maximum de vraisemblance (imputation multiple) Méthode plus complexe, qui permet de conserver les moyennes, variances et les covariances (relations observées entre les variables)

Analyses basées sur l’intention de traitement



Avantages et limites de l’approche statistique

• Avantages: – Méthode relativement non-biaisée – Démarche standard pour interpréter les résultats – Permet une évaluation objective des données – Alloue une plus grande cohérence entre les chercheurs • Limites: – niveau alpha standard (.05) est arbitraire – décision basée sur un critère dichotomique – donne peu ou pas d'information sur la force de larelation entre VI et VD (sauf si calcul de la taille d’effet) – ne renseigne pas sur l'importance pratique/clinique des résultats

Évaluation de l’importance clinique du changement • L'approche statistique est basée entièrement sur un critère de probabilité; ne renseigne aucunement sur l'utilité clinique des résultats ni sur la variabilité dans la réponse au traitement • L'approche visuelle cherche à démontrer un effet très marqué; toutefois, même un effet marqué ne renseigne pas nécessairement sur son importance clinique • L'approche clinique renseigne sur l'utilité ou l'importance clinique/appliquée d'un effet dans la vie d'un individu L'approche clinique représente un complément (et non un substitut) de l'approche statistique

Comment déterminer l’importance clinique du changement observé? • Exemples de critères/standards utilisés: – % de sujets qui s'améliorent au-delà d’un certain critère – un niveau de changement “notable/observable” par lseproches – % de sujets qui ne rencontrent plus les critères diagnostiques – niveau élevé de fonctionnement à la fin du traitement – changement réduisant les risques de problèmes associés

Trois méthodes pour évaluer l’importance clinique du changement

• Évaluation subjective • Mesure d'impact social • Évaluation normative

Évaluation subjective • Évaluation globale provenant d’experts ou d'individus en contact avec le client (conjoint) • Porte sur la détection de changement et sur l’appréciation de son importance clinique • Limites et considérations – Évaluation importante, parce que les proches sontsouvent impliqués dans la décision d'initier, d’observer et de compléter un traitement – Ne devrait pas être la seule source d'évaluation – Plus susceptible aux différents biais d'évaluationqu'une mesure objective

Mesures d’impact social

• Impact du changement observé sur le fonctionnement de l'individu dans la vie de tous les jours et sur la société en général – Ex.: impact d’un traitement contre alcoolisme/abus substance sur l’absentéisme au travail • Limites et considérations – Mesure plutôt insensible aux effets d'une intervention – Mesure globale susceptible à plusieurs sources d'e r eurs – Mesure généralement très crédible mais moins valide sur le plan psychométrique – Malgré ces limites, mesure très importante pour ceux qui paient les services

Évaluation normative • Comparaisons avec groupes de références (normal ou dysfonctionnel) • Trois critères possibles –L’individu se retrouve après la thérapie àl’extérieur de la  distribution de la population dysfonctionnelle (méthode A) –L’individu se retrouve après la thérapie àl’intérieur de la  distribution de la population normale (méthode B) – L’individu se retrouve après la thérapie plus prèsde la moyenne de la population normale que de celle de la population dysfonctionnelle (méthode C)

• Les méthodes B et C exigent des données de sujets normaux.