Sait-on concevoir une bonne enquête auprès des ménages ?

De
Publié par

La qualité d’une enquête statistique dépend d’une chaîne dont chaque maillon est important, une succession de petits défauts pouvant conduire à des catastrophes. La présente contribution en examine un aspect fondamental: le « colloque singulier» entre l’enquêteur et l’enquêté.

Publié le : dimanche 30 décembre 2012
Lecture(s) : 21
Tags :
Nombre de pages : 9
Voir plus Voir moins
Saiton concevoir une bonne enquête auprès des ménages ?
1 ! Daniel Verger
La qualité d’une enquête statistique dépend d’une chaîne dont chaque maillon est important, une succession de petits défauts pouvant conduire à des catastrophes. La présente contribution en examine un aspect fondamental : le « collo que singulier » entre l’enquêteur et l’enquêté.
De plus en plus d’attentes pour un protocole qui n’a rien de naturel
es attentes visàvis de la statis L tique se diversifiant, les enquêtes auprès des ménages sont en forte évolution.
Les sujets abordés touchent de plus en plus souvent des domaines sen sibles, voire intimes. Les populations sélectionnées le sont de plus en plus parmi des groupes complexes d’ac cès. Alors que les ménages sont de plus en plus mobiles, donc difficiles à joindre, les pouvoirs publics, ainsi d’ailleurs que l’opinion, ne tolèrent plus un instrument imprécis, témoi gnant ainsi d’une attente sans doute disproportionnée visàvis d’un type d’outil qui, par nature, superpose beaucoup de bruit au signal.
Une chaîne complexe de tâches
Une enquête auprès des ménages est une chaîne complexe de tâches : échantillonnage, rédaction du ques tionnaire, collecte terrain, apurement et exploitation (voir article de Pascale Pietri dans ce numéro). La qualité d’une telle enquête doit être appré hendée de façon globale, chaque maillon ayant son rôle à jouer.
Mais mesurer de façon précise l’im pact résultant de tel ou tel défaut est loin d’être simple. La meilleure preuve en est sans doute fournie par les débats qui ont suivi l’exploitation des données de l’enquête internatio nale sur le « littérisme » réalisée sous
Le premier contact
l’égide de l’OCDE en 1994, à savoir l’enquête IALS (International Adult Literacy Survey), qui avait identifié. 41 % d’illettrés en France, contre 14 % en Allemagne, ce qui plaçait la France en queue de classement avec la Pologne !
Deux grands audits ont alors été com mandités qui, joints aux publications méthodologiques publiées par les équipes conceptrices (américaines et canadiennes), forment un appareil cri tique d’une ampleur rarement atteinte mais qui peine à quantifier les effets des divers défauts relevés.
L’un des audits souligne l’importance primordiale des défauts au niveau de la méthodologie statistique (échan tillonnage, calage, redressement) tout en reconnaissant que les enquêtés n’ont pas vraiment adhéré à l’opéra tion (une enquête auprès des enquê teurs a fait apparaître que nombreux ont été ceux qui ont répondu n’im porte quoi pour se débarrasser du livret d’exercices).
A l’inverse, le second audit croit déce ler les principales causes de l’échec de l’opération dans la rédaction des épreuves et dans l’existence de biais
Courrier des statistiques n° 126, janvieravril 2009
culturels (A. Blum et F. Guérin  Pace 2000).
L’importance des effets de contexte est également mise en lumière, avec des cas de refus implicite du pro tocole : on donne son savoirfaire, omettant, voire refusant, de se référer au texte. Toute fausse qu’elle puisse être dans l’optique de l’enquête, une réponse de ce type n’est pas toujours un symptôme de difficulté de com préhension : certes, ce peut être une stratégie d’évitement, mais ce peut être aussi un signe d’éveil et d’esprit critique : on a compris le texte mais on rejette ses conclusions !
L’analyse synthétique qui a été conduite ultérieurement sur ces don nées contestées fait émerger d’autres sources d’erreurs. Dans IALS, les très diplômés et les esprits critiques peuvent « se planter » à force de « chercher midi à quatorze heures » (Verger 2004). Dans des enquêtes plus classiques, ils peuvent aussi avoir tendance à se poser des ques tions sur les limites d’un concept que d’autres ne se poseront pas.
Quand, dans l’enquête Histoire de vie, on obtient comme résultat que ce sont les adolescents des milieux diplômés qui déclarent le plus d’atti tudes négatives voire violentes à leur encontre, c’est sans doute qu’ils sont davantage enclins à concevoir la vio lence dans toutes ses manifestations (y compris symboliques ou verbales) alors que des personnes issues de milieux plus modestes se cantonne ront à déclarer les seules violences
1. Daniel Verger est le chef de l’unité des Méthodes statistiques à l’Insee.
11
Daniel Verger
physiques (le « cœur » du concept). Cet aspect sera analysé en détail dans l’article consacré à la rédac tion du questionnaire, dans ce même numéro duCourrier des statistiques.
Des diverses analyses menées sur IALS on peut tirer sans risque d’er reur la conclusion que la catastrophe au niveau des résultats a été causée par la conjonction d’une multitude de petits défauts à chaque étape de la chaîne, sans que l’on soit capable de quantifier l’impact spécifique de cha que problème. On peut toutefois être séduit par l’hypothèse selon laquelle l’importance primordiale pourrait bien provenir du protocole de collecte, insuffisamment contrôlé : une fois éliminés certains exercices manifes tement erronés, on a pu prouver que les taux de réussite aux exercices d’IALS étaient fortement dépendants de ce protocole. On reviendra sur ce point ultérieurement en conclusion de cet article à propos de la mise en place de l’enquête Information et Vie Quotidienne (IVQ) (Vallet et al. 2002).
Le maillon central : l’interaction enquêteur enquêté
D’autres contributions explorent les phases d’échantillonnage (Vincent Loonis), de rédaction du question nement (Daniel Verger), de mise au point du protocole de collecte et la
12
Scène de la vie quotidienne, promenade
conduite de projet (Pascale Pietri) ou de traitement statistique aval (Dominique Place dans un prochain numéro). Dans le présent article, c’est principalement au maillon central, l’in teraction enquêteurenquêté, que l’on s’intéressera.
Moins étudiée que la méthodologie d’échantillonnage, car il s’agit d’une phase complexe, impossible à réduire en formules, elle est toutefois essen tielle dans la qualité finale. Car, quand on y réfléchit, répondre à une enquête résulte d’une démarche assez arti ficielle ; une enquête est une inte raction sociale d’un genre tout à fait particulier : deux personnes qui ne se connaissent pas s’engagent dans un échange verbal au cours duquel vont être abordés des sujets qui peu vent être intimes, qui peuvent toucher des points sensibles que parfois on dissimule même (surtout ?) à ses proches.
L’une de ces personnes (l’enquêté) est plus ou moins obligée de répondre au nom du devoir civique, conforté par une menace latente d’amende. L’autre (l’enquêteur) n’a ni la forma tion d’un psychanalyste ni celle d’une assistante sociale et ne ressemble au prêtre recevant la confession que par le secret professionnel auquel il est astreint.
Quand on ne pose de questions que sur la possession d’un réfrigérateur ou d’une voiture la difficulté de l’exer cice n’est pas bien grande. Il en va tout autrement quand on s’intéresse à l’historique des partenariats sexuels, à la mesure du vieillissement physi que ou intellectuel ou des difficultés en littérisme. Dans ce dernier cas, c’est une véritable gageure puisqu’il s’agit de mesurer l’ampleur d’un phé nomène que les personnes concer nées cherchent en général, dans leur vie quotidienne, à dissimuler aux autres par tout un arsenal de prati ques d’évitement !
L’élément clef, outre le professionna lisme des enquêteurs qui sont dotés d’une grande capacité d’écoute et savent encourager les confidences, gît sans doute dans l’anonymat de la relation : on se confierait plus aisé
ment à un inconnu que l’on ne reverra jamais (sauf cas d’enquête par panel qui pose un problème spécifique) qu’à un proche.
Certaines études américaines sem blent ainsi montrer que, pour des questions touchant à des pratiques à risque pour la santé (drogue, prati ques sexuelles « déviantes »), on était plus sincère avec un inconnu qu’avec son médecin. Ceci avait été prouvé pour des personnes indiquant à leur médecin qu’elles avaient arrêté la drogue alors qu’elles avaient répondu à un enquêteur anonyme qu’elles continuaient à ingérer des substances illicites. Les analyses, incluses dans le protocole d’observation, avaient montré que c’était avec l’enquêteur que les personnes s’étaient révé lées sincères, la difficulté avec son médecin étant en effet de lui avouer que l’on n’avait pas suivi les conseils prodigués…
Obtenir et maintenir la participation du ménage : les comportements des acteurs de la collecte permettentils l’émergence de la vérité ?
Concevoir un bon protocole d’en quête, c’est en premier lieu réussir à obtenir la participation de la totalité de l’échantillon. En effet, même si on part d’un échantillon doté de tou tes les bonnes propriétés statistiques souhaitables (cf. article de Vincent Loonis dans ce numéro), échantillon qui donc est tout à fait à même de représenter la diversité de la popula tion, le résultat sera de piètre qualité si les personnes refusant l’enquête ont un profil qui leur est propre.
En termes techniques, on parle de « nonréponse non ignorable ». En termes littéraires, cela signifie que l’on ne peut extrapoler simplement la population des répondants pour en inférer des conclusions sur l’ensem ble du champ. Or, ce que l’on attend du statisticien c’est bien de quantifier des effets sur l’ensemble de la popu lation pas sur le champ des gens qui ont répondu à l’enquête ! Une grande
Lecture à la bibliothèque
attention doit ainsi être apportée à la lettreavis envoyée aux ménages sélectionnés, à ce courrier qui est le premier contact de l’enquêté avec l’opération et qui doit le convaincre d’ouvrir sa porte à l’enquêteur, ou de décrocher son téléphone pour répon dre à son appel, de donner de son temps et d’accepter de jouer le jeu de la sincérité au cours de l’entretien et du jeu de questions/réponses qui s’ensuivra.
Ce premier registre de ce qui a trait à la qualité d’une collecte, qui concerne lanonréponse globale(incluant les cas d’impossibles à join dre, d’absents de longue durée et les refus d’emblée) est si important que jusqu’à présent c’est le seul qui ait donné lieu à établissement d’indicateurs quantifiés (le taux de réponse). Il est peu sensible à la qualité intrinsèque du questionnaire, sauf aux problèmes liés à la longueur du questionnement qu’il faut bien, au moins dans les grandes lignes, abor der dès la prise de contact, « collecte loyale » oblige.
Les techniques à la disposition du statisticien sont les mêmes quel que soit le sujet car les refus sont rare ment liés au thème de l’enquête. Il s’agit :
– de relancer le ménage réticent ;
– de faire en sorte que des rencon tres enquêteurenquêté puissent se faire en dehors du logement de la personne (il n’est pas exceptionnel que le facteur bloquant ne soit pas tant le refus de participer à l’opération que celui de faire entrer un inconnu dans le sanctuaire que représente le domicile privé) ;
Saiton concevoir une bonne enquête auprès des ménages ?
– d’inciter l’enquêteur à la persévé rance dans sa prise de contact par une rémunération bien conçue…
Il faut d’ailleurs, dans cette phase, se garder de trop faire référence au sujet de l’opération, de trop attirer l’atten tion sur les utilisations possibles, par exemple par l’État. Une telle sincé rité peut générer des effets induits contreproductifs, en attirant de façon disproportionnée des « militants » passionnés par le thème ou particu lièrement concernés par le sujet, et en incitant les répondants à dégui ser leurs vrais comportements, leurs opinions profondes dans des buts stratégiques, afin d’essayer d’orien ter les décisions dans le sens qu’ils souhaitent.
Ce qui se passe une fois franchie la première étape, une fois obtenue l’acceptation, est plus intéressant à analyser car, même si ce n’est pas actuellement mesuré par des indica teurs quantifiés, c’est essentiel à la qualité des données collectées. La rédaction du questionnaire joue de façon extrême sur le second point, qui concerne laqualité de cette réponsela nonréponse (incluant partielle, la précision et la sincérité des réponses…).
Les phénomènes en jeu nécessitent d’arbitrer entre des exigences contra dictoires :
– il faut maintenir l’adhésion de l’en quêté car, à tout moment, il peut déci der de quitter le jeu (surtout lors des enquêtes réalisées au téléphone car il est plus facile de raccrocher que de faire sortir de chez soi quelqu’un qui y est installé) ;
– mais il faut aussi bien préciser le sens des questions pour éviter les contresens ;
– il faut aller vite pour ne pas lasser ;
– mais aller assez lentement pour laisser à l’enquêté le temps de réflé chir, le temps de faire l’exercice de mémoire qui lui est demandé…
Plusieurs centaines d’enquêteurs sont envoyés sur le terrain pour la réalisa
Courrier des statistiques n° 126, janvieravril 2009
tion de l’enquête. Mais le protocole prévu ne sera correctement appliqué que s’il est en quelque sorte « natu rel », s’il ne va pas à contre courant de ce qui se passe « normalement » lors d’une conversation. Vouloir contrain dre l’enquêteur et l’enquêté à se comporter, pendant toute la durée de l’entretien, de façon contraire à ce qui correspond à leur spontanéité est voué à l’échec.
Toute la difficulté est là : concevoir un protocole qui allie rigueur scientifique et respect des conditions tout à fait spéciales d’un entretien d’enquête. Un questionnaire, un protocole peu vent être parfaitement opérationnels en conditions de laboratoire et ne pas fonctionner sur le terrain : entre évaluer les compétences en compré hension d’un élève dans le cadre de l’école, en situation d’examen, et réa liser la même mesure pour un adulte, chez lui, ses proches étant présents, les difficultés sont sans commune mesure.
On retrouve la question déjà évoquée de la motivation de l’enquêté et, en réaction, de l’attitude de l’enquê teur qui en découle. Répondre à un questionnaire ne procure au ménage enquêté qu’une certaine satisfaction du devoir civique accompli ou, plus fréquemment, le sentiment d’avoir été ouvert visàvis de l’enquêteur. L’interaction d’enquête est un élé ment de sociabilité. L’enquêteur en est conscient qui veille à maintenir la qualité du contact. Le plus souvent, son ambition est de soutenir l’intérêt de son interlocuteur jusqu’à la fin et que chacun se sépare sur une note positive. Pour ce faire, quand il sent que le ménage décroche, s’ennuie, voire s’impatiente, il a tendance à chercher des moyens d’abréger. Il en résulte parfois des reformulations abu sives, des réponses « suggérées », et finalement des « effets enquêteurs » qui peuvent parfois dépasser la limite acceptable, lorsque certains s’arro gent le droit d’outrepasser les consi gnes de collecte, sûrs de leur parfaite connaissance du terrain et persuadés qu’ils savent mieux que le concepteur ce qui convient à l’enquêté.
13
Daniel Verger
Questionnaire ferméversusentretien semidirectif ?
Pour bien comprendre la spécificité de la relation qui s’établit au cours d’une enquête statistique, il n’est pas inutile de s’interroger sur les ressem blances et les différences avec un autre exemple d’interaction fréquem ment utilisée en sciences sociales pour collecter de l’information, l’en tretien semidirectif.
Au départ la situation est assez pro che : le sujet est abordé au cours d’un entretien entre deux personnes qui ne se connaissent pas. Les différences surviennent après. Dans l’enquête par questionnaire fermé, la formulation précise des questions est impérative ainsi que l’ordre de passation qui s’enchaîne par le jeu mécanique des filtres. Les contrôles de cohérence interne sont programmés à l’avance et font partie intégrante du protocole. Enfin, l’enquêteur est un spécialiste de ce type d’entretien mais, malgré le soin apporté à sa formation spécifi que sur le thème de l’opération, n’est en rien un spécialiste du domaine.
Dans l’entretien semidirectif, c’est la grille d’entretien qui joue le rôle du questionnaire mais il s’agit seulement d’une liste de thèmes que le cher cheur doit veiller à aborder au cours du dialogue. La forme des questions, le moment d’aborder le sujet sont lais sés à l’appréciation du chercheur. Il est, lui, spécialiste du domaine traité, en mesure de juger de la meilleure façon d’adapter le questionnement aux particularités de son interlocu teur. Le secret d’une bonne passa tion est également l’attention portée par le chercheur aux réticences, aux contradictions internes, aux ellipses échappatoires : c’est ce qui lui permet de rebondir, de faire évoluer le dialo gue avec une souplesse qu’il serait dangereux de laisser à un enquêteur généraliste justement parce qu’il n’est pas un spécialiste du domaine.
Tout l’aspect « reformulation », sur lequel on reviendra, est en fait la transformation par l’enquêteur du protocole fermé en ce qui ressemble à un entretien semidirectif mais sans ce qui rend ce mode de collecte effi
14
cace, à savoir le fait qu’il soit conduit par un spécialiste du domaine.
De fait, les rares exemples dispo nibles où l’on peut comparer les performances respectives des deux modes d’investigation (Battagliola 1994) concluent à la convergence globale des méthodes quand elles sont conduites selon les règles.
Les exemples de divergences portent sur des détails souvent omis spon tanément et qui, pour émerger, ont besoin de la relance vigilante faite par le chercheur. Ainsi, certains petits épisodes d’emplois, de chômage ou de maladie ne reviennent en mémoire de la personne interrogée que quand son interlocuteur pointe le doigt vers des trous dans les épisodes biogra phiques spontanément déclarés.
Ces études comparatives indiquent bien, à la fois, les limites de l’instru ment « enquête par questionnaire fermé » et ses mérites. Au total, c’est un instrument légitime de l’obser vation en sciences sociales, sous réserve que le protocole respecte un ensemble de bonnes pratiques qui, pour ne pas être formalisées, n’en sont pas moins impératives.
Mais de fait la question de la reformulation reste ouverte : le défi estil accessible ou la barre estelle située si haut qu’on ne peut espérer la franchir ?
La reformulation : le mal estil évitable ?
Le problème de la reformulation par un enquêteur généraliste est crucial pour la qualité mais extrêmement difficile à traiter. A quelle question correspond, en fin de compte, la réponse obtenue ? N’estelle pas souvent très différente de celle qui figure dans le questionnaire testé et validé ? Il n’y a pas unanimité sur ce point. D’un côté, les pratiques, majo ritaires au sein des instituts privés, qui tendent à bannir complètement toute reformulation. De l’autre, les avis de certains méthodologues qui consi dèrent qu’une « reformulation zéro » n’a aucun sens et qu’il faut savoir
s’adapter à ce que la personne que l’on a en face de soi est capable de comprendre.
Force est de reconnaître qu’en l’état actuel des questionnaires lancés sur le terrain, une reformulation zéro est tout simplement impossible car il reste encore trop de formulations qui, pour être rigoureuses, n’en sont pas moins difficiles sinon toujours à comprendre du moins à lire et à écou ter. Respecter à la lettre les ques tionnements prévus conduit souvent à des entretiens pénibles, lassants. Des accompagnements récemment conduits sur l’enquête Emploi ont même mis en évidence une corré lation négative entre la capacité de l’enquêteur à motiver le répondant et son degré de respect de la lettre du questionnaire (Pariente 2008). Et, la plupart du temps, la reformulation proposée était inoffensive sur le fond, bénéfique sur la forme et même si naturelle que l’enquêteur n’avait aucu nement conscience d’avoir reformulé. On a pu observer que ces enquêteurs qui reformulaient constamment affir maient en toute sincérité qu’il était indispensable de respecter le ques tionnement voulu par le concepteur !
L’inconvénient de laisser libre cours à ce type de pratiques tient principale ment dans l’hétérogénéité introduite entre enquêteurs qui reformulent cha cun à leur propre manière et l’impos sibilité qu’il y a à tracer la limite entre reformulation inoffensive, voire béné fique, et reformulation à proscrire car modifiant profondément le sens de la question.
Si le traitement du problème de la reformulation est si difficile c’est sans doute parce qu’elle procède d’une démarche bien intentionnée de la part de l’enquêteur. D’ailleurs un enquê teur à qui l’on reprochait ses reformu lations a nié en disant qu’il faisait sim plement une mise en français parlé d’un texte conçu pour être lu.
Deux exemples, tous deux tirés de l’enquête Emploi, préciseront ce propos.
À la question relative à la durée du travail, nombre d’enquêteurs ont
remarqué que la réponse sponta née omettait souvent les jours fériés survenus lors de la semaine obser vée ; certains relancent spontané ment, ou ajoutent à la question une précision du type « combien d’heures avez vous travaillé la semaine du … ; c’était la semaine de l’Ascension, ou de Pâques, avec des jours fériés » ce qui permet d’obtenir une meilleure qualité, le seul inconvénient étant l’hétérogénéité entre enquêteurs ; animée du même souci de bien faire, une enquêtrice a développé une stra tégie autour de la question relative à l’exercice, la semaine observée, d’un travail non rémunéré, question qui est mal comprise, le concept étant trop abstrait ; face à une femme répon dant par la négative, une relance était faite du type « vous n’avez pas fait la cuisine, le ménage, … »
Là, évidemment, le résultat est néga tif : la relance est partielle (le béné volat n’est pas cité, de même que le bricolage ou le jardinage) et ciblée sur une sous population (pas de relance envers les hommes) ce qui rend la réponse inexploitable… Mais dans les deux cas, la faute est à chercher du côté du questionnaire et de la formation dispensée aux enquêteurs. Le questionnaire, dans le premier exemple, n’a pas prévu de systé matiser une relance opportune et, dans le second, n’a pas suffisamment explicité le concept à mesurer. Dans les deux cas, la formation n’a pas suffisamment indiqué à l’enquêteur le but poursuivi par la question.
Un bon questionnaire doit réduire au maximum le nombre de cas où une reformulation s’impose. Resteraient uniquement alors les questions intrin sèquement plus complexes pour les quelles il n’existe pas de façon simple de poser la question sans risquer de dénaturer la réponse. Il faudrait que le concepteur propose luimême les reformulations acceptables. On pour rait imaginer deux ou trois versions de la question, de la plus précise qui est aussi la plus complexe jusqu’à une version simplifiée, correspondant à une qualité dégradée mais qui reste préférable à une nonréponse. C’est au concepteur qu’il échoit de rédi ger un questionnaire fluide, vivant, et
Saiton concevoir une bonne enquête auprès des ménages ?
nous verronsinfraquelques moyens à sa disposition. Proche de la reformu lation, la pratique consistant à rem placer la question par une sorte d’af firmation pour laquelle on demande confirmation répond elle aussi au souci de ne pas choquer l’enquêté, de maintenir sa bonne volonté avec, à nouveau, des conséquences qui peuvent être graves car à force de suggérer les réponses on norme la réalité.
Citons à nouveau quelques exem ples.
Face à un ménage présentant tou tes les caractéristiques de l’aisance financière, au lieu de poser les ques tions relatives à la « déprivation » matérielle sous la forme prévue « vos moyens financiers vous permettentils de manger de la viande ou du poisson tous les deux jours ? », l’enquêteur choisit une forme qu’il pense être plus admissible par son interlocu teur : « compte tenu de vos revenus, vous ne devez pas avoir de difficulté à acheter de la viande ou du poisson tous les deux jours, n’estce pas ? » En l’occurrence, le risque de biais n’est pas énorme. Il le devient quand, animé de la même intention, l’enquê teur transforme la question « qui fait la vaisselle ? » en « Je pense que c’est Madame qui fait la vaisselle » quand il s’adresse à l’homme du couple. Un bon protocole doit anticiper ce type de dérive bien intentionnée de la part de l’enquêteur et y apporter une réponse conçue en pleine connais sance de cause, en plein accord avec le but poursuivi.
Un type analogue de dérive bien intentionnée peut trouver son origine dans le comportement de l’enquêté, qui peut produire une information erronée par volonté de (trop) bien faire. Une telle affirmation a de quoi surprendre. On imagine en effet aisément que l’enquêté peut man quer de « franchise », par souci de se montrer sous un jour favorable, pour dissimuler des comportements dont il serait peu fier ou qu’il pré fère taire par pudeur. Que l’enquêté puisse avoir tendance à recons truire le passé dans les entretiens rétrospectifs, qu’il puisse omettre
Courrier des statistiques n° 126, janvieravril 2009
des événements ou des possessions pour gagner du temps et raccourcir l’entretien, qu’il puisse aussi avoir des arrièrepensées stratégiques ne saurait surprendre.
Par contre, on se représente moins bien ce que peuvent être ces biais « bien intentionnés » : le meilleur exemple provient sans doute d’ob servations faites lors de l’enquête de l’Insee sur les Emplois du temps. Certains enquêtés ont changé la jour née à décrire, sous prétexte qu’elle n’était pas « représentative » car exceptionnelle : il s’agissait de cas de mariage, de fêtes ou de jours de maladie, détruisant une représentati vité « macro » au nom d’une représen tativité « micro ». Un cas voisin, bien qu’un peu différent, provient de ce que l’enquêté simplifie son discours pour dire ce qu’il considère comme essentiel compte tenu de ce qu’il comprend de l’objectif de l’enquête. L’enquêteur et l’enquêté s’entendent ainsi, à force de bonnes intentions, à biaiser l’observation dans le sens de ce qui est normal, habituel, fréquent. Le processus d’enquête a une ten dance naturelle à éliminer les petites variations de comportement, à les normer, à renforcer les archétypes.
Faire émerger la sincérité lors de la collecte peut nécessiter de mettre en place des protocoles complexes, visant en particulier à isoler le cou ple enquêteurenquêté. Cette néces sité apparaît dans plusieurs types de situations, qu’il s’agisse de traiter de sujets comme les unions antérieures, le chômage, les violences intrafami liales ou la santé. Des procédures particulières doivent être envisagées pour tous types de domaines où l’in formation ne circule pas nécessaire ment au sein du foyer, ou s’il s’agit de mesurer des performances à l’abri de tout facteur perturbant, aide ou dis tractions induites par l’environnement lors de la passation des tests.
Dans ce registre aussi, quelques points importants sont contestés, en particulier ce qui est relatif à l’inci dence du mode de collecte : eston plus sincère en faceàface ou au téléphone, avec enquêteur ou en
15
Daniel Verger
dépôtretrait d’un questionnaire auto administré ?
On pense couramment qu’il est plus facile d’aborder au téléphone des questions intimes, comme les pra tiques sexuelles. Pourtant l’enquête de l’Ined sur ce sujet a abouti à des déclarations de nombres de partenai res, par les hommes et par les fem mes, incompatibles, plus élevé dans les déclarations masculines, comme si le téléphone n’avait pas réussi à faire émerger la sincérité. Pour des sujets comme l’alcoolisme, l’auto questionnaire remis dans une enve loppe cachetée ou expédié directe ment sans passer par l’enquêteur a des vertus qui le font adopter par de nombreuses équipes conceptrices.
Des innovations techniques récentes élargissent désormais la gamme de ce qu’il est possible de faire : l’écoute directe sous casque de questions qui ne s’affichent pas à l’écran et qui garantissent le total anonymat vis à vis tant de l’enquêteur que de l’entourage de l’enquêté permettent d’aborder des sujets sensibles avec le meilleur gage d’obtention de la sin cérité (mesure des agressions sexuel les et de la violence intrafamiliale pour l’enquête Cadre de Vie et Sécurité).
Même en l’absence de toutes ces sources de biais bien identifiés, la col lecte peut voir sa qualité réduite par le fait que l’enquêteur n’a pu obtenir l’entretien avec la personne qui aurait été l’informateur optimal, si tant est d’ailleurs qu’il soit licite de parler au singulier dans ce cas.
Jusqu’ici, en effet, on a fait l’impasse sur les problèmes posés par le fait qu’un ménage est un collectif d’indi vidus plus qu’une entité homogène. Certaines questions relatives au ménage dans son ensemble exigent de fait de faire la synthèse d’informa tions qui sont détenues par les indivi dus euxmêmes. Par exemple, pour connaître les dépenses du ménage, il faut collecter de l’information sur les dépenses des enfants, pas toujours connues de la maîtresse de maison qui, elle, est généralement la bonne informatrice pour les dépenses col lectives du foyer.
16
Mais les avis divergent sur la conduite à tenir : doiton s’en tenir à la recher che des informateurs optimaux au risque de générer au mieux des coûts supplémentaires, au pire de la nonréponse ? Doiton accep ter les diverses formes d’entretien par procuration (comme disent les Canadiens), par « proxy » en jargon statisticien ?
A nouveau l’intégrisme statistique ne semble pas de mise. Certes, il faut lutter contre le recours abusif au proxy, surtout s’il est amené, de par le sujet de l’enquête, à répondre sur des domaines qu’il connaît mal, en particulier les opinions d’autrui. Mais on ne peut complètement éviter ce recours : dans tous les pays, pour les enquêtes classiques sur l’emploi, le taux de proxy dépasse les 30 % pour les interrogations qui se font en faceàface.
Entretien en faceàface
Une autre question controversée concerne l’influence de la durée d’en tretien sur la qualité, sachant qu’elle résulte de deux phénomènes agis sant en sens inverse, l’apprentissage et la lassitude. Même s’il est plus facile d’imaginer les phénomènes de lassitude et les biais que cela peut entraîner, il ne faut pas pour autant sousestimer les aspects « appren tissage ». Remontent du terrain des cas non exceptionnels où l’adhésion s’est renforcée au fur et à mesure que l’enquêté a pu se convaincre du professionnalisme de l’approche. La qualité des premières réponses est alors loin d’être la meilleure. Au point que certains enquêteurs essaient de faire identifier dès le début de l’en quête qu’il n’y a rien de commun entre les questionnaires de marketing ou d’opinion auxquels ils ont pu être confrontés et les opérations de la
statistique publique et que les enjeux justifient une réponse réfléchie et sin cère.
Pour garantir contre les dérives mentionnées et aussi contre les sim ples erreurs matérielles (par exemple des erreurs de saisie des montants déclarés), le statisticien concepteur d’une opération d’enquête ne peut compter sur la vigilance de l’enquê teur comme le chercheur compte sur la sienne propre en entretien semidirectif. Il est par contre aidé, ici encore, par la technique, puisque la mise en place de la collecte assis tée par ordinateur a permis d’in tégrer phase de collecte et phase de contrôle, avec des« contrôles embarqués »dont la conception fait partie de la mise au point du questionnaire. A nouveau le remède n’a rien d’une panacée, les contrô les destinés à éradiquer les fausses transitions risquant de trop lisser les données. Quand, dans un panel, on rappelle les éléments constitutifs de la situation antérieure, on dimi nue bien le risque de générer une rupture artificielle due à des fluc tuations incontrôlées dans la des cription d’une situation inchangée, mais on court le risque par làmême d’inciter le répondant à déclarer, faussement, que rien n’a changé, que ce que l’on vient de lui repré ciser est toujours valable. Il semble toutefois que les effets positifs de ces contrôles embarqués l’empor tent sur les quelques inconvénients (et ce même sans introduire dans la balance les importants gains sur le volume de travail réalisés) car lors que les données brutes sont enta chées de trop nombreuses erreurs d’observation, leur exploitation, mal gré l’existence de modèles écono métriques de détection et de correc tion des valeurs aberrantes, est peu robuste car, face à des données trop bruitées, les estimations sont très sensibles aux hypothèses faites et aux spécifications retenues.
Un exemple éclairant peut être déve loppé à partir des études faites sur les trajectoires de revenus, en par ticulier sur les entréessorties de pauvreté, à partir des données col lectées dans le panel européen, à
une période où la collecte n’introdui sait pas de contrôles longitudinaux. Dans un tel cas, près des deux tiers des entréessorties repérées sont dues à des erreurs d’observation. Le pourcentagede sortie annuelle de pauvreté se situe entre 15 et 37% selon la technique de correction adoptée (LollivierVerger 2005) ! Dans l’arbitrage entre un lissageex postau moment de l’exploitation et un risque de lissage à la collecte, il est vraisemblable que le second risque est moins grave que le premier et donc que les contrôles en collecte doivent être recommandés.
Ainsi, les interactions entre l’enquê teur et l’enquêté conduisent à des résultats de qualité si elles sont cana lisées. Mais, si elles ne sont pas maî trisées, elles risquent de générer des biais rédhibitoires. Cet enseignement est présent avec une force démulti pliée dans le cas des enquêtes répé tées :
– panels où le même ménage se voit administré le même questionnaire à plusieurs reprises, à un intervalle temporel variant de quelques mois à quelques années ;
– cas où plusieurs individus du même ménage sont enquêtés soit euxmêmes, mais en présence des autres membres du ménage, soit par l’intermédiaire d’un unique informa teur.
« Un répondant averti en vaut deux ». La collecte se présente différemment quand on s’adresse à quelqu’un qui connaît le questionnaire et quand on interroge quelqu’un qui le découvre. Soucieux de lutter contre le risque d’attrition, l’enquêteur est encore plus désireux que d’habitude de pouvoir quitter le ménage sur une note posi tive. L’enquêté connaissant à l’avance les questions qui peuvent amener à des développements longs ou intru sifs, développe petit à petit la com pétence de savoir comment les éviter par une réponse correctement mani pulée. L’effet de surprise est un élé ment qui facilite souvent l’adhésion et la sincérité. Mais quand il a disparu, la difficulté n’en est que renforcée.
Saiton concevoir une bonne enquête auprès des ménages ?
C’est donc finalement, sans exagé ration, un véritable défi, renouvelé à chaque fois, à chaque sujet, qu’un concepteur doit relever s’il veut avoir une chance de mettre au point un protocole d’observation fiable, pro tocole dont l’élément central est bien entendu le questionnaire, mais qu’il faut appréhender dans son contexte spécifique, celui de la relation entre deux personnes et non pas dans l’abstrait.
La prise de rendezvous
Arguties spécieuses pour théoriciens ou effets réels ?
Les preuves directes permettant de quantifier les effets des améliorations de protocole sont assez rares car on ne dispose pas en général d’opéra tions méthodologiques permettant de comparer les résultats de protocoles alternatifs sur des échantillons de taille suffisante pour avoir une bonne précision. Les manuels fournissent quelques exemples tirés de la lit térature internationale qui prouvent que les effets sont susceptibles d’at teindre une ampleur non négligeable (ordre des modalités, effet mémoire).
Plutôt que de les reprendre, dans le cadre de cet article, il a semblé plus intéressant de donner quelques exemples tirés d’opérations françai ses récentes, qui fournissent soit des indications directes sur l’ampleur des phénomènes, soit des indices indi rects de celleci.
Diverses enquêtes sur les fréquences auxquelles on s’adonne aux pratiques culturelles et sportives ont eu lieu de façon presque concomitante ; les différences mises en lumière (dont un échantillon est donné dans les deux tableaux joints extraits de Landré
Courrier des statistiques n° 126, janvieravril 2009
Verger 2006) ont du mal aussi à trouver une explication, mais le lecteur appré ciera l’ampleur des écarts, surtout, en précision relative pour les pratiques les moins diffusées. Heureusement, les disparités « toutes choses égales » présentent des différences, mais pas d’incohérences « radicales », ce qui rend les sources en question utilisa bles, au moins de cette façon.
Un constat désespérant ou une incitation à l’amélioration ?
S’interroger sur la qualité d’un proto cole d’observation, n’est donc en rien un passetemps de statisticien tatillon. Mais si le constat établi ne doit pasêtre rejeté comme futile, il ne doit pas non plus inciter à « jeter le bébé avec l’eau du bain ». Les enquêtes, tout imparfaites qu’elles soient, ont tou jours su faire la preuve de leur utilité. Mais il faut les utiliser à bon escient et certains objectifs, trop ambitieux, resteront inaccessibles quel que soit le soin mis à la préparation.
Ainsi, parfois, des problèmes de qua lité sont détectés, dont les causes restent mystérieuses. C’est le cas du « biais de rotation de l’enquête Emploi en continu », locution technique pour désigner un défaut bien gênant de l’enquête, à savoir le fait que le taux de chômage diffère selon le rang d’in terrogation (il est systématiquement plus élevé en première interrogation, avec, selon les trimestres, entre 0,21 et 1,66 pts d’écart). Des phénomènes analogues se retrouvent dans tous les pays avec des ampleurs variables, et personne, à l’heure actuelle, n’a pu proposer une explication convain cante du phénomène et encore moins y remédier.
Les enquêtes statistiques ne peuvent tout mesurer car elles se heurtent à de nombreuses limites inhérentes :
– au contexte (on est chez le ménage, on ne peut éviter les perturbations, le téléviseur qui fonctionne, le télé phone qui interrompt l’entretien, le conjoint ou les enfants qui refusent de s’éloigner...) ;
17
Daniel Verger
– à la diversité des ménages et des enquêteurs (avec en particulier une grande variabilité dans le degré d’ad hésion et dans les compétences en compréhension) ;
– aux limites de durée (pour enquê teurs et enquêtés).
Les enquêtes téléphoniques répétées concentrent les difficultés :
– absence de support visuel pour les formulations complexes ;
– caractère plus intrusif (pas de prise de rendezvous…) ;
– plus grande facilité pour l’enquêté d’interrompre l’entretien et donc crainte perpétuelle de l’enquêteur qui essaie d’alléger au maximum quitte à reformuler de façon abusive ;
– et, enfin, création d’un effet d’ha bitude qui peut inquiéter quant au maintien jusqu’à la fin de la sincérité.
Mais des dangers repérés peuvent plus aisément être contournés : l’ex périence de l’enquête Information et vie quotidienne (IVQ) incite à ne pas désespérer et au contraire à faire le maximum d’effort pour la qualité : le coût est certain mais le résultat peut se montrer à la hauteur des espérances.
IVQ est née des réflexions conduites à la suite du fiasco d’IALS. Chaque défaut repéré a été pris en compte et le protocole IVQ s’est efforcé d’y apporter une correction, en traitant toutes les étapes du processus.
Première constatation à relever : lors des tests d’IVQ, on a eu la confirmation que tous les problèmes rencontrés dans IALS pouvaient, si on n’y prenait garde, se produire à nouveau (en particulier la tendance des enquêtés à répondre avec leurs connaissances sans lire les textes ou sans tenir compte de ce qu’ils y ont lu, la difficulté à maintenir l’intérêt et l’implication, à éviter les phénomènes perturbants). Le protocole à mettre au point si on veut éviter « d’aller dans le décor » est une mécanique de précision qui nécessite une parfaite maîtrise du réseau d’enquêteurs.
18
Tableau 1  Comparaison des taux de pratique PCVenquête méthodologi que  ÎledeFrance (en %) Taux enquête Taux enquête PCV (*) méthodologique Lecture 74 72 Cinéma 65 67 Écoute musicale 83 87 1 Randonnée pédestre ( ) 19 28 1 Course à pied ( ) 20 15
Natation 1 Vélo (hors vélo d’appartement) ( ) 1 Danse (hors discothèque ou soirée dansante) ( ) 1 Théâtre ( ) 1 Spectacle de danse ou ballet ( )
1 Comédie musicale, spectacle comique ou de variétés ( ) 1 Concert ( ) 1 Festival ( )
Visite d’un château, d’une église ou d’un monument historique
1 Voir une exposition ( )
1 Visite d’un musée ( )
34 38 8 26 15 20 27 8 56 43 39
55 38 14 23 11 12 23 12 56 35 39
1 ( ) : questionnement détaillé selon diverses périodes pour l’enquête méthodologique Source : partie variable de l’enquête Permanente sur les Conditions de Vie, maijuin 2003 et enquête méthodologique associée Champ : individus de 15 ans ou plus, résidant en ÎledeFrance
Visite de musée
Parmi les mesures prises, on citera :
– le recours à un échantillon aléa toire, sur adresse, sans possibilité de remplacement ;
– un calage pour correction des fluc tuations d’échantillonnage et redres sement de la nonréponse totale
conforme aux normes de ce que l’on fait habituellement à l’Insee ;
– un choix d’exercices plus courts, plus variés que dans IALS (un texte en désordre, un texte accompagné de graphiques, un texte long une page, un texte court et technique, un suivi d’itinéraire à partir de cartes)
Saiton concevoir une bonne enquête auprès des ménages ?
Tableau 2  Comparaison entre l’enquête Histoire de vie et l’enquête PCV
Lire Écouter de la musique
Faire une activité artistique
Aller au cinéma
Aller au spectacle
Regarder la télévision
Visiter une exposition, musée, monument
Faire de la marche, des randonnées
Champ : individus 18 ans et plus, France entière
avec un module spécial pour mesurer finement les compétences des « illet trés » (identification de mots, compré hension, production écrite, compré hension orale, numératie avec usage de supports non conventionnels un boîtier de Compact Disc présentant une liste de chansons ainsi qu’un court texte critique sur leur auteur) ;
– une collecte bien contrôlée avec une entrée en matière non scolaire (programme de TV) avec, après cha
Bibliographie
Pourcentage de pratiquants au cours des douze derniers mois
Selon l’enquête Histoire de vie 67 72 19 43 30 88 32 50
Selon l’enquête PCV 68 72 27 50 48 97 55 26
que exercice, le remplissage d’une grille sur l’attitude du répondant (permettant d’estimer trois compor tements, de motivation, d’applica tion et de compétence), utilisant à plein les possibilités offertes par Capi (collecte assistée par informatique) avec des exercices distribués un par un (donc pas de possibilité d’exer cice sauté), avec une mesure des temps de réflexion et le recours à des « fichiers son » pour tester la compré hension orale.
Pour les enquêteurs, on avait mis au point une instruction très précise sur les conditions de passation (neutralité des attitudes, gestion des éventuelles relances,…) et organisé une formation approfondie.
Les efforts ont été couronnés de suc cès puisque les résultats obtenus sont cohérents avec ceux des Journées d’Appel de Préparation à la Défense et très éloignés de ceux d’IALS : même les équipes conceptrices d’IALS acceptent désormais de reconnaître que la collecte a été défectueuse dans plusieurs pays, à la fois dans ceux dont les résultats sont particulière ment mauvais et ceux qui, à l’opposé, sont en tête de classement.
Cet exemple emblématique prouve à la fois que les questions de rédac tion de questionnement, de protocole d’enquête peuvent entraîner des fluc tuations importantes des résultats et, en même temps rassure puisque les mesures correctives ont atteint leur but.n
F. Battagliola, I. BertauxWiame, M. Ferrand, F. Imbert, 1994, « Dire sa vie : entre travail et famille » inTrajectoires sociales et inégalitésouvrage coordonné par F. Bouchayer (Erès). A. Blum et F. GuérinPace2000 :Des lettres et des chiffres Fayard. C. Landré et D.Verger,2006,« La difficile mesure des pratiques dans le domaine du sport et de la culture », Document de travail de l’UMS n° M0601. S. Lollivier et D.Verger,2005,« Trois apports des données longitudinales à l’analyse de la pauvreté » in Les approches de la pauvreté à l’épreuve des comparaisons internationales,Économie et Statistique,N° 383384385. J. Pariente2008 : mémoire de stage, Insee. L.A. Vallet, G. Bonnet, J.C Emin, J. Levasseur, T. Rocher, P. Vrignaud, X. D’Haultfoeuille, F. Murat, D. Verger et P. Zamora, 2002, « Enquête méthodologique Information et Vie quotidienne Bilan du test 1 », document de travail Méthodologie de collecte N° 0202. D. Verger,2004 : « La qualité dans les enquêtes auprès des ménages » inEchantillonnage et méthodes d’enquêtes Dunod 2004.
Courrier des statistiques n° 126, janvieravril 2009
19
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.