Les biais des enquêtes et la marge d’erreur

Dans mon billet vous décrivant 8 types de billets possibles à rédiger, je vous parlais de l’utilisation des études réalisées par diverses sources ou organismes.

Ce type de billet est relativement facile à rédiger, comporte l’un ou l’autre graphique ce qui est toujours un élément visuel intéressant… mais la démarche souvent oubliée est d’avoir un regard critique sur la méthodologie et l’interprétation des résultats. Voici quelques éléments  (non exhaustifs) qui vous permettrons peut être, en tout cas, je l’espère d’être un peu attentif avant de tirer des conclusions hâtives.

Cela fait pas mal de temps que j’ai le sujet de ce billet en tête mais ce qui m’a décidé, c’est la publication des résultat de l’ “enquête” du journal Le Soir (résultats) pour laquelle, je vous avais sollicité. J’en profite pour vous remercier puisque j’ai pu atteindre l’honorable place de 5ème…. même si nous le verrons ci-dessous, cela ne représente en vérité pas grand chose.

1-. L’échantillonage

a. La constitution

La constitution de l’échantillon peut induire des erreurs, ne fut-ce que par le choix qui doit être posé. Les deux catégories de méthodes sont les probabilistes et non probabilistes.

Après le choix de la méthode, il faut encore quelle soit appliquée sans erreur.

b. La taille et la marge d’erreur

PS : Vous remarquez que dans la formule du calcul de la marge d’erreur la taille de la population étudiée n’apparait pas.

2-. Les erreurs de rédaction des questions (voici des erreurs courantes)

a. Le recoupement

Quel âge avez-vous ?

Il vaudrait mieux donner comme choix :

b. Alternatives manquantes

Qu’aimez-vous prendre au petit déjeuné ?

Que pourra choisir celui qui préfère le chocolat chaud ou le jus d’orange ? Si vous proposez des choix, soyez exhaustif ou prévoyez une case Autre avec l’éventuelle possibilité de préciser.

c. Les échelles différentes :

Allez-vous au cinéma :

Mélanger des mois et des semaines est un risque énorme de biais : jamais, c’est aussi moins d’une fois par mois et aussi moins d’une fois par semaine.

3-. L’administration du questionnaire

a. Face à face

La présence de l’interviewer introduit en elle-même un biais. Le fait d’être questionné et d’être exposé à un éventuel jugement peut instaurer une certaine méfiance dans le chef du répondant.

La personnalité de l’interviewer va aussi avoir une influence de par son apparence, son sexe, ses attitudes,…

La communication corporelle de l’interviewer a aussi une incidence : ses mimiques, regards, … En prêtant attention volontairement ou non, le répondant peut deviner ce qu el’interviewer veut entendre et se faire influencer.

b. Internet

Les enquêtes en ligne de plus en plus nombreuses génèrent très souvent une erreur de couverture. C’est à dire que l’échantillon des répondants ne correspond pas à la population à étudier.

Dans le cas du sondage du journal Le Soir, la seule question posée était le choix d’un Twittos dans une liste d’une soixantaine de username.

Voici une série d’erreurs engendrées :

4-. Interprétation des résultats

a. Ne pas parler de la taille de l’échantillon ni de la marge d’erreur

b. Oublier de tenir compte de la marge d’erreur pour invoquer une progression

5-. L’enquête du soir

Les premiers ont réussi à mobiliser des personnes pour voter pour eux. Ces gens ne sont peut être même pas sur Twitter. Il est d’ailleurs amusant de constater que les résultats ont été plus partagés sur Facebook que sur Twitter :

biais enquête

Le nombre de followers ne semble pas avoir eu une influence prépondérante puisqu’un Twittos que j’apprécie beaucoup comme @ChrisLefevre n’est “que” 19ème alors qu’il a près de 3.500 followers. Je n’oserais pas en conclure (parce que je ne le crois pas) que cela confirme ce billet qui dit que Nombre de followers et influence sont deux choses pas forcément corrélées. voir mashable

Dans les 4 premiers, je connais uniquement @michelhenrion car j’ai eu des échanges sympas avec lui avec un autre compte Twitter à moi @tetedeliste

Pour conclure, même si l’enquête du soir comporte des biais, il est toujours sympa de remporter ce type d’enquête (mes félicitations à  @frederiktibau)  ou de bien y figurer.

Un autre aspect positif, depuis l’affichage des résultats, j’ai vu le nombre de mes followers belges augmenter sensiblement. Je leur souhaite bienvenue à bord.

— Posted on novembre 28, 2010 at 6:59 by

Tags: