L'actualité m'a incité à un petit rappel sur la nature des sondages. Je leur ai consacré par le passé quelques billets plus fournis (sur le biais systémique dans les sondages politiques, sur les sondages dans le débat public, et pour Emmanuel, 9 ans, celui-ci).
Pourquoi les instituts ne publient-ils pas la marge d'erreur de leurs sondages ?
Ipsos répond en substance : "1) la technique des quotas dispense de tirer les répondants au hasard (sondage aléatoire), 2) cette technique ne permet pas de calculer la marge d'erreur, mais celle-ci est plus faible que celle des sondages aléatoires".
Cette réponse, bien que très partagée dans la profession, est totalement fausse[1].
1) Si les sondages ont une validité, c'est parce que les répondants sont tirés au hasard, fût-ce avec certaines contraintes comme les quotas[2].
2) La façon dont les quotas permettent de réduire la marge d'erreur (améliorer la précision) par rapport à un sondage aléatoire a été quantifiée de façon précise par Jean-Claude Deville, Unité Méthodes de l'INSEE, il y a déjà 20 ans, voir ce résumé[3]. En fait, l'amélioration de précision est modeste : Ipsos et les autres pourraient donc bien publier les marges d'erreur en se basant sur la théorie aléatoire : par exemple, +-4 points pour 500 répondants effectifs à une question.
3) Mais ... la vérité est ailleurs 
...
Quand on a un effectif suffisant (disons 500 et plus[4]) l'erreur de sondage ne vient plus principalement de l'aléa, mais des biais provoqués par la technique de sondage.
Que signifie "biais provoqués par la technique de sondage" ? Cela signifie que, même si on appliquait cette technique à des dizaines de milliers de répondants, ils resteraient différents de la moyenne de la population. Parce qu'ils sont dans l'annuaire, ou parce qu'ils ont internet, ou parce qu'ils ont la bonne volonté et le temps de répondre à des sondages, etc.
À mon avis le principal intérêt des quotas est de réduire certains de ces biais, en forçant les sondeurs à chercher des publics qui ne répondent pas facilement aux sondages.
Plus généralement, les sondeurs connaissent bien sûr l'existence des biais et essayent de les minimiser (sous contrainte de coût et objectif de rentabilité ...!). Mais il est d'autant plus difficile de les chiffrer qu'ils dépendent de chaque question des questionnaires.
"Pour plus d'info", des éléments de théorie des biais sur mon blog professionnel.
Notes
[1] PS. Oups : l'adverbe est de trop. Il y a un peu de vrai sur la fin de la phrase. La suite du billet va le montrer.
[2] Si le sondeur était totalement libre du choix des répondants, il pourrait s'amuser à prendre un jour 1000 bayrouistes et le lendemain 1000 cohn-bendistes. Il serait évidemment impossible d'attribuer la moindre notion de précision aux résultats ainsi produits.
[3] PS : pour les non-matheux, allez directement en haut de la page 4 (paginée 85).
[4] Cela dépend de la question posée, et plus exactement, du niveau d'imprécision avant l'enquête. Disons 500 pour des intentions de vote à une élection qui n'aurait encore fait l'objet d'aucun sondage. Inversement, pour mesurer des variations d'un jour sur l'autre des intentions de vote, il faudrait des échantillons de dizaines de milliers de répondants ... que personne ne peut actuellement financer. Les baromètres existants, sur des échantillons plus petits, sont nécessairement "corrigés" à la main, sinon ils donneraient des fluctuations qui sembleraient aberrantes aux lecteurs ; cf. l'analyse statistique de Tom Roud. Autre solution pour mesurer des variations : un panel (échantillon constant) de milliers de personnes, comme celui d'OpinionWay. Mais avec des facteurs de biais, voir la suite du billet.
en parlant de sondages.. mon mari s'est "fait sonder" avant hier par IFOP( en tant que chef d'entreprise)
voilà en gros comment ça se passe, d'abord ça dure environ 15 minutes..
de multiples questions sont posées en dehors du cadre strict des questions sur l'économie, la crise, le gouvernement, Sarkozy...en particulier sur les médias lus régulièrement sur papier ou internet...
de plus pour certaines questions d'ordre politique ou économique, le nombre de réponses énumérées sont de l'ordre d'une quinzaine( évidemment qu'une fois l'énumération terminée, il faut demander normalement de répeter car on a oublié celles du début, ce que ne fait pas tout le monde) et bizarrement les réponses plutôt favorables à sarko ou au gouvernement, sont toujours les dernières évoquées, ce qui amène on s'en doute une réponse plutôt sur ces dernières propositions puisque les autres ont été oubliées...
la tournure des questions
exemple:
approuvez vous le déremboursement de certains médicaments?( pas d'autres précisions)
cette formule assez vague peut entrainer une réponse positive , si on considère que évidemment certains médicaments sont des médicaments de confort..
d'ailleurs mon mari qui n'y connait rien en médecine, a répondu OUI..
je lui ai alors demandé s'il était d'accord pour dérembourser les veinotoniques qui soulagent les pb vasculaires des femmes agées( douleurs et risques de phlébites), ah! ben NON, m'a t'il répondu.. (pourtant ces médicaments sont déjà déremboursés.). ce qui veut dire que dans une question généralisée, la réponse généralisée suppose accord pour toutes sortes de déremboursements y compris sur des médicaments considérés comme utiles, et utilisés largement par la population .. donc la traduction du OUI à cette question est une forme de détournement de la réalité...
on en déduit que plus généralement sur l'ensemble du sondage, les questions sont soit trop vagues et généralistes.. soit comportent un trop grand nombres de réponses savamment classées..
encore ici, c'est un sondage pour les chefs d'entreprises, donc , un panel spécial, qui peut répondre assez facilement, sans se lasser, et avec une analyse plus poussée sur le plan économique..dernière question concernant l'orientation politique des sondés..
mais on peut avoir quelques doutes sur les sondages réservés aux citoyens lambdas, qu'ils soient agés , ou peu informés, ou limités intellectuellement...la tournure des questions et des réponses est particulièrement vicieuse, et appelle des réponses quasiment "téléphonées" , et favorables au Gouvernement, et à sarkozy...
Très bon article (et très bon commentaire de juju)
Je me suis frotté parfois au sondages (en tant que producteur) et je suis tout à fait d'accord avec Frédéric : la marge d'erreur théorique est aisément connue. Et elle est assez élevée : difficile de descendre en dessous de +/- 2%. Même avec les quotas. Ce qui fait une fourchette de 4%. Alors, quand on voit des "grands" organes de presse s'affoler pour un écart de 0,5% en préélectoral ... bref.
Personnellement, pour sonder un résultat dans une élection locale (12.000 électeurs) j'avais décidé de ne pas demander directement l'intention de vote mais de procéder par questions indirectes. Certainement par chance l'erreur effectif a été inférieur à 100 voix sur environ 10.000 votants.
je trouve pour ma part vos arguments très fallacieux.
Le principal problème de l'exploitation des sondages est que les journalistes n'y comprennent rien et les hommes politiques non plus et que tout ce beau monde prend les résultats pour argent comptant sans se poser de question sur la méthode statistique, le support utilisé et les marges d'erreur liées à la taille de l'échantillon.
@FG : "je trouve pour ma part vos arguments très fallacieux."
Je serais enchanté d'en discuter. Pourriez-vous indiquer quels arguments vous semblent fallacieux, et en quoi ils vous semblent fallacieux ? Cela facilitera le débat ! Merci d'avance !
Par ailleurs l'anonymat est bien sûr autorisé sur ce blog, mais si vous pouvez nous en dire plus sur les connaissances ou expériences qui vous conduisent à cette conclusion, cela facilitera également le débat. Merci encore !
D'accord avec Claudio, très bon billet !
« Peut-on faire dire n’importe quoi aux sondages ?
Avec une parfaite mauvaise foi, il est toujours possible de faire dire n’importe quoi aux chiffres en général et aux sondages en particulier. Un sondage réalisé dans des conditions fantaisistes et basé sur un questionnaire biaisé a toutes les chances d’aboutir à des résultats peu significatifs.
Mais ceci ne signifie pas que les sondés répondent n’importe quoi. Au contraire, il est frappant de constater que les contradictions apparentes que l’on peut relever à la lecture d’une enquête correspondent la plupart du temps à de réelles ambivalences de l’opinion. Un sondage intellectuellement honnête ne craindra pas de faire apparaître ces différentes facettes d’une opinion publique qui pense souvent à la fois ceci et cela. »
Cette question/réponse chez Ipsos met en évidence l’apparente contradiction des personnes sondées.
Ayant déjà fait ce genre d’écoute, sous forme d’audit organisée par type de questionnaire proche sinon similaire, il me semble qu’il suffit juste de savoir que selon la question posée, le même sondé peut se trouver tour à tour dans un rôle différent : soit parent d’élève et en même temps prof, soit consommateur d’un magasin mais en même temps ou salarié ou à son compte etc. Selon le domaine considéré il peut se sentir exploité ou dans son droit (alors que son revenu ferait attendre d’autres résultats lorsque l’on ne connaît pas le contexte). A mon avis, il n’y a pas de réelles ambivalences de l’opinion ; les questions posées ne sont pas assez précises, voilà tout. Et il est probable que l'historique et le contexte n'ont pas été suffisamment pris en compte.
Par ailleurs, pour vérifier une réponse cataloguée "n’importe quoi", il suffit de mettre en fin du questionnaire une dernière question "moucharde", un détrompeur en quelque sorte. Cela permet de vérifier juste la sincérité, la cohérence, pas l’intelligence bien évidemment. (Les réponses incohérentes sont ignorées en principe non ?)
En politique, si l’on voulait gagner en crédibilité, il faudrait accepter de faire un questionnaire construit et testé avant sondage par des personnes de diverses sensibilités. Et en donner publiquement le résultat. Ne rien garder secret, serait la clef, à mon avis, d’une confiance retrouvée !
Mais là je rêve sans doute un peu trop !
@ juju41 : merci de ce commentaire ! Je sais que vous suivez souvent demsf et France démocrate, vous y êtes permanemment bienvenue
Votre commentaire et les autres soulignent que "garbage in, garbage out" : en posant des questions qui ne veulent rien dire pour les gens à qui on les pose, on obtient des réponses qui ne veulent rien dire non plus. Et il est parfaitement exact que le sondeur (le policier enquêteur, le diplomate, le journaliste, etc.) subit de facto une pression de son commanditaire pour poser des questions qui soient pertinentes pour lui, pour ce commanditaire. Il est rarissime qu'elles soient pertinentes pour les sondés. C'est un travail difficile de trouver un terrain de rencontre - un travail difficile techniquement et, je crois, humainement.
Et la facilité, la ligne de plus grande pente, c'est d'accepter telles quelles les questions "en langage marketing", "en langage politique", "en langage médiatique". Et le pire, c'est que dans le monde des années 2000, les sondés, qui connaissent ce langage, s'en amusent et entrent dans le jeu, oublient leur réalité au profit de la fiction du questionnaire, un peu comme le mari de juju41 qui est "pour le déremboursement" (mais qui, dans la réalité, voudrait que les médicaments soient remboursés). Et là, le sondeur a simplement aidé son commanditaire à s'abuser lui-même. Il a tendu un miroir à la pensée unique.
Il y a des commanditaires plus ou moins curieux d'apprendre, d'autres plus ou moins manipulateurs, d'autres plus ou moins cyniques et convaincus que l'aveuglement est préférable à la réalité. En d'autres termes, je ne ferais ni Nicolas Sarkozy, ni d'OpinionWay, les coupables suprêmes d'un éventuel dévoiement de notre belle profession ! Je crois plutôt qu'il y a un confort, une hypocrisie collective qui permettent aux sondeurs de jouer les conseillers des princes et les invités des médias, sans que les princes et a fortiori les médias aient les moyens d'étudier sérieusement l'opinion. Et cela peut conduire à feindre de faire du sondage valable, à surinterpréter des chiffres sans signification, à théâtraliser des évolutions imaginaires. Et cela peut conduire ... des leaders politiques eux-mêmes à douter du miroir que leur renvoient ces sondages si fragiles.
Cela fait un moment que les sondages ne sont plus pris au sérieux par les citoyens les plus éveillés.
Mais cela na pas empêché un bon billet et de bons commentaires!
@ GuiGrou : heureusement qu'il reste quelques citoyens endormis pour payer mon travail !
PS pendant que j'y suis : l'idée selon laquelle les quotas servent principalement à rendre le sondage plus aléatoire, à limiter les biais de méthode, est déjà dans le papier de Lejeune (Cf. lien ce résumé). Je ne saurais dire si je l'avais déjà avant - donc rendons à Lejeune, etc.
@ Frédéric LN : ce ne sont pas les citoyens endormis qui paient ton travail mais ceux qui veulent les endormir. :D
Blague à part, même si les sondeurs font leur travail sérieusement, les sondages répondent toujours à une volonté de prévoir l'avenir et de s'y adapter : est ce toujours bien utilisé?
@ GuiGrou : "une volonté de prévoir l'avenir et de s'y adapter" - souvent, en effet. C'est ce qu'on pourrait appeler le développement durable !
Mais je ne serais pas aussi optimiste que vous. Comme tout élément d'information, les sondages peuvent aussi, comme le dit votre première phrase, être utilisés pour endormir ou intoxiquer ; plus fréquemment encore, la routine de l'information (des sondages, des revues de presse, de twitter, que sais-je) peut servir à s'auto-intoxiquer, à s'anesthésier. Que rien ne se passe dehors, ni risque ni opportunité, ce serait le nirvana du décideur (fût-il simple électeur). Cela crée une incitation objective, pour les gens chargés de l'informe, à lui dire que "à l'Ouest rien de nouveau", à le divertir au lieu de l'informer.