[ 12 janvier 2017 ]

Les sondages

Peut-on parler d’essoufflement des sondages ?

Depuis les années 1930, date du début de l’utilisation des sondages dans les campagnes politiques, on cherche constamment à améliorer cette méthode, pour la rendre plus scientifique. Ce n’est pas nouveau, il y a eu des périodes d’engouement, des périodes de détestation, des périodes de contestation des sondages. Mais les sondeurs sont extrêmement divers, il y a des sondeurs privés et des sondeurs publics, des sondeurs qui sont à cours de moyens et des sondeurs qui n’ont pas de problèmes d’argent. Parler des sondages et des sondeurs comme s’il s’agissait d’entités homogènes est évidemment abusif. Aujourd’hui les sondages sont devenus courants dans la vie, les gens se sont habitués à être sollicités pour remplir des enquêtes en ligne dans différents domaines. Avant, nous connaissions tous quelqu’un qui n’avait jamais répondu à une enquête d’opinion, ce qui d’ailleurs laissait planer un doute sur leur réalité. Aujourd’hui, le phénomène est devenu plus familier. On fait des sondages sur tous les événements politiques, quels qu’ils soient, qu’il s’agisse de campagnes électorales ou d’un débat public en cours, avec pour résultat leur multiplication. Or, les dépenses faites pour couvrir les coûts associés à la production d’une enquête sont toutes couvertes par les mêmes sources de financement. Il y a donc de moins en moins d’argent disponible par sondage fait, d’autant que les sondeurs sont de plus en plus nombreux. Les enquêtes sont donc plus expéditives, elles comportent moins de questions, et moins d’items de réponses, (c’est-à-dire la gamme de réponses possibles). Elles ont trop peu de questions ouvertes (auxquelles on peut répondre librement puisque c’est un robot qui analyse les réponses et non une personne susceptible de vous juger). Les sondeurs n’ont pas le temps de replacer les réponses dans leur contexte. Tout ceci empêche parfois de faire un travail sérieux afin de s’assurer que celles et ceux qui disent qu’ils voteront pour X ou Y vont vraiment le faire. Arriver à un résultat systématique et solide qui rende compte des états d’âme ou des réflexions des enquêtés nécessiterait le recours à un questionnaire de 45 questions, qui durerait 45 minutes, voire une heure, et au long processus de traitement qui va avec. S’ils procédaient ainsi, la plupart des instituts de sondage feraient faillite. La technique en elle-même n’est pas en cause, ce qui l’est c’est l’extrême difficulté que l’on a à faire ce travail parfaitement.

Mais alors pourquoi faire des sondages ?

Du côté de la commande, les candidats espèrent toujours que les sondages leur seront favorables, un peu comme autrefois les anciens avaient recours aux oracles pour savoir si c’était un jour propice pour se lancer dans une expédition militaire. Ils ou elles veulent la réponse à leur question tout de suite et tout le reste, pourtant indispensable à la précision de celle-ci, ne les intéresse pas. Et puis, ils en commandent beaucoup, avec une obsession de la courbe et de ses variations, comme lorsque l’on essaie d’objectiver ce que l’on fait dans la vie (le nombre de pas dans la journée, les toxines éliminées en faisant de l’exercice, tous ces types d’indicateurs). Or, plus on multiplie les sondages, moins il y a d’argent pour chacun, c’est un cercle vicieux. C’est aussi contraire à l’exigence de réaliser des enquêtes de plus en plus fines et complètes, donc de plus en plus longues et coûteuses. Quant à l’influence des sondages sur le vote, les candidats qui y recourent espèrent s’installer dans le paysage politique et devenir un choix possible pour les électeurs. Ils espèrent que leur candidature gagnera en légitimité. Cet effet n’est pas inattendu en Europe, bien que les sondages soient nés aux États-Unis dans le cadre d’un système électoral qui, tout en étant extrêmement compliqué, a en réalité des effets très brutaux. Une fois le dispositif déplacé de son contexte initial simple vers un contexte aussi complexe que le nôtre, des effets inattendus et même indésirables des sondages sont constatés. Par exemple, dans le cadre d’un vote « utile » aux primaires d’un parti politique, le sondage peut avoir une influence déterminante sur la population. Ce n’est pas un problème nouveau pour la démocratie : Rousseau disait lui-même qu’il ne fallait surtout pas que les citoyens débattent parce qu’ils pourraient changer d’avis ! Mais à partir du moment où la démocratie repose sur un débat public contradictoire devenu très médiatisé, il est inévitable que toutes sortes d’informations circulent. D’un côté, oui, les sondages ont une influence dans la mesure où ils modifient la stratégie des électeurs. Mais d’un autre côté, non, ça ne compte pas plus que d’autres sources d’informations, le recueil permanent de celles-ci étant inscrit dans le logiciel même de la démocratie.

Quels sont les changements en cours ?

Depuis 1932, les sondages ne se font plus de la même façon ! Avant ils avaient lieu au domicile des enquêtés, en face-à-face, dans leur salon ou leur salle à manger, puis toutes leurs réponses étaient dépouillées et triées à l’aide de cartes perforées : des « perfo-vérif » (des perforatrices vérificatrices) faisaient ça à longueur de temps avec des aiguilles à tricoter. Cette méthode avait beaucoup de limites, mais en même temps elle était très simple. Si une question était mal posée, on la reposait sous une autre forme dans un sondage ultérieur, et petit à petit de grandes tendances apparaissaient. Actuellement, en revanche, on interroge les gens en ligne : face à une machine les personnes interrogées ne peuvent voir la personne qui les interroge, elles ne peuvent pas leur demander des précisions techniques ou alors selon des circuits trop longs pour que ces demandes parviennent à ceux qui conçoivent ces enquêtes. On est devant son écran, on peut remplir le questionnaire dans des délais prévus d’avance, quand on veut, où on veut. Du coup il peut y avoir un nombre considérable de répondants car le coût de la passation du questionnaire est très faible comparé aux frais engendrés par un enquêteur professionnel salarié allant voir les gens chez eux. Cela ne coûte presque rien, d’autant que l’ordinateur lui-même est programmé pour agréger puis traiter statistiquement toutes les réponses. De ce fait, les échantillons sont beaucoup plus nombreux qu’autrefois. Pour ce qui concerne la campagne électorale présidentielle en France, l’un des instituts effectue des enquêtes sur un échantillon de… 450 0000 personnes. Parmi celles-ci, on extrait un volant de quelques 10 000 répondants, qui auront participé à toutes les vagues successives du sondage de façon assidue, alors que dans les sondages de type traditionnel aux États-Unis on interrogeait 2 400, 3 000, 5 000 personnes au grand maximum. En France, par souci d’économie et de représentativité, on a inventé la méthode des quotas (par exemple, on cherche à obtenir une proportion minimale de gens ayant un niveau d’éducation de type primaire, secondaire ou pas d’éducation du tout ; un nombre égal d’hommes et de femmes ; un pourcentage réaliste d’habitants des villes et de ruraux, de cadres supérieurs et de fonctionnaires, de retraités ou de chômeurs). Grâce à ces quotas on arrive à réduire le nombre de personnes que l’on a besoin d’interroger pour que les réponses collectées soient fiables : on a pu ainsi descendre jusqu’à 500-600 répondants pour les sondages européens appelés « Eurobaromètres », tout en conservant suffisamment d’efficacité méthodologique. Dans le système probabiliste américain initial on interrogeait un maximum de gens sans se préoccuper d’où ils venaient. On se disait qu’en en interrogeant beaucoup on finirait bien par avoir autant d’hommes que de femmes, par exemple. Mais c’était assez coûteux, il fallait aller les voir en face-à-face. Puis on est passé au système intermédiaire des quotas, avec des personnes interrogées par téléphone, ce qui coûte moins cher, et présente un taux moins élevé de refus de réponse. Enfin, la technique actuelle consiste à interroger tous ceux qu’on peut toucher avec cet outil extraordinaire qu’est le Web, tout en vérifiant leur représentativité en termes de quotas. On pense donc avoir le beurre et l’argent du beurre. Ce n’est pas coûteux, beaucoup de gens répondent, on peut s’assurer de leur représentativité. Mais cela pose différents problèmes. Premier problème : quand on est passé du face-à-face aux entretiens téléphoniques, quelque chose de nouveau s’est produit, certes, mais malgré tout on continuait de parler à quelqu’un dont on entendait la voix. C’est d’autant plus important que, dans un sondage, l’entretien est un travail fait conjointement par l’enquêteur et l’enquêté : l’enquêteur cherche à ne pas perdre l’enquêté en route, il cherche aussi à s’assurer que la personne qui lui répond comprend bien ce qu’on lui demande. Celle-ci peut elle-même négocier sa participation à l’entretien, répondre rapidement pour s’en débarrasser ou bien se prendre au jeu et créer un lien avec celle qui l’interroge. En revanche, dans une enquête par Internet, il n’y a personne à l’autre bout de la ligne. Il peut s’en suivre deux conséquences assez différentes. Soit vous êtes dans une situation assez réaliste, proche de celle dans laquelle vous vous trouvez lorsque vous passez dans l’isoloir et que vous prenez la décision ultime de mettre dans le plus grand secret et en silence un bulletin dans une enveloppe. Soit vous êtes dans une situation assez artificielle, comme si vous parliez à d’autres personnes dans le bureau de vote juste avant de voter, et que votre choix en dépende. Second problème : jusqu’à présent les chercheurs basaient leurs analyses sur l’examen de toutes les enquêtes précédentes accessibles ; quelquefois même ils retravaillaient les données de sondages anciens pour mieux expliquer les transformations rapides constatées dans des sondages en cours. Maintenant on ne le pourra plus, même si les questions étaient identiques, parce qu’on aura complètement changé de technique. C’est la première fois que cela arrive. Toutes les critiques faites aux sondages tombent désormais à plat car elles ne s’adressent plus au même dispositif. Prenons le regret maintes fois exprimé que les enquêteurs et enquêtrices n’aillent pas voir les gens qui ne répondent pas aux sondages, alors que ce sont justement eux dont l’opinion serait particulièrement intéressante à connaître parce qu’ils ne sont pas bien intégrés dans le système politique. Avec 450 000 personnes ayant l’habitude de répondre à des enquêtes par questionnaires et qui s’y sont engagées par avance, ce problème ne se pose plus de la même manière. Mais que faire des gens qui refusent d’avoir une messagerie ? Nous savons qu’a été mis récemment en place un groupe de contrôle pour les interroger à part de tous les autres, afin de savoir comment ils réagissaient à la campagne électorale en cours. Mais nous ne connaissons pas encore les résultats de ce contrôle, et n’avons pas encore de recul suffisant, sur plusieurs années, pour en évaluer la portée.

Est-ce que ce sont les sondeurs qui déterminent eux-mêmes le cadre de leur activité ?

Oui, absolument. Dans le cadre bien entendu de ce qui est légal, et permis par la Commission des Sondages et par la Commission Nationale Informatique et Liberté. Il y a des questions que l’on ne peut pas poser en France : par exemple, on ne pose pas de questions sur l’origine confessionnelle des gens ou des questions considérées comme « invasives », même moralement, c’est-à-dire susceptibles de leur poser des dilemmes moraux graves. La culture de la profession comme les règles légales françaises et européennes obligent la plupart des instituts de sondage à fonctionner de la même manière. Certains font beaucoup plus de sondages politiques que d’études de marché, mais ils ne sont pas très nombreux, parce que cela rapporte moins que les enquêtes sur la consommation d’un bien ou d’un service. Ces instituts là jouent sur plus leurs coûts que sur leurs moyens, ils ne fonctionnent pas du tout de la même manière que les autres. Mais comme il y a des appels d’offres et des cahiers des charges, et que les clients qui commandent des sondages ont la possibilité de choisir ceux qui leur conviennent le mieux, un benchmark se met en place — un standard de qualité sur lequel ceux-ci essaient de s’aligner sur cette norme au fil du temps. Dans ces conditions, ce n’est pas la technique particulière que chaque institut utilise qui fait problème mais plutôt son offre, un peu comme quand on s’abonne à une offre téléphonique, il y a divers forfaits possibles. Certains sondeurs offrent des interviews gratuites, d’autres des vagues supplémentaires sans frais, et d’autres encore un panel de personnes interrogées séparément par téléphone pour voir si elles se comportent comme celles qui ont été interrogées par Internet. Il y a bien, d’une part, des normes légales ou déontologiques qui font que des meilleures pratiques sont suivies ; mais il y a, d’autre part, des offres commerciales dépendant du modèle économique de chaque institut et pouvant évidemment varier, qui freinent la tendance à s’aligner sur les meilleures pratiques imposées par des normes légales et culturelles. Toutes les tentatives d’encadrement des sondages — qui vont croissant, d’autant plus que les sondages ont l’air de se tromper lors d’élections majeures et peut-être de façon répétitive — sont vouées à l’échec. Les candidats peuvent toujours commander des sondages et les consulter sans qu’il y en ait une diffusion publique. C’est tout le problème de l’interdiction de la publication des résultats des sondages la veille des élections, parce que certains candidats, eux, sont informés des dernières estimations. Ils ou elles peuvent faire une dernière déclaration qui n’a pas l’air de s’inscrire dans le cadre de la campagne mais qui a un effet sur le vote ; ou alors, ils peuvent contacter des électeurs dont ils ont appris qu’ils risquaient de ne pas se déplacer. On peut en conclure que c’est bien d’encadrer, que c’est bien de chercher à se débarrasser de tout ce qui est négatif dans les sondages ; en revanche, il ne faut pas se faire d’illusions, il y aura toujours des tentatives de candidats et de candidates pour recueillir jusqu’à la dernière minute un maximum d’informations sur celles et ceux qui peuvent les élire.

Faut-il craindre les erreurs des sondages dans nos démocraties ?

Pour ce qui concerne la capacité de prédire un résultat avec précision, un sondage ne se trompe jamais quand on l’observe de façon tendancielle. Quand le résultat de l’avant-veille du scrutin est contraire au résultat final, on parle d’erreur. Mais dans la plupart des cas, lorsque l’on observe des vagues d’entretiens successives, la courbe est ascendante ou descendante. C’est exactement ce qui est arrivé à Hillary Clinton (courbe descendante) et Donald Trump (courbe montante), dont les courbes ont fini par se croiser le jour de l’élection, dans certains États clefs. On dit toujours : « un sondage : c’est une photographie a un instant donné ». Forcément, le moment d’après on l’ignore, on ne connaît pas la suite du film, surtout quand des règles légales interdisent de la connaître. En outre, définir le nombre de grands électeurs obtenus dans le cadre américain — ou parvenir à une projection en sièges au Parlement en France – est quasiment impossible. Les sondages ne se trompent pas quand ils sont bien faits, mais pour évaluer leurs performances il faut regarder l’ensemble de leurs résultats depuis la première vague jusqu’à la dernière, et même jusqu’à la sortie des urnes que l’on peut considérer comme l’ultime moment de mesure. Les instituts n’ont pas non plus résolu leur problème traditionnel, celui d’échantillons biaisés parce que les personnes qui sont accessibles par téléphone ou Internet sont souvent plus éduquées (et plus sensibilisées à la démagogie et du populisme) que les populations de référence. Il faudrait trouver des gens qui ne votent pas et ne répondent pas aux sondeurs, et les convaincre de les écouter. Pourtant, si vous ne pouvez pas faire voter les gens qui n’ont pas envie de le faire, vous ne pouvez pas non plus obliger des gens qui ne le veulent pas à répondre à un sondage. Tous les instituts donnent aujourd’hui Marine Le Pen perdante devant n’importe lequel des candidats qui lui sont opposés. Mais ce qui est difficile à prévoir, c’est la dynamique. Or, c’est elle qui compte : quand une courbe va dans un sens, elle a des vertus prédictives. Mais on ne peut pas non plus demander aux sondeurs de faire de la science-fiction en extrapolant à partir des données recueillies la trajectoire supposée de la courbe là où l’on ne dispose pas encore de chiffres. On ne peut pas exiger qu’ils s’abstiennent de redresser leurs échantillons, par exemple en diminuant après coup la proportion de personnes éduquées, ou en traquant les répondants dont les réponses ne sont pas cohérentes entre elles, bien que ces techniques de redressement soient comme des recettes de cuisine, chacun a son tour de main, c’est assez intuitif. Enfin, il y aura toujours des informations pesant à la dernière minute sur le comportement des électeurs (par exemple une révélation policière ou une promesse de scandale). Savoir si les sondages sont plus illégitimes que d’autres moyens d’information est difficile à dire, c’est à chacun de se faire sa propre opinion. On ne peut pas évaluer le rôle des sondages dans une démocratie, c’est une question qui n’a pas de sens. Les résultats qu’ils véhiculent ne sont pas plus antidémocratiques que toutes les autres informations qui circulent.