Sondages

  • Puisqu’il rejoint et conforte un combat que j’ai mené durant des années avec Hugues Portelli, un combat qui n’est toujours pas gagné – tant s’en faut ! – malgré deux textes législatifs, on me permettra de saluer tout particulièrement l’ouvrage que Michel Lejeune, universitaire et chercheur en statistiques, vient de publier sous le titre La singulière fabrique des sondages d’opinion aux éditions L’Harmattan.
    Michel Lejeune n’y va pas de main morte puisqu’il pourfend dès le premier chapitre les « inepties » proférées par un certain nombre de sondeurs « sur à peu près tout : la représentation de l’échantillon, la portée de la méthode des quotas, les marges d’erreur, la portée des redressements, la notion de biais… »
    Alors que nos sondeurs se gargarisent de la « méthode des quotas », Michel Lejeune démontre que la « représentativité » de ces quotas censés prendre en compte toute la diversité de la population sondée est très relative. Il rappelle que dans nombre de pays, la « méthode aléatoire » est en vigueur et que les résultats sont loin d’être moins bons, dès lors qu’elle est mise en œuvre avec rigueur.
    Pendant longtemps, les sondeurs ont exposé que la « méthode des quotas » – hégémonique en France – était incompatible avec la détermination de la « marge d’erreur ». Ils ne le font plus aujourd’hui, puisque c’est simplement inexact et que la loi leur fait désormais, depuis 2016, obligation de publier la marge d’erreur – fût-ce en référence à un échantillon de même importance auquel serait appliqué la méthode aléatoire.
     
    La notion de marge d’erreur (ou, plus scientifiquement d’« intervalle de confiance ») est essentielle. En effet, les sondages ne peuvent jamais fournir de résultats en chiffres absolus : ils ne peuvent donner que des écarts.
    Aussi est-il affligeant de voir tant de commentaires développés à perte de vue sur un candidat qui gagne un ou deux points sur son concurrent… alors que la marge d’erreur est souvent de trois ou quatre points en plus ou en moins et que les chiffres absolus sur lesquels on se fonde ne permettent en rien de faire les doctes considérations que nous lisons ou entendons très souvent.
    Certes, dire que le score d’un candidat se situe entre 47 % et 52 % – ou inversement – n’est pas médiatiquement très vendeur, mais c’est la stricte réalité de ce qu’on peut légitimement affirmer !
    Et comme nous avions eu l’imprudence d’écrire dans une loi de 2016 que les instituts de sondage seraient tenus de publier la marge d’erreur lors de la première publication du sondage, l’intention du législateur fut détournée, sinon dans sa lettre, du moins dans son esprit, les instituts diffusant cette fameuse marge d’erreur sur leur site – ou sur un site – peu consulté, ce qui les dispensait ensuite de le publier dans des médias « grand public ». Nous avons donc dû refaire la loi en 2020 : désormais, toute publication d’un sondage doit être assortie de la mention de la marge d’erreur.
    Encore faut-il que cette disposition soit appliquée. Et Michel Lejeune pointe à ce sujet, à juste titre, le caractère « insuffisant » des contrôles effectués par la commission des sondages dont la vigilance est relative et dont les contrôles ont assez peu d’effets dans les cas – nombreux – où la loi n’est simplement pas respectée.
    Michel Lejeune cite cet article mémorable du quotidien Le Monde du 30 mars 2007 dans lequel, en réponse à l’un de nos rapports parlementaires, Roland Cayrol et Stéphane Rozès évoquent « le travail de nature scientifique »qu’effectueraient les instituts de sondage.
     
    Nous les avons maintes fois pris au mot ! Dans toutes les sciences exactes ou humaines, la transparence s’impose – c’est pourquoi on peut parler d’une démarche scientifique –, chaque auteur devant présenter ses données, ses méthodes et ses résultats de telle manière que le processus soit reproductible : tout autre chercheur appliquant les mêmes méthodes aux mêmes données (au même corpus) aboutissant au même résultat.
    Or, les sondeurs s’insurgent encore lorsqu’on leur demande la transparence alors qu’ils se prévalent de la science…
    Ainsi en est-il pour les redressements qui sont très fréquents, les « chiffres bruts » issus d’une enquête étant couramment redressés avant d’être publiés.
    La loi dispose que ces redressements et la méthode pour les effectuer doivent être déclarés à la commission des sondages, qui doit les publier sur son site internet. Il suffit de consulter ce site pour constater l’indigence des informations apportées.
    Des sondeurs nous ont dit que cette disposition de la loi était illégitime et qu’ils devaient pouvoir garder leurs « secrets de fabrication ». C’est comme si vous demandiez à un chef – nous ont-ils dit – de publier ses secrets culinaires. Ce à quoi nous rétorquons que le chef ne prétend pas faire de la science. Il fait de la gastronomie. Si les sondeurs affirment faire de la science, ils doivent accepter qu’on en tire toutes les conséquences.
     
    Je ne donnerai qu’un exemple, très justement analysé par Michel Lejeune : celui de l’élection présidentielle de 2002.
    La majorité des sondages mettaient Le Pen à 14 % et Jospin à 18 %. Or, en fonction des échantillons sondés, la marge d’erreur était de plus ou moins 4 %. De surcroît, les résultats bruts des enquêtes mettaient Le Pen à 7 %. Et le redressement de 7 % à 14 % reposait sur des considérations pour le moins discutables : les résultats du vote l’ont montré.
    Il faudrait aborder encore bien des sujets évoqués dans ce livre. Je cite :
    • La manière dont les questions sont rédigées, l’ordre dans lequel elles sont posées, l’effet de « halo » de l’une sur l’autre. Changez l’ordre, vous changerez les résultats. Or souvent, ces questions ne sont pas publiées.
    • Le taux de non-réponse ou de refus de réponse dans les sondages téléphoniques, qui peut atteindre 90 % des appels : comment, dans ces conditions, être sûr que la population de ceux qui répondent est « représentative » ?
    • Les biais induits par les sondages par Internet (aujourd’hui les plus fréquents et de loin) et les « acces panel » – autrement dit les panels établis une fois pour toutes (selon des méthodes qui peuvent également poser problème) et comptant des personnes qui répondent moyennant rémunération.
    Mais j’arrête là ! Je pense avoir montré combien le travail de Michel Le jeune est utile, salutaire… car, en effet, le combat pour la fiabilité, la transparence et le contrôle des sondages n’est pas achevé.
    Jean-Pierre Sueur
    • La singulière fabrique des sondages d’opinion, aux éditions L’Harmattan, 165 pages, 19 €

     

  • Jean-Pierre Sueur a été interviewé ce lundi 11 octobre par Yaël Goosz sur France Inter à propos des sondages.
  • Jean-Pierre Sueur a déposé une proposition de loi précisant les conditions de publication des marges d'erreur des sondages sans laquelle il est impossible d'apprécier justement les informations qu'ils apportent.

    Lire :

    >> L'exposé des motifs

    >> La proposition de loi

  • Le Journal de Gien du 22 octobre 2009

    091022_courrier_loiret_sondages

    .

  • En complément de mon analyse parue le lundi 28 juin à la suite des élections régionales et départementales, j’ajoute une remarque sur les sondages. On peut dire, à juste titre, que ces élections ont été marquées – une nouvelle fois – par une « bérézina » des sondages. Rien ne s’est passé comme cela avait été prévu par ceux-ci. Je connais d’avance la réponse des sondeurs : un sondage est une photographie de l’opinion à un moment précis. Tout peut évoluer dans les jours qui suivent. Les électeurs peuvent même s’appuyer sur les résultats des sondages pour les déjouer. J’entends cela, mais j’ajoute aussitôt que rien ne justifie que la loi sur les sondages, qui est claire et précise, ne soit pas appliquée.
    Or, celle-ci dispose notamment que chaque publication d’un sondage soit désormais accompagnée de la mention de la marge d’erreur, et cela quel que soit le média, écrit ou audiovisuel. Si la loi était appliquée, les auditeurs et lecteurs pourraient constater que les sondages ne peuvent jamais se traduire par des chiffres absolus. Comme la marge d’erreur peut être de plus ou moins 2 % ou 3 %, les sondages peuvent en réalité permettre de publier des écarts pouvant aller de trois, quatre à six points (plus ou moins additionnés), ce qui doit conduire à clairement relativiserles chiffres absolus qui sont annoncés.
    Jean-Pierre Sueur
  • Jean-Pierre Sueur est intervenu en séance publique pour défendre un amendement obligeant les instituts de sondage à publier leurs marges d’erreur. Cet amendement a été adopté par le Sénat.
  • Une émission de radio parmi tant d’autres – sur le service public  de surcroît – m’a incité à écrire ces lignes.
    La radio avait réalisé un sondage avec d’autres médias sur la prochaine élection présidentielle qui a lieu – rappelons-le – dans huit mois.
    Première remarque : cette émission ne  respectait pas la loi puisqu’il ne fut jamais fait mention de la « marge d’erreur » qui en l’espèce devait être de plus ou moins trois points (soit un « écart » de six points), alors que c’est obligatoire.
    Seconde remarque : les invités déblatérèrent durant plus d’une heure sur des chiffres absolus de chaque candidat et candidate supposés qui étaient dans plusieurs cas très proches : des écarts d’un, deux ou trois points. Or, cela n’a aucun sens puisque ces écarts sont inférieurs à la marge d’erreur. On ne peut donc RIEN conclure de ces différences et toutes les considérations qui se fondent sur ces chiffres sont fumeuses ; elles n’ont aucune validité, aucune crédibilité.
    Ajoutons qu’à huit mois d’une élection, les sondages n’ont AUCUNE valeur prédictive. On ne peut rien en déduire sur les résultats de l’élection, ni sur les intentions de vote des électeurs à l’approche du jour de l’élection.
    Tout cela est donc vain.
    On lira par ailleurs une analyse de l’ouvrage que vient de publier Michel Lejeune sous le titre La singulière fabrique des sondages d’opinion que je me permets de recommander à ceux qui douteraient de ce que je viens d’écrire.
    Michel Rocard dénonçait la transformation de la politique, via cette appétence sondagière, en courses de chevaux.
    Il est plus que temps de préférer à cette course de chevaux les projets, les idées et les convictions qui, seuls, peuvent restaurer l’intérêt pour la politique.
    Jean-Pierre Sueur
  • La République du Centre, 20 mars 2021

     
  • Le Figaro, 13 mars 2021

     
  • Public Sénat, 21 juin 2021

     
  • Jean-Pierre Sueur et Hugues Portelli ont été à l’initiative de la loi du 25 avril 2016 qui précise les informations qui doivent accompagner la première publication ou diffusion d’un sondage politique ou électoral (article 2) ainsi que les informations qui doivent être communiquées à la commission des sondages et rendues publiques sur son site (article 3).

    Une récente décision de la Commission d’accès aux documents administratifs (CADA) rappelle que les informations mentionnées ci-dessus doivent être impérativement communiquées et rendues publiques.

    >> Lire la décision de la CADA

  • Je signale tout particulièrement l’article de Marjorie Lafon paru sur le site du quotidien Libération.

    Celui-ci met l’accent, à très juste titre, sur deux « contournements » des articles de loi que j’ai pu faire adopter sur les sondages.

    Si ces contournements ne portent pas sur la lettre de ces articles de loi, ils portent assurément sur leur esprit.

    Il s’agit d’abord des marges d’erreur. Publier le résultat d’un sondage sans publier la marge d’erreur, c’est refuser au lecteur (ou à l’auditeur ou au téléspectateur) une information indispensable pour simplement comprendre ce résultat et en apprécier la portée. Si un sondage donne un résultat de 51 % pour un candidat et de 49 % pour l’autre candidat et que la marge d’erreur est de plus ou moins 2,5 %, cela montre simplement que le résultat du premier si situe entre 48,5 % et 53,5 %, et celui du second entre 46,5 % et 51,5 %, et que cela peut se retourner ! C’est bien ce que l’on a vu en 2002. Avant le premier tour de l’élection présidentielle, Lionel Jospin était devant Jean-Marie Le Pen. Beaucoup ont orienté leur vote au premier tour en fonction de cette croyance qui s’est révélée fausse en raison – justement – de cette marge d’erreur.

    Or nous avons fait l’erreur – c’est le cas de le dire – d’écrire dans la loi que la publication de la marge d’erreur n’était obligatoire que pour la première publication du sondage… Résultat : certains instituts la publient en effet sur leur site Internet, peu consulté, ce qui permet de s’exonérer de sa publication dans les médias qui ont acheté ce sondage… Il faudra assurément changer la loi à cet égard.

    Le second contournement porte sur les « redressements ». La loi prévoit que des méthodes précises permettant de passer des chiffres bruts aux chiffres redressés, et publiés, doivent être déclarées et présentées à la Commission des sondages dans un document qui doit être rendu public sur le site Internet de cette commission. Il est, en effet, apparu au législateur qu’il devait y avoir une transparence totale à cet égard. Et cela pour une simple raison : les sondeurs ont déclaré aux rapporteurs des articles de loi (Hugues Portelli et moi-même) que leur méthode était « scientifique. » Si elle est « scientifique », on en voit pas ce qui s’opposerait à exposer sur quels critères objectifs les résultats bruts sont redressés. Or il suffit de consulter les documents diffusés pour constater que ceux-ci sont souvent d’une grande indigence. Là encore, l’esprit de la loi n’est pas respecté, tant s’en faut.

    JPS

    >> Lire l’article de Marjorie Lafon

  • Le projet de loi organique portant diverses mesures relatives à l'élection du Président de la République a été définitivement adopté hier.
    Dans ce projet de loi, l'article 3 bis issu d'un amendement de Jean-Pierre Sueur prévoit que lors de la prochaine élection du président de la République, toute publication ou diffusion de sondage sera obligatoirement accompagnée de la mention des marges d'erreur (ou "intervalles de confiance"). Le même amendement avait déjà été adopté dans le projet de loi relatif aux élections régionales et départementales.
    Cet amendement est issu de la proposition de loi visant à améliorer les obligations d'information sur les conditions d'élaboration des sondages déposée par Jean-Pierre Sueur en juillet 2020. Il se justifie par le fait que l'esprit de dispositions législatives précédentes portées par Hugues Portelli et Jean-Pierre Sueur n'était, dans les faits, pas mis en œuvre. En effet, selon ces dispositions antérieures, la mention des marges d'erreur était limitée à la première publication du sondage, si bien que certains instituts pouvaient publier cette information sur leur site internet, et que les médias ayant commandé le sondage pouvaient ensuite se dispenser de le faire.
    Or, la connaissance des marges d'erreur est une absolue nécessité pour interpréter correctement les sondages. Présenter dans les médias des chiffres absolus n’a pas de sens, car la marge d’erreur peut être supérieure à l’écart entre les résultats annoncés pour chacun des candidats.
    Ainsi, pour un échantillon de l'ordre de 600 réponses, la marge d'erreur peut être de + ou - 2,5 % voire 3 %, selon les modalités de collecte. 
    Quand on connaît aujourd'hui les impacts que peuvent avoir les sondages en période électorale, il était indispensable d'assurer une plus grande transparence de ceux-ci afin de permettre leur juste interprétation : en réalité, plus que des chiffres absolus, les sondages permettent de connaître des écarts entre des résultats probables. C'est pourquoi la mention de la marge d'erreur est toujours nécessaire.
  • Medium.com, mecredi 10 mars 2021