Puisqu’il rejoint et conforte un combat que j’ai mené durant des années avec Hugues Portelli, un combat qui n’est toujours pas gagné – tant s’en faut ! – malgré deux textes législatifs, on me permettra de saluer tout particulièrement l’ouvrage que Michel Lejeune, universitaire et chercheur en statistiques, vient de publier sous le titre La singulière fabrique des sondages d’opinion aux éditions L’Harmattan.
Michel Lejeune n’y va pas de main morte puisqu’il pourfend dès le premier chapitre les « inepties » proférées par un certain nombre de sondeurs « sur à peu près tout : la représentation de l’échantillon, la portée de la méthode des quotas, les marges d’erreur, la portée des redressements, la notion de biais… »
Alors que nos sondeurs se gargarisent de la « méthode des quotas », Michel Lejeune démontre que la « représentativité » de ces quotas censés prendre en compte toute la diversité de la population sondée est très relative. Il rappelle que dans nombre de pays, la « méthode aléatoire » est en vigueur et que les résultats sont loin d’être moins bons, dès lors qu’elle est mise en œuvre avec rigueur.
Pendant longtemps, les sondeurs ont exposé que la « méthode des quotas » – hégémonique en France – était incompatible avec la détermination de la « marge d’erreur ». Ils ne le font plus aujourd’hui, puisque c’est simplement inexact et que la loi leur fait désormais, depuis 2016, obligation de publier la marge d’erreur – fût-ce en référence à un échantillon de même importance auquel serait appliqué la méthode aléatoire.
La notion de marge d’erreur (ou, plus scientifiquement d’« intervalle de confiance ») est essentielle. En effet, les sondages ne peuvent jamais fournir de résultats en chiffres absolus : ils ne peuvent donner que des écarts.
Aussi est-il affligeant de voir tant de commentaires développés à perte de vue sur un candidat qui gagne un ou deux points sur son concurrent… alors que la marge d’erreur est souvent de trois ou quatre points en plus ou en moins et que les chiffres absolus sur lesquels on se fonde ne permettent en rien de faire les doctes considérations que nous lisons ou entendons très souvent.
Certes, dire que le score d’un candidat se situe entre 47 % et 52 % – ou inversement – n’est pas médiatiquement très vendeur, mais c’est la stricte réalité de ce qu’on peut légitimement affirmer !
Et comme nous avions eu l’imprudence d’écrire dans une loi de 2016 que les instituts de sondage seraient tenus de publier la marge d’erreur lors de la première publication du sondage, l’intention du législateur fut détournée, sinon dans sa lettre, du moins dans son esprit, les instituts diffusant cette fameuse marge d’erreur sur leur site – ou sur un site – peu consulté, ce qui les dispensait ensuite de le publier dans des médias « grand public ». Nous avons donc dû refaire la loi en 2020 : désormais, toute publication d’un sondage doit être assortie de la mention de la marge d’erreur.
Encore faut-il que cette disposition soit appliquée. Et Michel Lejeune pointe à ce sujet, à juste titre, le caractère « insuffisant » des contrôles effectués par la commission des sondages dont la vigilance est relative et dont les contrôles ont assez peu d’effets dans les cas – nombreux – où la loi n’est simplement pas respectée.
Michel Lejeune cite cet article mémorable du quotidien Le Monde du 30 mars 2007 dans lequel, en réponse à l’un de nos rapports parlementaires, Roland Cayrol et Stéphane Rozès évoquent « le travail de nature scientifique »qu’effectueraient les instituts de sondage.
Nous les avons maintes fois pris au mot ! Dans toutes les sciences exactes ou humaines, la transparence s’impose – c’est pourquoi on peut parler d’une démarche scientifique –, chaque auteur devant présenter ses données, ses méthodes et ses résultats de telle manière que le processus soit reproductible : tout autre chercheur appliquant les mêmes méthodes aux mêmes données (au même corpus) aboutissant au même résultat.
Or, les sondeurs s’insurgent encore lorsqu’on leur demande la transparence alors qu’ils se prévalent de la science…
Ainsi en est-il pour les redressements qui sont très fréquents, les « chiffres bruts » issus d’une enquête étant couramment redressés avant d’être publiés.
La loi dispose que ces redressements et la méthode pour les effectuer doivent être déclarés à la commission des sondages, qui doit les publier sur son site internet. Il suffit de consulter ce site pour constater l’indigence des informations apportées.
Des sondeurs nous ont dit que cette disposition de la loi était illégitime et qu’ils devaient pouvoir garder leurs « secrets de fabrication ». C’est comme si vous demandiez à un chef – nous ont-ils dit – de publier ses secrets culinaires. Ce à quoi nous rétorquons que le chef ne prétend pas faire de la science. Il fait de la gastronomie. Si les sondeurs affirment faire de la science, ils doivent accepter qu’on en tire toutes les conséquences.
Je ne donnerai qu’un exemple, très justement analysé par Michel Lejeune : celui de l’élection présidentielle de 2002.
La majorité des sondages mettaient Le Pen à 14 % et Jospin à 18 %. Or, en fonction des échantillons sondés, la marge d’erreur était de plus ou moins 4 %. De surcroît, les résultats bruts des enquêtes mettaient Le Pen à 7 %. Et le redressement de 7 % à 14 % reposait sur des considérations pour le moins discutables : les résultats du vote l’ont montré.
Il faudrait aborder encore bien des sujets évoqués dans ce livre. Je cite :
-
La manière dont les questions sont rédigées, l’ordre dans lequel elles sont posées, l’effet de « halo » de l’une sur l’autre. Changez l’ordre, vous changerez les résultats. Or souvent, ces questions ne sont pas publiées.
-
Le taux de non-réponse ou de refus de réponse dans les sondages téléphoniques, qui peut atteindre 90 % des appels : comment, dans ces conditions, être sûr que la population de ceux qui répondent est « représentative » ?
-
Les biais induits par les sondages par Internet (aujourd’hui les plus fréquents et de loin) et les « acces panel » – autrement dit les panels établis une fois pour toutes (selon des méthodes qui peuvent également poser problème) et comptant des personnes qui répondent moyennant rémunération.
Mais j’arrête là ! Je pense avoir montré combien le travail de Michel Le jeune est utile, salutaire… car, en effet, le combat pour la fiabilité, la transparence et le contrôle des sondages n’est pas achevé.
Jean-Pierre Sueur
