Mêmes sondages, écart de 10 mandats : pourquoi les échantillons donnent des résultats différents

Des millions d'Israéliens devraient participer aux élections et décider qui seront les membres de la Knesset et le prochain gouvernement. Mais ceux qui sont collés aux écrans pour tenter de connaître le résultat dès maintenant doivent se contenter de réponses basées sur quelques centaines à environ 1 000 citoyens seulement. Ces personnes, choisies parmi l'ensemble de la population selon diverses méthodes, deviennent dans les sondages des représentants de millions d'électeurs - et fournissent les données sur lesquelles sont construits les titres, les interprétations et les prévisions politiques.

Le fait est que les sondages n'interrogent pas les mêmes personnes. Chaque institut construit son propre échantillon, tente d'atteindre différents segments de la population et utilise différentes méthodes pour transformer un petit groupe en une image qui représente la société israélienne dans son ensemble. Le résultat obtenu est que, au cours de la même semaine, différents instituts peuvent présenter des images complètement différentes de la carte des mandats.

Alors, dans quelle mesure les sondages réussissent-ils réellement à représenter les millions d'Israéliens qui voteront aux urnes dans environ trois mois, et les différences entre les groupes échantillonnés peuvent-elles expliquer les grands écarts entre les résultats présentés par les différentes chaînes ?

Accent sur les proportions

Traditionnellement, sur les chaînes 12, 13 et 11, contrairement aux chaînes 14 et i24NEWS, une différence est évidente dans les résultats finaux de chaque sondage. Ainsi, ces dernières semaines, alors que pour les premières le Likoud oscille autour de 21-24 mandats et que le bloc de Nétanyahou est nettement à la traîne, pour les secondes, le Likoud atteint 27-35 mandats et le bloc mène confortablement.

Selon les experts, un tel écart - de dix mandats ou plus entre des chaînes qui sondent supposément le même public à peu près au même moment - découle, entre autres, de la structure de l'échantillon de chaque chaîne.

Le Dr Menachem Lazar, directeur de l'institut de recherche Lazar et sondeur pour « Maariv », explique qu'il est tout d'abord important de séparer deux étapes distinctes de la construction de l'échantillon - l'échantillonnage lui-même et la méthode de collecte. « Les instituts de recherche examinent un groupe de 500 à 1 000 personnes, qui sera composé d'un mélange représentant la population générale de l'État d'Israël. Lorsqu'il s'agit d'élections, toute la population âgée de 18 ans et plus, juifs et arabes », explique-t-il. « Il est nécessaire que dans les caractéristiques principales - ratio hommes-femmes, groupes d'âge, districts, etc. - il y ait une coordination dans l'échantillon avec les proportions de la population. Les sondeurs échantillonnent également selon le niveau de religiosité, par exemple, l'une des variables les plus décisives dans le comportement électoral des Israéliens, ils ont donc besoin d'un pourcentage de laïcs, de traditionnalistes, de religieux et d'ultra-orthodoxes qui corresponde à la situation dans le pays ».

Par conséquent, la question importante n'est pas de savoir combien de personnes ont répondu, mais avec quelle précision elles reflètent l'ensemble du public qu'elles cherchent à examiner.

Le public qui ne répond pas

À cela s'ajoute la méthode de collecte elle-même. Un sondage téléphonique atteint les gens d'une manière, un sondage ou un panel sur Internet atteint d'une manière complètement différente, et chaque méthode manque une audience différente. Un sondage basé sur Internet est pratique et rapide, mais peut manquer ceux qui sont moins actifs numériquement. Un sondage téléphonique atteint une audience plus large, mais fait face à de faibles taux de réponse - beaucoup ne répondent tout simplement pas à un appel provenant d'un numéro inconnu.

Les panels Internet, par exemple, ont tendance à examiner des populations plus jeunes, plus instruites et plus laïques - des personnes qui se sentent à l'aise avec la technologie et sont prêtes à remplir des questionnaires en ligne. Et qui est laissé pour compte ? Les personnes âgées pour qui Internet est étranger, des parties importantes de la société ultra-orthodoxe, dont certaines ne possèdent même pas de smartphone avec accès à un Internet ouvert. Ainsi, le Shas, par exemple, reçoit presque traditionnellement plus de mandats le jour des élections que dans les sondages.

Le public arabe pose également un défi : les barrières linguistiques, la méfiance envers les sondages inconnus et les taux de réponse plus faibles au téléphone conduisent souvent à une sous-représentation ou à la nécessité de « corriger » les résultats par une pondération statistique, qui devine combien compensera le manque.

Mano Geva, qui dirige l'institut Midgam qui réalise les sondages pour les informations de la chaîne 12, explique comment relever ce défi. « Il est possible d'échantillonner de manière combinée, ce qui signifie qu'une partie des données peut être collectée par téléphone, via un centre d'appels dédié, et une autre partie sur Internet, via un panel Internet », dit-il. « Chaque plateforme doit convenir à la population qui y a accès. La société ultra-orthodoxe, la société arabe et la population plus âgée du pays sont moins accessibles par Internet, et il est préférable de les interviewer par téléphone. Ce n'est qu'ainsi qu'il est possible d'atteindre toutes les parties du pays ».

Le Dr Lazar s'appuie davantage sur un panel Internet et explique pourquoi ce n'est pas nécessairement problématique. « Un panel Internet comprend des communautés de dizaines de milliers de personnes qui s'inscrivent volontairement pour participer aux sondages et fournissent lors de leur adhésion leurs caractéristiques démographiques - âge, sexe, lieu de résidence, revenu, éducation et religiosité », dit-il. « Je sais comment échantillonner presque exclusivement via le panel avec lequel je travaille depuis des années, et je sais comment combler les lacunes que j'ai dans certaines populations ».

Concernant la crainte que ceux qui n'ont pas accès à Internet soient laissés pour compte, il déclare : « Dans la plupart des cas, les adultes qui « naviguent » moins sur Internet ne répondront pas non plus au téléphone aux sondeurs. Cela a été vérifié dans le monde, et il a été constaté que ce n'est pas nécessairement ce qui détermine. En fin de compte, il n'y a rien à faire, il y a des populations sous-représentées dans les sondages ».

Afin d'essayer de réduire les écarts, il note que de temps en temps, une vérification d'étalonnage peut être effectuée : « Je fais des complétions par téléphone pour la population ultra-orthodoxe et la population arabe, pour voir que je suis dans la bonne direction dans les échantillons ».

Chaque méthode crée son propre biais, ce qui laisse toujours une incertitude. « Il y a toujours des gens qui ne répondent pas, qui refusent, qu'il est difficile d'atteindre », explique Geva. « Nous nous appuyons sur les données du Bureau central des statistiques (ce qui signifie que si 12 % de la population a 65 ans et plus selon le Bureau, alors dans l'échantillon, ce sera aussi leur part). Une fois que cette distribution est égale entre l'échantillon et la population, nous pouvons supposer que l'échantillon est représentatif ».

Méthodologie pour chaque sondeur

Lorsqu'il s'agit de la question du grand écart entre les chaînes, Lazar admet honnêtement les limites de ses connaissances : « Quand je vois que le Likoud, par exemple, oscille entre 20 et 23 mandats dans différents sondages - pour moi, en tant que sondeur, c'est le même résultat. Mais quand on parle de 10 à 15 mandats en faveur d'un certain parti - il ne fait aucun doute que le sondage n'est plus basé sur le même échantillon ».

Selon lui, l'explication peut provenir d'une combinaison de facteurs : une méthode d'échantillonnage différente, une pondération différente accordée aux groupes de la population, et même la manière dont chaque institut traite les indécis (un chiffre qui s'élève aujourd'hui à environ 15 % des répondants dans la plupart des sondages).

« La société arabe constitue environ 20 % de la population », démontre Lazar. « Vous pouvez dire - je leur donnerai le poids total dans l'échantillon, c'est-à-dire 20 %, et vous pouvez dire - ce n'est pas vraiment 20 % en pratique le jour des élections, donc je leur donnerai un poids de 15 % ou même 10 %. En fin de compte, chaque sondeur a sa propre méthodologie, et c'est, selon toute vraisemblance, ce qui crée la différence que nous voyons à l'écran ».

La composition de l'échantillon et la méthode de collecte ne sont qu'une partie de l'image, pas l'explication complète. Il peut y avoir des facteurs supplémentaires pour l'écart entre les groupes qui n'ont pas été examinés ici. Par exemple, les différences dans le modèle de pondération statistique que chaque institut applique après la collecte des données, la formulation différente des questions ou l'ordre de leur présentation, le moment du sondage par rapport aux événements politiques de cette même semaine, et même l'identité de l'audience des téléspectateurs ou des internautes de chaque média, au cas où une partie de l'échantillon serait recrutée via son site Web ou son application.