Les damnés sondages

Petite trêve dans les dessins sur la Confédération (le 3e épisode au début de la semaine prochaine): le sondage CROP publié dans la Presse ce jeudi a insulté ma modeste intelligence d’étudiant à la maîtrise qui buche quotidiennement sur des statistiques. Ma réplique est la suivante, en collaboration avec M. Auger:

«Jeudi matin, la Presse a publié en une les résultats d’un sondage CROP démontrant une percée du NPD au Québec dans les intentions de vote. Tout au long de l’article, Joël-Denis Bellavance décortique le sondage en mettant l’accent sur les résultats surprenants, voire historiques, en essayant d’en expliquer la cause (lassitude des Québécois envers le Bloc, le NPD comme seule véritable alternative de gauche au Parti conservateur, etc.).

La méthodologie et l’incertitude d’un sondage sont aussi des aspects importants à détailler pour expliquer la portée des résultats d’un tel exercice. D’ailleurs, le Conseil de presse du Québec précise qu’il est de la responsabilité des médias d’«informer le public des éléments méthodologiques de l’enquête», pour qu’il puisse formuler son «propre jugement, en toute connaissance de cause». C’est seulement à la toute fin du texte de M. Bellavance qu’on retrouve une phrase détaillant la méthodologie et l’incertitude du sondage : «Ce sondage mené en ligne ne comporte pas de marge d’erreur compte tenu du caractère non probabiliste de l’échantillon». Toutefois, est-ce que ce jargon peut être compris par le public pour se faire une idée éclairée des résultats?

En clair, on nous dit que le sondage a été réalisé en ligne sans échantillonnage aléatoire. Il est pourtant reconnu que c’est par un échantillonnage aléatoire qu’on peut se prémunir au mieux contre les biais relié à un tel exercice. Dans l’article, aucune explication à ce sujet. Aucun détail non plus sur les biais possibles de cet échantillonnage non probabiliste qui pourraient expliquer les résultats surprenants (est-ce que certaines classes d’âge ou certaines classes socioéconomiques sont surreprésentées par les sondages en ligne?). Ainsi, il nous apparaît malhonnête de faire la une d’un grand quotidien à partir d’un sondage sans échantillonnage aléatoire, et de surcroît, sans décrire dans un langage clair les limites et les biais de la méthodologie. La moindre des choses aurait été de détailler de manière vulgarisée dans le premier paragraphe de votre article la méthode de votre sondage. Puis dans votre analyse, de vous attarder sur les biais possibles pouvant affecter les résultats. Pourquoi ne pas l’avoir fait?»

En complément, les explications peu convaincante de M. Rivest de CROP et les critiques de la sociologue Claire Durand.

La façon de s’assurer de la représentativité est d’échantillonner de manière aléatoire. Pas de décider de manière subjective ce qui serait représentatif. Et si aucun échantillonnage n’est parfait, la moindre des choses est de décrire ses biais pour nuancer les résultats. Et finalement, si aucune méthode n’est parfaite, pourquoi ne pas faire un échantillonnage stratifié, sur internet et par téléphone?

-MÀJ-

Mon commentaire sur Rue Frontenac sur la marge d’erreur et l’intervalle de confiance:

«Petite précision: On dit que la marge d’erreur est de 3%, 19 fois sur 20. C’est-à-dire que si on reprend le sondage dans les mêmes conditions avec la même taille d’échantillon, les résultats se trouveront 19 fois sur 20 à l’intérieur de la marge d’erreur. Par exemple, si la marge d’erreur est de 3% et que le NPD a 30% et le Bloc 32%, les résultats se trouveront 19 fois sur 20 entre 27 et 33% pour le NPD; entre 29 et 35% pour le Bloc.

Avec un sous-échantillon de 275 répondants sur 1000, la marge d’erreur peut monter à 7-8% (je ne comprends pas pourquoi elle n’est pas fournie pour ce sondage). Donc avec les résultats que vous présentés, si le sondage était repris, seraient 19 fois sur 20 entre 24,1 et 38,1% pour le NPD; entre 16,3 et 30,3% pour le Bloc. Donc beaucoup d’incertitude.»

-MÀJ-

Blogue vraiment intéressant sur les sondages, par une sociologue de l’université de Montréal.

Le débat sur débat

J’aurais voulu continuer mon rythme de 1 dessin/jour que j’avais soutenu depuis novembre ou relever à nouveau le défi de la caricature électorale quotidienne, mais faute de temps, ça sera au gré de mon plaisir.

Vive les érections (sic)!

Vive les érections (sic)! On sait bien que Stephen Harper les aime…

Et on peut avoir beaucoup de plaisir pendant des élections, en autant qu’on survive à tous ces démons et farfadets maléfiques qui nous guettent… plus ça change, plus c’est pareil. Alors en rappel, cette modeste caricature.

Aux cyniques, je dis qu’on peut enfin se débarasser de ces Conservateurs qui nous font régresser. Et tant qu’on vit dans le Royaume du Canada, on doit en subir les conséquences.

P.S. J’envisage un spécial «Élections Canada 2009» avec quelques incursions dans le monde municipal. Un dessin par jour pendant la campagne? Aïe aïe aïe!