La période va être propice aux enquètes d' opinion et on va encore s' entretuer à coup de lieux communs et d' approximation sur les techniques de sondages et leurs résultats.
 
Je propose donc qu' on exclue ces débats des topics politiques où ils viennent perturber les discussions, parfois pendant des pages /D
 
 
Quelques grands problèmes pour commencer :
 
- Quand on interroge un échantillon parmi une population , comment peut-on être sur que le résultat soit généralisable ?
 
- Comment peut-on fabriquer un échantillon viable ?
 
- Le sondage est-il un outil permettant de recueillir l' opinion publique ?
 
- Le sondage permet-il de prévoir le résultat d' une élection ?
 
- Les biais dans les techniques de sondages et les tentatives de correction
 
- Le problème du traitement médiatique des sondages
 
- Le problème de l' usage politique des sondages

Un sondage  ( on dit aussi une enquète d' opinion c' est plus pompeux mais c'est grosso modo la même chose ) est un outil qui a été imaginé dans les années 1930 aux USA pour prédire les résultats électoraux.

C 'est Gallup qui va effectuer le bon pronostic grace à une méthode alors révolutionnaire : l' échantillonage

L' idée de la méthode d' échantillonage c'est de construire en "miniature" un pannel de personne qui donne une image la plus proche possible de la population qu' on veut étudier.

Avec un échantillon parfaitement aléatoire, on trouve normalement un échantillon représentatif d' une population.
On peut par ailleurs prédire mathématiquement quelle est la probabilité d' obtenir, malgré cette méthode, un échantillon qui n'est pas représentatif. Cette probabilité c'est ce qu'on appelle la "marge d'erreur" du sondage, en générale prise entre 1 et 5 % .

La force de cet outil, c'est qu' avec un panel suffisament grand ( environ 1000/1500 personnes ca commence à être pas mal ) on peut étudier avec une aussi grande précision la population française, des USA, ou de la ville de Paris.

Le premier biais ici, c' est d' avoir des échantillons peu fiables ( genre 300 personnes pour déterminer le candidat socialiste, c' était vraiment limite limite ).

Vient ensuite un problème énorme, celui de la signifiance statistique des résultats observés.
Mettons qu' on sondage vous dise que les femmes lisent en moyenne plus que les hommes.
Ca n' est pas parce que la relation apparait dans l' échantillon qu' elle va forcément se retrouver dans la population. ( Et c'est ici que la marge d' erreur et la structure du sondage, c'est à dire le nombre de réponses possibles par exemple est très important ).
On utilise différents indicateurs statistiques pour vérifier que les liens qu' on trouve dans les données existent réellement.

Dire que les résultats sont significatifs , c' est donc dire qu' ils sont généralisables ( c' est là qu' on comprend que les sondages HFR ne sont meme pas généralisables à l' ensemble des gens qui lisent le sujet car certains ne votent meme pas ).

Autre énorme problème, c' est la causalité : ce n' est pas parce qu' on remarque que les  femmes lisent plus que les hommes que forcément le facteur génétique "étre une femme" implique mécaniquement qu' on lise plus que si on avait ét un homme.
Il y a un lien ( une corrélation prouvée ) mais on ne sait pas si c'est un lieu de cause à effet.

reservé

La réponse est que ça foire souvent, pour les raisons que tu énonces de non-representativité du sondage, et du caractère biaisé et orienté des questions.
Mais c'est comme l'astrologie:
Si ça concorde on clame "je l'avais bien dit"
Si ça foire, on noie le poisson avec des bobards genre "ils ont changé d'avis entre temps"

Et pourquoi etudier la validite des sondages et dans le meme temps en faire un. Aurais tu des informations prouvant que le sondage qui va etre fait ici est mauvais ou bon?

Il faudrait une 4ième réponse possible, située entre la 2 et la 3 actuelle. On peut s'y fier, mais c'est pas d'une précision absolue. Ca permet de dégager des grandes tendances.

Dans ce cas rajoute:
pareil que la meteo, pas prevision a plus de quelques jours.

en meme temps, le plus genant dans un sondage, c'est l'interpretation qui en est faite ....
 
l'exemple type: les chiffres du chomage baissent ... est ce que ca veut dire qu'il y a plus de gens qui bossent ou est ce que ca veut dire qu'il y a plus de radiation de l'anpe ?  
 
bref, un meme chiffre peut trop souvent avoir une signification et son opposé, le tout dependant surout de la qualité de l'orateur qui le relate

une statistique INSEE, c'est rarement un "sondage", sauf exception et dans ce cas on parle d'estimation.

 
c'etait pour l'exemple ... en gros, l'idée est qu'un chiffre sorti d'une stat (quelle qu'elle soit, sondage ou autre) a une signification qui depend souvent de la facon dont il est presenté;  
genre, 30% des conducteurs ne respectent pas les limitation de vitesse ... c'est tres negatif ... alors que 70% les respectent, c'est tres positif ... pourtant c'est pareil ... plus j'pedale moins vite, moins javance plus vite quoi

Les sondages ont TOUJOURS etes bidons, car ils sont faits uniquement sur la parole des gens, au moment ou ceux-ci ont compris que ils pouvaient dire ce que ils voulaient les sondages sont decedes a jamais !
Trop facile de dire Ouais moi je votes pour Hue, ou alors je bois que du Cacolac, RAF de pas etre vrai on a rien a gagner a l'etre... par contre se foutre de la geule de gars en façe qui questiones ça c'est un rare plaisir  

 
hum, j'pense que la proportion des gens qui se foutent de la tete du sondeur est minime tout de meme (on fait un sondage pour le savoir ?)
qui plus est, cette proportion relate, dans l'absolu, l'avis des gens qui de toutes facon feront n'imp' ... genre aller voter au hasard parcequ'il en ont RAF de toute facon

l' idée de faire un sondage type ici c'est que ca va me donner un exemple exprimentale d'un certain nombre de biais classiques qui existent

Les sondages sont globalement fiables et pertinents.
 
LE problème, ZE problem, c'est que chaque sondage est toujours accompagné d'une marge d'erreur mais que personne ne la prend en compte, du moins, elle est jamais présentée par les médias.
 
Si on prend l'exemple type du soi disant sondage qui a complétement foiré, à savoir l'élection présidentielle d'Avril 2002, on se rend compte que si on avait pris en compte les marges d'erreurs (de quelques petits %), alors le fait d'avoir Le Pen à la place de Jospin au 2nd tour était cohérent avec les résultats des sondages.
 
Mais bon, après on peut aussi se poser la question de savoir à quoi ça sert d'avoir un sondage qui annonce que machin fait 20% à +/-3% ?

Voir ma signature ; dans l'ordre :

• Un article sur le livre d'Alain Guarrigou, L'ivresse des sondages + un entretien vidéo d'un quart d'heure sur la même page,
• Là-bas si j'y suis, l'émission de Daniel Mermet, avec Alain Guarrigou en invité,
• Un article récent du sociologue Patrick Champagne (auteur de « Faire l'opinion ») : « En finir avec les faux débats sur les sondages ? »,
• Un article d'ACRIMED sur le manque de sérieux qui peut parfois exister sur la composition d'un échantillon représentatif.

 
 
Dossier sur Acrimed >> Sondages et sondomanie

Y a un numéro de Pour la science (edit : article "Peut-on croire aux sondages", juin 2006) ,il y a deux ou trois mois qui traite de la question des sondages, et qui appuie lourdement sur les méthodes utilisées par différents types de sondage.

Conclusions (en vrac) : un vrai sondage, ça coûte de l'argent, et il faut choisir minutieusement sa population sondée. Quand l'Etat commande un sondage, ceux-ci sont globalement exacts et représentatifs.
En revanche, les sondages proposés par les instituts sollicités par les médias font ça à la louche, avec des méthodes vieilles de 30 ans, et une marge d'erreur suffisament importante pour qu'on qualifie ces résultats de peu fiables.

Je suis assez d' accord sur la distinction entre sondages privés et recherche publique dans les conditions de réalisation des études

 
 
ca je crois que c'est une question encore plus importante, de savoir quel est l' usage qui est fait d' un sondage. Beaucoup de gens tordent les sondages, soit pour leur faire "avouer" des choses qu' ils ne disent pas clairement, soit pour taper dessus quand ils ne leur sont pas favorables ( alors que je voudrai essayer de montrer que c'est quand meme plus scientifique qu' un horoscope )

Je fais péter le Champagne :

http://www.acrimed.org/article2458.html
 
 
 
Et Ernestor, excuse-moi, mais dire que les sondages sont globalements fiables et pertinents c'est comme affirmer que toutes les variétés de tomates dans de monde sont à peu près rouges... on ne peut pas en la matière faire ce genre de conclusion vague et péremptoire

 
Pour la constitution européenne et le vote Royal les sondage ont pourtant été particulièrement vrais. Coïncidence ?

a la marge d'erreur près
 
Mais tu noteras que pose en même temps la question de savoir si ça a un sens de dire que A fait 20% a plus ou moins 3%, c'est un problème c'est vrai. Mais le résultat est fiable : on est quasiment totalement certain que A fera entre 17 et 23%
 
Je pense qu'il est primordial que chaque sondage soit présenté avec sa marge d'erreur associée. Ca permettra à chacun d'en déterminer la pertinence.

 
 
L'autre jour, j'ai été interrogé pour un sondage, et certaines questions étaient quand même assez ressemblantes, je serais pas surpris que ça serve à détecter ce genre de cas

Non, pas à la marge d'erreur près.

Déjà, il faut savoir de quoi on parle : un sondage d'opinion ou de ccomportement politique ? un sondage prédictif de longue durée ? l'échantillon est-il correctement confectionné (la méthode des quotas n'est PAS n'importe quoi, voir mon 4è lien) ? etc.

La marge d'erreur, il faudrait systématiquement la rappeler, bien sûr, et aussi rappeler qu'il y a 5% de chances (dans les cas les plus usuels) pour que cette marge d'erreur soit hors intervalle... Car si l'une est publiée mais rarement citée, la seconde est systématiquement omise.

 
ca se pourrait bien  
 
enfin, perso, je suis assez convaincu qu'un sondage bien fait est globalement fiable au point de vue purement statistiques des choses... le seul point qui me trouble c'est la facon d'utiliser un sondage et de faire parler un meme chiffre pour dire tout et son contraire
 
de plus, pour ce qui est des sondages politiques par exemple, je pense qu'ils ne peuvent pas etre fiables par essence puisque leur publication dans tous les medias est a meme de changer l'opignon des gens ... genre, tu veux voter Bayrou, et quand il se ramasses 2% dans les sondages, tu te dit que c'est une loose de voter pour lui donc tu changes d'avis  (j'ai pris Bayrou parcequ'il est au centre ... c'etait le choix le moins engagé en quelque sorte )
en gros, ce sondage ne relate qu'un etat d'une situation ultra fluctuente a un instant t ... finallement, mon avis est qu'un sondage peut avoir une reelle signification que pour les choses qui ne bougent pas trop.

Les menteurs, on ne peut pas les détecter. Mais en France, 40% des sondés refusent de répondre. 80% aux USA...

http://raisonsdagir.org/ag1.htm

Ce que tu dis est faux.

Pour le référendum sur le TCE, compare les sondages à un an, à 6 mois, à 1 mois, et 2 jours avant.
Tout comme pour Royal : plus on se rapproche de l'échéance, plus le résultat est "fiable"

evidemment, il ya plein de biais des sondages qui sont sociologiques et pas mathématiques ( c'est l' intéret du topic à mon avis )
 
Il faut en plus préciser que parmi ceux qui refusent de répondre, on ne retire pas un groupe homogène de personne ( on a plus de chance de se voir refuser par des personnes qui ne s' intéressent pas à la politique, qui sont peu diplomès, très jeunes ou très agés ...  )
 
( il est super ton site loosha, je connaissais pas )
 
C'est un truct  typique des sondages pour la présidentielle :
 
Un an avant, ceux qui répondent sont des gens qui ont le gout de répondre à un sondage politique un an avant l' élection. Ce sont souvent des gens qui savent de façon plus certaine ce qu' ils pensent et qui le disent de façon plus affirmée.
Plus on sonde proche ( dans le temps ) de l' élection, plus on touche des opinions fraichement formulées, donc une part de l' électorat beaucoup moins "partisant" ou structuré selon les principes du régime français.
 
C' est notamment pour ca qu' aujourd' hui on les partis classiques qui sont très forts, ainsi que ceux qui séduisent l' électorat assez bourgeois ( bayrou ). Ca explique également que le pen monte petit à petit dans le temps ( et pas seulement par la grace de la qualité de sa campagne )

Ça reste une hypothèse : il faudrait savoir si une étude a été réalisée sur le sujet

Par exemple je suis plutôt bien diplômé, ni très jeune ni très vieux, je suis très concerné par la politique, et je refuse de répondre (c'est mieux que ma phase "je mens systématiquement" non ?)

 
 
non mentir c'est différent, c'est dire que tu est sympatisant socialiste alors que tu est UMPiste
 
parce que parfois les gens font exprès de mentir pour participer intentionellement au "résultat" du sondage.
 
c' est une stratégie amusante

ouaih, enfin, pour moi c'est un peu pareil ... sauf que je ne suis pas accro a la politique et donc je fait la girouette un peu jusqu'a la fin
honnetement, je pense meme que plus on est eveillé a la politique et plus on ecoute ce que peuvent dire les candidat, plus on a tendance a changer son fusil d'epaule souvent ... perso, je vote indifferement a gauche ou a droite en fonction des idees defendues a l'instant t du vote (sachant qu'au final, les impots vont monter de toutes facon )

 
 
ba 70% des français disent ne pas faire de différences entre la droite et la gauche hein

Il me semble que quelques petits rappels sont à faire:
 
Tout d'abord, avant, bien avant d'être un outil de mesure politique, les sondages sont un outil marketing: plus de 80% des études réalisées en france le sont pour les industriels et autres entreprises. Inutile de dire donc que c'est donc un outil qui se doit d'être fiable : quand ont connait le prix extrement élevé de la moindre étude, si cette dernière n'était pas fiable, il ne serait absolument pas rentable pour les entreprises de le faire... et pourtant elle le font...
 
Les études politiques viennent donc à la marge de l'activité des instituts de sondages, mais elles sont leur produit d'appel, leur vitrine...
 
Comme le rappelle justement Ernestor, les sondages sont donc fiables dans la limite de leur marge d'erreur qui est elle-même calculée... et tiens compte des éventuels menteurs en amont, c'est à dire en choisissant un panel suffisamment large.
 
Un sondage c'est avant tout des mathématiques... des statistiques pour être précis... mais aprés comme tout les chiffres ont peut leur faire dire ce que l'on veut... ce que rappelait d'ailleurs Roland Cairolle (ortho?) (the sondeur francais) cette semaine sur France inter:
il donnait un exemple trés parlant et en plein dans l'actualité:
 
Les journalistes nous disent cette semaine : A la question "qui selon vous ferait le meilleur président?" les français ont répondus Ségo pour 42% d'entre eux et Sarko pour 36%....  
Et là c'est le drame  
Soit que le journaliste fasse mal son travail et ne donne pas d'autre précisions (ce qui arrive plus que souvent), soit que l'auditeur n'écoute que d'une oreille distraite ce que dit le journaliste (ce qui arrive plus que souvent aussi).... que va-t-on retenir du sondage dans notre grande majorité:
75% des français vont voté soit pour Ségo soit pour Sarko.... ce qui est faux...
 
Parce que, sans parler du fait que la marge d'erreur n'est presque jamais annoncé, ce qui n'est pas annoncé non plus par le journaliste (mais qui est toujours indiqué dans le document remis par le sondeur car obligatoire) c'est la quantité de "ne se prononce pas" qui dans l'exemple ci-dessus est de 40%... ce qui une fois le calcul fait ne donne plus que 1/3 des français votant pour l'un des 2 cités et 2 français sur 3 votant pour un autre... c'est à dire exactement l'inverse en terme de conclusion
Ca change tout....  
 
mais dans l'histoire, ce n'est certainement pas le sondage qui est faux... mais l'interpretation qui en faite...
 
De même il me semble assez inopportun de retrouver dans le 1er poste de ce topic les mots suivant
 

 
 
En aucun cas le but d'un sondage n'est de faire une prévision... tout sondeur sérieux vous le diras: un sondage c'est une photographie à un instant T, et certainement pas une vision de l'avenir. Il suffit de trop peu de chose pour provoquer un basculement dans l'opinion... D'ailleurs encore une fois notre esprit nous joue parfois des tours et n'entend bien que ce qu'il veux...
Bien souvent la question précise est :
 
"Si vous deviez voter aujourd'hui, qui selon vous ferait le meilleur Président de la république"
 
Alors que consciemment ou pas nous allons, si nous devions la répéter à un tiers nous dirions:
 
"On ma demandé pour qui j'allais voté aux présidentielles (ie dans 5 mois)"... ce qui n'est absolument pas la même chose si l'on fait un tant soit peu attention  
 
Là encore ce n'est pas le sondage qui est faux... mais l'interprétation que l'on en fait... nuance...

 
theoriquement, la difference est bien nette ... dans la pratique, pour moi, la seule difference, c'est le changement de couleur du rose au bleu ... pis ma couleur preferee c'est le vert alors j'suis tout perdu

 
je suis assez d'accord sur tout
 
d'ailleurs, 20% des accidents sont provoqué par des gens saouls ... ce qui veut dire que 80% des accidents sont preovoqués par des gens sobres ... je demande a ce que ces danger public soient ecartés de la route ^^
 
 

Koule, un exemple.

http://www.ifop.com/europe/sondage [...] droite.asp

J'imagine que l'intervalle de confiance est un classique 95%. C'est à dire que compte tenu de la taille de l'échantillon (N=1007), il y a 95% de chances pour que le résultat soit 61% ± marge d'erreur.

La marge d'erreur, je la calcule moi même...

Pour un IC de 95% : marge d'erreur ~ 0,98/racine de N, ce qui donne 3%.

Donc il y a 95% de chances pour que le pourcentage de français qui estime qu'il n'y a plus de différence entre la droite et la gauche soit compris dans un intervalle [58;64]
Et 5% pour que ce pourcentage soit au-delà de cet intervalle (>61% ou <58%).

5% de chance que ça soit hors intervalle, c'est faible. C'est en ça que je disais que les sondages sont fiables tout à l'heure
 
En même temps, faut aussi se poser la pertinente d'avoir un résultat se tenant dans une fourchette de 10% du résultat.

5%, c'est faible, c'est pour ça qu'on prend cet intervalle de confiance. Ce qui n'enlève rien à l'existence de la marge d'erreur, et encore moins aux problèmes d'échantillonage (voir le quatrième lien de ma signature).

bon après on peut dire pour certains chiffres qu' on les connait sans forcément utiliser les sondages
 
Quand on a 50 % d' abstention + 6 millions de voix pour le pen , on touche les 70 % des citoyens

Enfin, là ça devient de la mayonnaise

un peu comme assez souvent en socio
 
je vais faire un ptit topos sur les biais dans la construction des questionnaires parce qu' a chaque fois on lit la conclusion du sondage sans lire la question posée ...

 
je suis assez d'accord sur ca, le fait de connaitre la question peut aider a developper l'esprit critique
 
le seul souci la dedans, c'est que pour un grande majorité, ca deviendrait confu et incomprehensible ... l'individu lambda est con koi
pour s'en convaincre, il suffit de voir le nombre de gens qui lise plusieurs sources sur une meme info histoire de connaitre les differentes interpretations et de se faire une idee plus juste ... dans mon entourage, c'est une petite minorité (et je suis entouré "d'elites" qui passent des doctorats )