Votre cerveau se trompe sur les données : une leçon tirée des intervalles de confiance
Introduction : Au-delà de la moyenne
Un sondage apparaît à l'écran : un candidat recueille 33 % des voix. Un commentateur sportif annonce qu'un joueur de basket-ball réussit 85 % de ses lancers francs. On voit partout ces estimations ponctuelles, mais peut-on vraiment s'y fier ? La valeur réelle est-elle exactement de 33 % ou de 85 % ? Ou pourrait-elle être plus élevée ? Plus faible ?
L'intervalle de confiance (IC) est l'outil statistique conçu pour répondre à cette question. Il fournit un ensemble de valeurs plausibles pour la valeur réelle, et non une simple estimation. Cependant, comme nous le verrons, la compréhension courante de ce que représente un intervalle de confiance occulte souvent des vérités étonnamment profondes et contre-intuitives concernant les données et incertitude.
Le premier principe est de ne pas se leurrer soi-même — et on est la personne la plus facile à tromper.
1. Votre intuition concernant l'incertitude est probablement erronée.
Notre cerveau n'est pas naturellement capable d'estimer l'étendue réelle de l'incertitude à partir d'un petit nombre de données. Nous avons tendance à surestimer la fiabilité des chiffres que nous observons.
Prenons cet exemple : un joueur de basket professionnel réussit 17 de ses 20 lancers francs, soit un taux de réussite de 85 % sur cet échantillon. Avant de poursuivre, prenez un instant pour réfléchir. Selon vous, quelle est la fourchette plausible pour le niveau réel de ce joueur sur le long terme ? Notez votre réponse. Nous attendons.
La plupart des gens donnent une estimation assez étroite. L'intervalle de confiance réel à 95 % est cependant de 63.1 % à 95.6 %.
Cette fourchette est bien plus large que ce que la plupart des gens imaginent intuitivement. Cela révèle une leçon essentielle : les petits échantillons sont porteurs d’une grande incertitude. Se fier à une estimation ponctuelle de 85 % est dangereusement trompeur sans tenir compte de son intervalle de confiance. Cette estimation indique ce qui s’est passé, mais l’intervalle de confiance précise dans quelle mesure on peut généraliser les résultats.
2. « Confiant à 95 % » ne signifie pas ce que vous croyez.
Il s'agit là de l'erreur d'interprétation la plus courante et la plus grave concernant les intervalles de confiance. L'expression « confiance à 95 % » ne signifie pas qu'il existe une probabilité de 95 % que la valeur réelle de la population se situe dans l'intervalle spécifique que vous venez de calculer (par exemple, de 63.1 % à 95.6 %).
L'interprétation correcte est plus nuancée. Elle concerne le processus, et non le résultat. Si l'on répétait l'expérience de nombreuses fois et que l'on calculait à chaque fois un intervalle de confiance à 95 %, on s'attendrait à ce que 95 % de ces intervalles contiennent la valeur réelle de la population. Autrement dit, la « confiance » repose sur la fiabilité de la méthode à long terme, et non sur la certitude d'un intervalle particulier qu'elle produit.
Imaginez un grand bol contenant 100 boules, dont 25 rouges et 75 noires. La proportion réelle de boules rouges est de 25 %. Imaginez maintenant que vous tiriez régulièrement un échantillon aléatoire de 15 boules, que vous calculiez la proportion de boules rouges dans cet échantillon, puis que vous calculiez un intervalle de confiance à 95 % à partir de cet échantillon. À terme, 5 % de ces intervalles, par pur hasard, n'incluront pas la valeur réelle de 25 %. Il est impossible de savoir si l' intervalle que vous avez calculé fait partie des 95 % d'intervalles corrects ou des 5 % d'intervalles incorrects.
Cette distinction est cruciale pour l'honnêteté intellectuelle en statistiques.
L'intervalle étant sujet à des variations aléatoires, il est correct de s'interroger sur la probabilité que cet intervalle contienne la valeur de la population. La valeur de la population, quant à elle, n'étant pas sujette à des variations aléatoires, il est incorrect de s'interroger sur la probabilité qu'elle se situe dans l'intervalle.
3. Vos hypothèses sont plus importantes que vos calculs.
Un intervalle de confiance est le résultat d'une formule mathématique. Cependant, cette formule n'est valable que si les hypothèses sous-jacentes concernant vos données sont vérifiées. Si le processus de collecte des données est erroné, les calculs n'ont aucun sens.
Voici les principales hypothèses :
- Échantillon aléatoire (ou représentatif) : Les données doivent constituer une représentation juste et impartiale de la population plus large sur laquelle vous souhaitez tirer des conclusions.
- Observations indépendantes : Chaque donnée doit être sélectionnée indépendamment des autres. Interroger un couple marié, par exemple, enfreindrait cette règle.
- Données exactes : Les données doivent être comptées, enregistrées et tabulées correctement, sans erreur ni manipulation délibérée.
L'histoire fournit des exemples frappants de ce qui se produit lorsque ces hypothèses sont erronées.
- In the Élection Roosevelt-Landon de 1936Les sondeurs avaient prédit une victoire écrasante de Landon. Or, leur échantillon était constitué à partir des annuaires téléphoniques et des listes d'immatriculation automobile. En 1936, les personnes les plus aisées étaient bien plus susceptibles de posséder un téléphone et une voiture, et il se trouvait qu'elles privilégiaient Landon, créant ainsi un échantillon biaisé. Mais un second problème se posait : les partisans de Landon étaient bien plus enclins à répondre au sondage que ceux de Roosevelt. Le sondage souffrait donc à la fois d'un biais d'échantillonnage et d'un biais de non-réponse, ce qui le rendait catastrophique.
- In the Élection Dewey-Truman de 1948Les sondages prédisaient avec assurance la victoire de Dewey. Les journaux publiaient même en avant-première le titre « Dewey bat Truman ». Ces sondages étaient probablement exacts pour l'époque, mais ils avaient été réalisés plusieurs semaines avant l'élection. L'hypothèse selon laquelle l'opinion des électeurs resterait stable s'est avérée fausse ; nombre d'entre eux ont changé d'avis dans les dernières semaines.
La leçon est claire : un intervalle de confiance ne peut que quantifier l’incertitude liée à l’erreur d’échantillonnage aléatoire. Il ne peut ni détecter ni corriger les biais systématiques dans la collecte des données. Des données erronées donneront des résultats erronés, aussi sophistiquée soit la formule.
4. La « règle de trois » : une astuce simple quand on ne voit rien
Comment calculer un intervalle de confiance lorsqu'on n'observe aucune occurrence d'un événement dans un échantillon ? Par exemple, si un nouveau traitement médical ne présente aucun effet secondaire lors de son premier essai, peut-on conclure qu'il est parfaitement sûr ? Bien sûr que non.
La « règle de trois » est un raccourci simple et utile précisément pour cette situation.
La règle stipule : Si vous observez zéro événement dans 'n' essais, l'intervalle de confiance approximatif à 95 % pour le taux de cet événement s'étend de 0 à 3/n.
C'est extrêmement pratique. Si un nouveau médicament ne présente aucun effet indésirable chez les 250 premiers patients, la règle des trois nous permet d'être sûrs à 95 % que le taux réel d'effets indésirables se situe entre 0 % et 1.2 % (puisque 3/250 = 0.012). Elle fournit une limite supérieure raisonnable pour le risque, même en l'absence d'effets indésirables jusqu'à présent.
Conclusion : Appréciez l’intervalle
Un chiffre isolé — une moyenne, un pourcentage, un taux — ne révèle jamais toute la vérité. Il s'agit d'une estimation ponctuelle, d'une simple conjecture dans un océan d'incertitudes.
Les intervalles de confiance nous obligent à affronter cette incertitude. Ils offrent une vision essentielle, plus réaliste et plus honnête de ce que nos données peuvent réellement nous révéler sur le monde. En nous montrant l'éventail des vérités plausibles, ils nous empêchent d'être dupés par l'illusion de la certitude.
La prochaine fois que vous verrez une statistique, vous interrogerez-vous sur le chiffre lui-même ou sur l'incertitude qui l'entoure ?
