Que signifie même la valeur p ?

une seconde : en tant que data scientist, vous avez vécu ce scénario (il y a de fortes chances que ce soit plus d’une fois). Quelqu’un vous a arrêté au milieu d’une conversation et vous a demandé : «Que signifie exactement une valeur p ?« Je suis également très certain que votre réponse à cette question était différente lorsque vous avez commencé votre parcours en science des données, quelques mois plus tard, ou quelques années plus tard.

Mais ce qui m’intéresse maintenant, c’est : la première fois qu’on vous a posé cette question, avez-vous été capable de donner une réponse claire et confiante ? Ou as-tu dit quelque chose comme : « C’est… la probabilité que le résultat soit aléatoire ?» (pas nécessairement dans ces mots exacts !)

La vérité est que vous n’êtes pas seul. De nombreuses personnes qui utilisent régulièrement les valeurs p ne comprennent pas réellement ce qu’elles signifient. Et pour être honnête, les cours de statistiques et de mathématiques n’ont pas vraiment rendu les choses faciles. Ils ont tous deux souligné l’importance des valeurs p, mais ni l’un ni l’autre n’ont lié leur signification à cette importance.

Voici ce que les gens pensent d’une valeur p : je parie que vous avez entendu quelque chose comme «Il y a 5 % de chances que mon résultat soit dû au hasard», «Il y a 95 % de chances que mon hypothèse soit correcte», ou peut-être le plus fréquent, «Valeur p inférieure = plus vrai/meilleurs résultats».

Mais voici le problème : tout cela est faux. Pas un peu faux, mais plutôt fondamentalement faux. Et la raison en est assez subtile : nous posons la mauvaise question. Il faut savoir poser la bonne question car comprendre les valeurs p est très important dans de nombreux domaines :

• Tests A/B en technologie : décider si une nouvelle fonctionnalité améliore réellement l’engagement des utilisateurs ou si le résultat n’est que du bruit.
• Médecine et essais cliniques : déterminer si un traitement a un réel effet par rapport à un placebo.
• Sciences économiques et sociales : tester les relations entre des variables, comme le revenu et l’éducation.
• Psychologie: évaluer si les comportements ou les interventions observés sont statistiquement significatifs.
• Analyse marketing : mesurer si les campagnes ont réellement un impact sur les conversions.

Dans tous ces cas, l’objectif est le même :
pour déterminer si ce que nous voyons est un signal… ou simplement de la chance prétendant être significative.

Alors, qu’est-ce qu’une valeur p ?

Il est temps que nous posions cette question. Voici la façon la plus simple d’y penser :

Une valeur p mesure à quel point vos données seraient surprenantes si rien de réel ne se produisait.

Ou encore plus simplement :

« Si tout était juste aléatoire… à quel point ce que je viens de voir est-il bizarre ? »

Imaginez que vos données vivent sur un spectre. La plupart du temps, si rien ne se passe, vos résultats oscilleront autour de « aucune différence ». Mais parfois, le hasard produit des résultats étranges.

Si votre résultat se situe très loin dans la queue, vous demandez :

« Combien de fois aurais-je vu quelque chose d’aussi extrême juste par hasard ? »

Cette probabilité est votre valeur p. Essayons de décrire cela avec un exemple :

Imaginez que vous dirigez une petite boulangerie. Vous avez créé une nouvelle recette de cookies et vous pensez qu’elle est meilleure que l’ancienne. Mais en tant qu’homme d’affaires intelligent, vous avez besoin de données pour étayer cette hypothèse. Alors tu fais un test simple :

1. Donnez l’ancien cookie à 100 clients.
2. Offrez le nouveau cookie à 100 clients.
3. Demandez : « Est-ce que vous aimez ça ?

Ce que vous observez :

1. Ancien cookie : 52 % l’ont aimé.
2. Nouveau cookie : 60 % l’ont aimé.

Eh bien, nous l’avons compris ! Le nouveau a une meilleure note client ! Ou l’avons-nous fait ?

Mais c’est ici que les choses se compliquent un peu : «La nouvelle recette de cookies est-elle réellement meilleure… ou ai-je simplement eu de la chance avec le groupe de clients ?« Les valeurs p nous aideront à répondre à cette question !

Étape 1 : supposer que rien ne se passe

Vous partez de l’hypothèse nulle : « Il n’y a pas de réelle différence entre les cookies. » En d’autres termes, les deux cookies sont également bons et toute différence que nous avons constatée n’est qu’une variation aléatoire.

Étape 2 : Simulez un « monde aléatoire ».

Imaginez maintenant répéter cette expérience des milliers de fois : si les cookies étaient réellement les mêmes, parfois un groupe les aimerait davantage, parfois l’autre. Après tout, c’est ainsi que fonctionne le hasard.

Au lieu de formules mathématiques, nous faisons quelque chose de très intuitif : prétendez que les deux cookies sont également bons, simulez des milliers d’expériences sous cette hypothèse, puis demandez :

« À quelle fréquence est-ce que je constate une différence allant jusqu’à 8 % simplement par chance ? »

Tirons-le.

D’après le code, valeur p = 0,2.

Cela signifie que si les cookies étaient réellement les mêmes, je verrais une différence aussi importante environ 20 % du temps. Augmenter le nombre de clients à qui nous demandons un test de goût modifiera considérablement cette valeur p.

Notez que nous n’avons pas eu besoin de prouver que le nouveau cookie est meilleur ; au lieu de cela, sur la base des données, nous avons conclu que «Ce résultat serait assez bizarre si rien ne se passait.» Cela suffit pour commencer à douter des hypothèses nulles.

Imaginez maintenant que vous ayez effectué le test des cookies non pas une, mais 200 fois différentes, chacune avec de nouveaux clients. Pour chaque expérience, vous demandez :

« Quelle est la différence entre le degré d’appréciation du nouveau cookie et celui de l’ancien ? »

Ce qui manque souvent

Voici la partie qui fait trébucher tout le monde (y compris moi-même lorsque j’ai suivi un cours de statistiques pour la première fois). Une valeur p répond à cette question :

« Si l’hypothèse nulle est vraie, quelle est la probabilité de ces données ? »

Mais ce que nous voulons, c’est :

« Compte tenu de ces données, quelle est la probabilité que mon hypothèse soit vraie ? »

Ce ne sont pas les mêmes. C’est comme demander : « S’il pleut, quelle est la probabilité que je voie des rues mouillées ?»
contre « Si je vois des rues mouillées, quelle est la probabilité qu’il pleuve ? »

Parce que notre cerveau fonctionne à l’envers, lorsque nous voyons des données, nous voulons en déduire la vérité. Mais les valeurs p vont dans l’autre sens : supposons un monde → évaluez à quel point vos données sont étranges dans ce monde.

Alors, au lieu de penser : «p = 0,03 signifie qu’il y a 3 % de chances que je me trompe», nous pensons «Si rien de réel ne se produisait, je verrais quelque chose d’aussi extrême seulement 3 % du temps. »

C’est ça! Aucune mention de la vérité ou de l’exactitude.

Pourquoi est-il important de comprendre les valeurs p ?

Une mauvaise compréhension de la signification des valeurs p entraîne de réels problèmes lorsque vous essayez de comprendre le comportement de vos données.

1. Fausse confiance

Les gens pensent : « p < 0,05 → c'est vrai ». Ce n’est pas exact ; cela signifie simplement « peu probable selon les hypothèses nulles ».

2. Réagir de manière excessive au bruit

Une petite valeur p peut toujours se produire par hasard, surtout si vous effectuez de nombreux tests.

3. Ignorer la taille de l’effet (ou le contexte des données)

Un résultat peut être statistiquement significatif, mais pratiquement dénué de sens. Par exemple, une amélioration de 0,1 % avec p < 0,01 pourrait être techniquement « significative », mais elle est pratiquement inutile.

Pensez à une valeur p comme à un « score de bizarrerie ».

• Valeur p élevée → « Cela semble normal. »
• Faible valeur p → « Ça a l’air bizarre. »

Et des données étranges vous font remettre en question vos hypothèses. C’est tout ce que font les tests d’hypothèses.

Pourquoi 0,05 est-il le nombre magique ?

À un moment donné, vous avez probablement vu cette règle :

« Si p < 0,05, le résultat est statistiquement significatif."

Le seuil de 0,05 est devenu populaire grâce à Ronald Fisher, l’un des premiers chiffres de la statistique moderne. Il a suggéré un seuil de 5 % comme seuil raisonnable lorsque les résultats commencent à paraître « suffisamment rares » pour remettre en question l’hypothèse du caractère aléatoire.

Non pas parce que c’est mathématiquement optimal ou universellement correct, simplement parce que c’était… pratique. Et au fil du temps, c’est devenu la valeur par défaut. p < 0,05 signifie que si rien ne se passait, je verrais quelque chose d'aussi extrême dans moins de 5 % du temps.

Choisir 0,05 revenait à équilibrer deux types d’erreurs :

• Faux positifs → penser que quelque chose se passe alors que ce n’est pas le cas.
• Faux négatifs → manque d’effet réel.

Si vous rendez le seuil plus strict (par exemple 0,01), vous réduisez les fausses alarmes, mais vous passez à côté d’effets plus réels. D’un autre côté, si vous le desserrez (disons 0,10), vous captez plus d’effets réels, mais risquez plus de bruit. Ainsi, 0,05 se situe quelque part au milieu.

Les plats à emporter

Si vous quittez cet article avec une seule chose, c’est qu’une valeur p ne vous indique pas que votre hypothèse est vraie ; cela ne vous donne pas non plus la probabilité que vous vous trompiez ! Il vous indique à quel point vos données sont surprenantes en supposant qu’elles n’aient aucun effet.

La raison pour laquelle la plupart des gens sont confus par les valeurs p au début n’est pas que les valeurs p sont compliquées, mais parce qu’elles sont souvent expliquées à l’envers. Alors, au lieu de demander : «Ai-je dépassé 0,05 ? »demander: « À quel point ce résultat est-il surprenant ?»

Et pour répondre à cette question, vous devez considérer les valeurs p comme un spectre :

• 0,4 → tout à fait normal
• 0,1 → légèrement intéressant
• 0,03 → quelque peu surprenant
• 0,001 → très surprenant

Ce n’est pas un commutateur binaire ; il s’agit plutôt d’un gradient de preuves.

Une fois que vous avez changé votre réflexion de « Est-ce vrai ? » à « À quel point cela serait-il bizarre si rien ne se passait ? », tout commence à s’enclencher. Et plus important encore, vous commencez à prendre de meilleures décisions avec vos données.