Déconstruisez n’importe quelle métrique avec quelques questions simples « Quoi »

« L’amélioration est de 5x» [FULL STOP]il est conçu pour vous faire réfléchir : «C’est impressionnant ; ça doit valoir mon temps et mon argent.»

Cependant, une déclaration autonome comme celle-là est un signal d’alarme, et savoir comment interroger des mesures vagues est une compétence fondamentale pour quiconque souhaite séparer la valeur réelle d’un marketing intelligent.

C’est pourquoi je vous invite à mettre vos lunettes d’analyste de données et à découvrir le contexte nécessaire pour obtenir des informations sur lesquelles vous pouvez agir.

La popularisation de l’analyse a suivi un chemin similaire à celui de la psychologie, passant des conseils spécialisés aux livres d’auto-assistance et finalement aux articles de blog, aux vidéos YouTube et aux citations inspirantes d’Instagram imprimées sur des T-shirts. L’idée était de traduire notre douleur en mots que nous pourrions porter fièrement sur le meilleur vêtement qui soit –le sweat à capuche– et enfin expliquer au monde ce que fait un analyste (moi !), pensant que cela explique aussi le domaine de l’analyse.

Bien sûr, pour les gens qui m’ont surpris un jour de lessive, j’avais une explication simple de l’analyse prête à l’emploi, et j’ai partagé que l’analyse est «Ce que vous voyez est rarement ce que vous obtenez,» tandis que les statistiques, en revanche, sont «La vérité est là-bas» (comme indiqué dans Les X-Files ).

Puis j’ai ajouté que je suis toujours enthousiaste à l’idée de rechercher la « vérité », en faisant référence à mes six années d’études. Tour d’ivoire expérience, mais je préfère nager dans des eaux analytiques maintenant.

C’est pourquoi je maintiens la déclaration :

Les tableaux de bord flashy soutenus par une narration de données visent souvent à obscurcir l’œil non averti en présentant des informations triées sur le volet.

Pendant ce temps, l’œil exercé sait que quelque chose de plus se cache derrière les mesures chaque fois qu’une déclaration comme celle-ci apparaît :

« L’amélioration est 5x »

Suivi du point/point/point/point complet ou quel que soit le nom que vous préférez. Je ne sais pas pour vous, mais ça fait mal quand je regarde cette phrase de savoir que quelqu’un a osé l’appeler une mesure de réussite.

Par souci de bon sens, j’espère qu’il existe toujours dans les limbes actuels de l’IA, réécrivons la déclaration ci-dessus de la manière dont une métrique devrait être présentée en ajoutant…

#1 : Les dimensions

Je sais que quelques-uns de mes amis qui sont encore des adeptes de Simon Sinek diraient : « Commencez par pourquoi ». 🙂

Non. J’ai commencé par « quoi » et j’ai demandé : «L’amélioration de quoi? »

J’ai osé parce que la première chose qui m’est venue à l’esprit après avoir vu le mot « amélioration » accroché ainsi était :

print(“The improvement is 5x.”)

Et ce n’est pas un moyen d’obtenir des informations sur lesquelles quiconque peut agir, n’est-ce pas ?

Mais imaginez une seconde que la déclaration soit formulée ainsi : «L’amélioration de la précision du modèle est de 5x.»

Si cela avait été le cas, j’aurais imaginé quelque chose de différent et envisagé un petit tableau avec des dimensions de performances spécifiques, telles que la précision du modèle et leurs mesures exactes enregistrées.

Cependant, pour être sûr que le « 5x » n’a pas été sorti de nulle part, la deuxième dimension manquante dans ma table imaginaire est la date/dateheure. Ce qui donnerait à notre déclaration le ton suivant :

« L’amélioration mensuelle de la précision du modèle est de 5x.»

Maintenant, c’est mieux, ou du moins c’est ce que nous ressentons, car nous pouvons affirmer que nous avons obtenu l’amélioration en comparant les journaux de précision du modèle sur plusieurs exécutions mensuelles.

Mais, pour comprendre ce « 5x », ou toute amélioration quelle qu’elle soit, une autre information manquante importante est…

#2 : La ligne de base

C’est pourquoi je vais continuer avec mon « quoi» des questions en posant, «L’amélioration depuis quoi? »

Une « amélioration 5x » semble vraiment incroyable jusqu’à ce que nous réalisions que la précision du modèle de base pour prédire le bon résultat exact sur une centaine de possibilités était de 1 % le mois dernier, et maintenant elle est de 5 %.

Si nous voyions la valeur brute de 5 %, nous saurions que cela signifie que les prédictions du modèle sont toujours fausses dans 95 % des cas, et nous ne considérerions pas cela comme une sorte d’amélioration qui devrait guider nos actions. C’est pourquoi on ne nous présente souvent pas les chiffres bruts, mais simplement un « 5x », car cela a fière allure sur un tableau de bord.

Ayant ces informations, nous pouvons réécrire notre déclaration :

« L’amélioration mensuelle de la précision du modèle est multipliée par 5, passant d’une base de référence de 1 % à 5 %. »

Ça a l’air encore mieux. Pourtant, voir une période de temps spécifique attachée m’amène à la prochaine pièce manquante…

#3 : La période de comparaison

Ce qui m’amène à ma dernière question « quoi » : «L’amélioration par rapport à quelle période? »

Notre déclaration ne nous dit toujours pas quel type de comparaison elle fait : une évolution dans le temps, une comparaison à cadence fixe (mois par mois, trimestre par trimestre, année par année) ou une comparaison de période arbitraire ?

A recadrer : S’agit-il d’une comparaison directe avec le mois précédent, ou sur plusieurs mois consécutifs ? Peut-être une comparaison d’une année sur l’autre, où ce mois a été comparé au même mois de l’année dernière ? Ou s’agit-il simplement d’une comparaison arbitraire entre deux mois triés sur le volet ?

En supposant que nous ayons une réponse, nous pouvons modifier à nouveau la version précédente :

« En comparant les résultats de mai 2026 à ceux d’avril 2026, l’amélioration mensuelle de la précision du modèle est multipliée par 5, passant d’une base de référence de 1 % à 5 %. »

Beaucoup mieux. La phrase nous indique enfin ce qui s’est amélioré, à partir de quelle base de référence et sur quelle période. Et maintenant, pour le plus grand plaisir de certains de mes amis, je vais demander…

Les questions du « pourquoi »

Pour conclure, les deux questions « pourquoi » que je poserais lorsqu’on me répondait une déclaration comme « L’amélioration est 5x » sont:

#1 : Pourquoi cette métrique devrait-elle me concerner ?
Les indicateurs qui déterminent les décisions du présentateur ne sont pas toujours ceux qui déterminent les vôtres, et il en va de même pour le niveau de détail. Ce qui leur suffit pour décider ne suffit souvent pas pour que vous agissez. Ainsi, la prochaine fois que quelqu’un présentera une déclaration similaire à celle ci-dessus, demandez-lui OMS il est destiné et quelles actions il est censé conduire.

#2 : Pourquoi les questions « quoi » ont-elles été laissées de côté ?
Oui, commencer par « pourquoi » est pertinent, surtout lorsque vous essayez de comprendre un problèmepour un cas d’utilisation spécifique. Mais lorsqu’il s’agit de comprendre la métrique devant vous, quelqu’un présenté avec son propre « pourquoi » en tête, vous devez l’interroger avec des questions « quoi » afin de ne pas vous laisser berner par des tableaux de bord tape-à-l’œil et la narration des données.

Fait amusant pour terminer: Les caméléons peuvent déplacer chaque œil indépendamment, l’un traquant une menace, l’autre scrutant l’horizon, leur donnant environ 180° de vision horizontale et 90° de verticale.

Un peu comme des gens dotés d’un œil analytique exercé, qui sont doués pour repérer ce qui se trouve devant eux : un œil sur la métrique affichée, l’autre sur tout ce qui n’a pas été autour d’elle.

Merci d’avoir lu.

Cet article a été initialement publié sur Moyen . Si vous l’avez trouvé utile, n’hésitez pas à le partager avec votre réseau et à vous connecter pour plus d’histoires sur Moyen ✍️ et LinkedIn🖇️.