Principes de réflexion pour les data scientists
a écrit à la Smithsonian Institution pour lui demander tout ce qu’ils avaient sur le vol humain. Lui et son frère Orville ont dévoré tous les articles, théories et calculs des plus grands chercheurs aéronautiques de leur époque. Ils ont étudié les conceptions de planeurs d’Otto Lilienthal, les principes d’ingénierie d’Octave Chanute et les tableaux de Samuel Langley sur la portance et la traînée.
Puis ils ont fait quelque chose de radical : ils ont tout remis en question.
Lorsque leurs planeurs n’ont pas fonctionné comme le prédisaient les données publiées, les frères Wright n’ont pas supposé qu’ils étaient en faute. Ils ont construit leur propre soufflerie et testé eux-mêmes plus de 200 modèles d’ailes. Ce qu’ils ont découvert les a ensuite stupéfaits. Les coefficients de portance de Lilienthal – les chiffres sur lesquels s’appuyait l’ensemble du peloton – étaient erronés, et pas seulement un tout petit peu. Totalement, complètement faux.
Les frères Wright n’ont pas remis cela en question par arrogance ; ils utilisaient une réflexion sur les premiers principes. Et c’est ce qui a fait la différence entre leur premier vol en 1903 et l’écrasement de son avion sur le Potomac par Langley, qui disposait de plus de financement, de prestige et de ressources, neuf jours plus tôt.
Les data scientists d’aujourd’hui sont confrontés à un défi similaire. Nous sommes entourés de playbooks, de frameworks et de bonnes pratiques : guides de tests A/B, taxonomies de métriques, listes de contrôle de sélection de modèles. Ces outils sont inestimables. Mais tout comme les tableaux de Langley, ils peuvent nous induire en erreur lorsqu’ils sont appliqués aveuglément.
Les data scientists les plus stratégiques que je connais ne choisissent pas entre les cadres et les premiers principes. Ils utilisent les deux. Les cadres donnent de la vitesse. Les premiers principes apportent de la clarté. Ensemble, ils séparent les exécutants des tâches des partenaires stratégiques.
Qu’est-ce que la réflexion sur les premiers principes ?
La réflexion sur les premiers principes signifie décomposer un problème jusqu’à ses vérités fondamentales et le reconstruire à partir de zéro. Aristote l’a décrit comme la recherche de « la première base à partir de laquelle une chose est connue ».
En pratique, cela revient à se demander :
- Que savons-nous d’absolument vrai ?
- Que supposons-nous ?
- Laquelle de ces hypothèses pouvons-nous remettre en question ?
Cela ne signifie pas rejeter les connaissances existantes : les frères Wright ont étudié toutes les recherches disponibles ; ils ne l’ont tout simplement pas traité comme un évangile.
Pour les data scientists, la même chose s’applique. Les cadres sont des cartes : des raccourcis éprouvés à travers un terrain familier. Les premiers principes sont la boussole, qui nous permet de nous orienter lorsque la carte devient un peu floue.
Pourquoi les data scientists en ont besoin maintenant
Les frameworks sont partout dans la science des données pour une bonne raison. Ils nous aident à mener des expériences, à définir des métriques et à créer rapidement des modèles. Mais ils peuvent aussi créer une fausse confiance.
J’ai vu des équipes exécuter des tests A/B impeccables qui répondaient à la mauvaise question. J’ai vu des mesures standard produire des tableaux de bord qui semblaient impressionnants mais qui ne mesuraient rien de significatif. Ces échecs ne se sont pas produits parce que les cadres étaient défectueux. Ils se sont produits parce que personne n’a pris le temps de poser les premières questions de principe : quelle décision essayons-nous réellement d’éclairer ? Quelle valeur essayons-nous réellement de mesurer ? Avons-nous vraiment besoin de ce niveau de complexité ?
Cela est plus important que jamais car l’IA automatise le exécution côté de la science des données. La génération AI peut interroger des données, générer des visualisations et appliquer des frameworks avec brio. Mais il ne peut pas décider si vous posez la bonne question.
La réflexion sur les premiers principes est votre différenciateur. C’est la compétence qui maintient les cadres ancrés dans la réalité et elle devient la capacité la plus défendable d’un data scientist stratégique.
Où les premiers principes changent tout
Voici trois exemples où le manuel de science des données est parfaitement bien écrit, mais le suivre strictement et sans réfléchir produirait un résultat médiocre.
Au-delà des tests A/B des manuels scolaires
Le cadre dit : définissez votre hypothèse, randomisez les utilisateurs, mesurez votre métrique principale, vérifiez la signification. Cela fonctionne parfaitement, si vous posez la bonne question.
Mais la première question de principe vient plus tôt : Quelle décision essayons-nous d’éclairer ? Quelle incertitude essayons-nous de résoudre ?
J’ai déjà conseillé une équipe qui testait un nouvel algorithme de recommandation. La réflexion cadre disait : randomiser les utilisateurs, mesurer le taux de clics, fonctionner pendant deux semaines. Expédiez le gagnant.
Mais une pause sur les premiers principes a révélé quelque chose de différent. Nous n’étions pas incertains concernant les clics : les premiers signaux suggéraient qu’ils allaient augmenter. Nous ne savions pas si ces clics généreraient un véritable engagement ou simplement du bruit.
Nous avons donc modifié ce que nous mesurions. Au lieu des clics, nous nous sommes concentrés sur les visites répétées, la profondeur des sessions et l’engagement à long terme. Le résultat ? Le nouvel algorithme a augmenté les clics de 12 % mais a diminué les visites répétées de 8 %. Le cadre standard aurait dit « expédiez-le ». L’approche des premiers principes disait « pas encore ».
Nous avons décidé que le nouvel algorithme était trop « click-baity ». Les frameworks nous ont donné la méthodologie. Les premiers principes nous ont posé la bonne question.
Que mesurent réellement nos mesures ?
Les cadres de métriques (North Star, OKR, HEART) sont puissants car ils donnent une structure. Mais ils peuvent aussi créer l’illusion que nous avons mesuré ce qui compte.
La réflexion sur les premiers principes pose les questions suivantes : Quel est le comportement ou la valeur fondamentale qui nous tient à cœur ? Cette métrique le reflète-t-elle réellement ?
Pensez à l’engagement. De nombreux frameworks suggèrent des DAU, la durée de la session ou des actions par session. Des procurations raisonnables, mais ont-elles raison ?
- Pour une application de méditation, des séances plus longues peuvent paraître « meilleures », mais l’objectif fondamental est une pratique durable. Cela pourrait vouloir dire plus court séances au fil du temps.
- Pour un outil d’analyse, un plus grand nombre de requêtes par utilisateur pourrait indiquer une utilisation plus approfondie ou signifier que les utilisateurs ont du mal à trouver des réponses. La vraie valeur réside dans des informations plus rapides et plus ciblées.
Un jour, j’ai commencé un nouvel emploi et j’ai hérité d’un tableau de bord qui signalait fièrement les utilisateurs actifs hebdomadaires comme principale mesure de réussite. Mais lorsque j’ai creusé, j’ai réalisé que la plupart des utilisateurs « actifs » se connectaient simplement, regardaient autour de eux et partaient sans accomplir une seule tâche. Du point de vue des premiers principes, j’ai décidé que la vraie valeur résidait dans les tâches accomplies. Et une fois que j’ai modifié la métrique, nous avons découvert (comme prévu) que l’utilisation était bien inférieure selon la nouvelle définition, mais le nouveau cadre nous a permis de clarifier sur quoi nous concentrer afin de favoriser une adoption significative.
Le framework vous propose un menu de métriques. La réflexion sur les premiers principes vous indique si l’un d’entre eux reflète réellement la valeur de votre produit. Parfois, la mesure standard est parfaite, mais parfois elle est dangereusement trompeuse.
Quand les premiers principes ont sauvé un lancement
L’un des exemples les plus clairs que j’ai connu est survenu au début de ma carrière, lorsque mon équipe a été chargée de créer un « score de qualité utilisateur » pour aider les ventes à prioriser les prospects.
L’approche du cadre était évidente : apprentissage supervisé, prédire la probabilité de conversion, classement par score. Nous avions les données, les fonctionnalités, la méthodologie.
Deux semaines plus tard, alors que nous luttions pour obtenir des scores de performance progressivement plus élevés, quelqu’un a demandé : Quelle décision les ventes prendront-elles réellement avec ce score ?
Nous avons demandé aux ventes. La réponse n’était pas « donnez-moi des probabilités exactes ». C’était: Dois-je prendre le temps et la personnalisation d’appeler ce prospect, ou simplement envoyer un e-mail standardisé rapide ?
Cela a tout changé. Nous n’avions pas besoin d’un modèle complexe couvrant toute la plage de probabilité. Nous avions besoin d’un classificateur simple et interprétable, optimisé autour d’un seuil.
En recadrant, nous sommes passés d’un modèle d’ensemble à une régression logistique, avons supprimé la moitié de nos fonctionnalités, expédié trois semaines plus rapidement et livré quelque chose que les ventes ont réellement utilisé.
En revenant aux principes premiers, nous avons clarifié le vrai problème puis sommes revenus aux cadres standards pour construire une solution.
La boussole et la carte
Voici la leçon : les data scientists stratégiques ne choisissent pas entre les cadres et les premiers principes. Ils les combinent.
- Les cadres sont les carte– ils vous permettent d’avancer rapidement et de tirer parti des connaissances accumulées.
- Les premiers principes sont les boussole– ils vous maintiennent aligné lorsque la carte ne montre pas clairement votre chemin.
Les frères Wright n’ont pas rejeté la recherche de leur époque. Ils ont bâti sur cette base, mais ils savaient aussi quand revenir à l’essentiel.
C’est le changement de mentalité qui sépare les data scientists stratégiques des tactiques. Il ne s’agit pas de connaître davantage de méthodes ou de travailler plus dur. Il s’agit de savoir quand suivre la carte et quand vérifier sa boussole.
Grâce à l’IA, les cadres deviendront de plus en plus faciles à appliquer. Mais la boussole, c’est à vous de la construire. Et c’est ce qui vous maintiendra pertinent, stratégique et indispensable dans les années à venir.
C’est l’un des thèmes centraux que j’explore dans mon nouveau livre, Le scientifique des données stratégiques : passer au niveau supérieur et prospérer à l’ère de l’IA (Lien d’affiliation Amazon). Il s’agit d’associer une réflexion fondamentale à des cadres éprouvés pour créer un impact, influencer les feuilles de route et vous positionner en tant que partenaire stratégique, et pas seulement en tant qu’exécuteur technique.
Si vous vous demandez comment votre travail va évoluer à mesure que l’IA devient plus performante, ou simplement vous cherchez à avoir plus d’impact en tant que data scientist et à progresser vers une promotion, veuillez consulter le livre sur Amazone!
