L’arithmétique de l’augmentation de la productivité : pourquoi une « augmentation de 40 % de la productivité » ne fonctionne-t-elle jamais réellement ?

Introduction : De fausses promesses ?

en tant que consultant et gestionnaire dans le domaine des données, j’ai assisté à ma juste part de présentations de diapositives. Des deux côtés. Et tout diaporama digne de ce nom promet quelque chose, souvent en termes d’efficacité ou de productivité. Vous avez probablement entendu quelque chose comme ceci :

• Cet outil rendra vos data scientists 40 % plus productifs !
• Vous passerez 30 % de temps en moins à corriger les bugs en faisant cela. En gros, vous pourriez mettre en place une journée de travail de 6 heures et quand même sortir vainqueur !
• Avec notre solution, vous pourriez coder deux projets dans le temps qu’il vous fallait auparavant pour n’en réaliser qu’un seul. Cela réduit de moitié le temps de production !

Parfois, les promesses ne tiennent pas simplement parce que le produit proposé est mauvais. Mais pourquoi cela ne semble-t-il jamais fonctionner, même avec de bons produits ? Vous pourriez finir par passer à un produit que vous aimez vraiment, mais sans vraiment voir l’amélioration promise. Pourquoi? Les chiffres qui vous ont été présentés sont-ils mensongers ?

Mon parcours de docteur en mathématiques m’a probablement marqué à vie à plus d’un titre. L’une des cicatrices les plus profondes est mon besoin de comprendre précisément ce que représentent les chiffres. Et les chiffres que vous trouvez dans les déclarations ci-dessus indiquent tous une chose, tout en racontant une histoire complètement différente si vous y réfléchissez.

Bien que mentir arrive certainement, ce qui est une pratique beaucoup plus courante est d’être trompeur. Ce type de marketing suppose que vous ne réfléchissez pas de manière critique lorsque vous êtes confronté à des chiffres. Réfléchissons ensemble de manière critique et voyons ce que nous proposons.

Mensonges, mensonges et marketing

Alors, quel est le problème avec les déclarations de productivité ?

Le principal problème est qu’ils prétendent optimiser un certain aspect du processus, tout en promettant (indirectement) des gains de productivité globaux.

Passons en revue un exemple simple pour comprendre ce que cela signifie.

Supposons que vous soyez un acteur majeur de l’IA et que vous ayez récemment lancé un produit idéal pour aider les data scientists dans la sélection des paramètres du modèle. Cool! Les premières enquêtes montrent que cela a permis aux data scientists d’augmenter de 20 % la productivité pour la sélection des paramètres du modèle. Vous présentez initialement cela comme suit :

Notre outil a amélioré de 20 % la productivité de la sélection des paramètres du modèle pour les data scientists.

Heureux de ce résultat impressionnant, vous envoyez votre relevé au marketing et celui-ci ne revient qu’avec des ajustements mineurs :

Notre outil a amélioré la sélection des paramètres du modèle, rendant les data scientists 20 % plus productifs.

Vous haussez les épaules et vous vous demandez un instant pourquoi ces gens du marketing sont réellement payés pour faire alors qu’ils ne mélangent que quelques mots. En réalité, ils ont maintenant fait passer votre déclaration de quelque chose de moyennement impressionnant à quelque chose d’incroyablement impressionnant.

Pourquoi? L’ajustement du marketing donne l’impression que le produit rend les data scientists 20 % plus productifs en général. Mais votre enquête ne parlait vraiment de productivité que pendant la période pendant laquelle les data scientists sélectionnent les paramètres du modèle. Quelle est la vraie différence ?

Un data scientist fait beaucoup de choses, notamment le prototypage, la gestion des parties prenantes, les réunions de coordination, etc. Alors que l’apprentissage automatique est souvent au premier plan de la façon dont ils se décriraient, de nombreux data scientists ne consacrent qu’environ 40 % de leur temps à des tâches typiques de science des données. Une grande partie de ces 40 % concerne le débogage des problèmes de qualité des données, la gestion du pipeline et la validation des données. La sélection des paramètres du modèle ne peut prendre que 10 % de leur temps de 40 % consacré aux tâches de science des données. La multiplication nous montre que cela ne représente que 4 % de leur temps total.

Si le data scientist adoptait un outil pour rendre la sélection des paramètres du modèle 20 % plus productive, cela ne ferait qu’une différence d’à peine 1 % de son temps total. Vous ne le remarqueriez pas pendant une semaine de travail. En fait, avec la complexité supplémentaire liée à l’apprentissage d’un nouvel outil au début, vous pourriez même constater une diminution de la productivité au début.

La meilleure partie ? Regardez attentivement la déclaration :

Notre outil a amélioré la sélection des paramètres du modèle, rendant les data scientists 20 % plus productifs.

Il semble certainement que les data scientists seraient globalement 20 % plus productifs, mais ce n’est qu’une interprétation. Si on insistait, le marketing ferait le lien entre le début et la fin de la phrase et dirait que cela sous-entend que l’augmentation de la productivité concerne uniquement la sélection des paramètres du modèle.

Ainsi, vous pouvez effectivement dire une chose, tout en vous rabattant sur une autre si la déclaration trompeuse est découverte. La rémunération du marketing vient du déplacement des mots justes!

Une meilleure façon ? Concentrez-vous sur la charge cognitive plutôt que sur la productivité

Que vous dit réellement l’histoire que je viens de raconter ? Si vous avez de nombreuses tâches différentes et complexes (comme le fait un data scientist), alors viser des gains de productivité ne consiste pas vraiment à pousser les choses.

Ne vous méprenez pas. Si vous avez une opportunité facile de devenir 20 % plus productif avec l’une de vos tâches, foncez ! Mais ne vous attendez pas à ce que cela entraîne une différence de plus d’un ou deux pour cent dans la productivité totale.

Que pouvons-nous faire à la place lorsque nous avons de nombreuses tâches différentes et complexes ? Nous pouvons utiliser la charge cognitive comme mesure et essayer de la réduire.

Supposons qu’une entreprise concurrente développe son propre outil de sélection des paramètres du modèle. Au lieu de chercher à accélérer le processus, leur outil avait pour seul but de réduire la charge cognitive du data scientist. Ainsi, le processus de sélection du modèle prendrait le même temps, mais le data scientist se sentirait plein d’énergie et prêt à relever un autre défi après avoir sélectionné les paramètres du modèle.

La plupart des gens, moi y compris, ne peuvent pas travailler 8 heures par jour et être au sommet de leur forme à tout moment. Certains jours, j’ai l’impression d’avoir 6 heures efficaces en moi. D’autres jours, c’est plutôt 2 heures effectives. Si un processus ne nécessite pas beaucoup de charge cognitive, je peux alors travailler efficacement plus longtemps. Cela se traduit souvent par la même productivité totale de quelques pour cent, mais avec l’avantage supplémentaire d’un meilleur moral.

Alors la prochaine fois que quelqu’un présentera un « Augmentation de 40 % de la productivité», demandez-leur ce qui suit :

• Quelle part du temps de travail total cette augmentation de productivité affecte-t-elle ?
• Quelle charge cognitive cela enlève-t-il ou introduit-il ?