Ils l’ont demandé. Je l’ai construit. Personne ne l’a jamais utilisé.

à nous demander un modèle.

Nous avons construit une preuve de concept. J’ai le feu vert. Livré le modèle.

Des semaines de travail… tout cela pour ne rien entendre.

C’est une histoire vieille comme le monde et qui tourmente les professionnels des données du monde entier, des analystes aux ingénieurs ML.

Alors, que s’est-il passé ?

Votre modèle est un mystère

Notre profession est ancrée dans l’informatique moderne et les progrès technologiques. La plupart des solutions les plus puissantes à notre disposition sont celles qui auraient été trop coûteuses en termes de calcul il y a plusieurs décennies. Le scepticisme vient du fait de s’appuyer sur les avancées techniques les plus récentes et les plus performantes.

En science des données, nous avons la capacité de créer des modèles incroyablement complexes. Mon équipe à elle seule dispose de centaines de fonctionnalités standard dans notre bibliothèque de fonctionnalités que nous fournissons à chaque nouvelle construction de modèle. Nous ajustons des dizaines d’hyperparamètres et utilisons des algorithmes puissants qui itèrent sur des centaines d’exécutions pour maximiser les performances prédictives. Ce processus peut créer des modèles d’une précision incroyable, mais il a un prix : l’explicabilité.

Il y a une frontière ténue entre un modèle solide et une boîte noire qui ne peut même pas être expliquée par ceux qui l’ont construit.

Le compromis explicabilité-précision est un facteur important dans mon secteur, celui de la santé en particulier. Les clients et les parties prenantes sont souvent des médecins et des cliniciens. Ces médecins sont habitués à porter des jugements cliniques en s’appuyant sur leurs années d’expertise et leurs connaissances approfondies de la médecine. Même si un modèle prédictif peut être efficace pour prédire un résultat donné, s’il ne peut pas être correctement expliqué, les cliniciens remettront en question sa fiabilité. Si les médecins doivent choisir entre un processus clinique fiable et éprouvé ou un modèle de boîte noire doté de fonctionnalités énigmatiques et d’algorithmes inexplicables, ils choisiront probablement le processus clinique à chaque fois.

Alors, que pouvez-vous faire pour éviter cela ? Je trouve le plus de succès en fournissant aux clients un dossier modèle facile à digérer. Il s’agit d’un ensemble de diapositives qui guident les clients à travers le modèle. Cela commence par définir la population d’intérêt, la cible, les fonctionnalités, puis se termine par la performance et la validation de la preuve de concept. En cours de route, je suis sûr de définir des métriques en fonction de la question business, en me mettant à la place du client. J’évite les pures discussions statistiques et je garde les définitions ancrées dans les objectifs du client. Si le modèle est complexe, je m’en tiens aux explications de haut niveau de l’algorithme et je m’assure de communiquer pourquoi j’ai choisi un ensemble de fonctionnalités aussi étendu (ou si simple). L’élaboration d’un dossier de modèle complet est une étape cruciale pour lever le rideau et permettre aux clients de comprendre le modèle en utilisant des termes qu’ils connaissent bien.

Votre solution a pris trop de temps

Construire des modèles fonctionnels prend du temps. Des échanges de correspondance avec les clients aux rebondissements inattendus que vous n’aviez pas vu venir, concevoir un modèle efficace et utile n’est pas une tâche rapide. Et puis il y a le déploiement. C’est tout un processus en soi.

Ce qui n’attend pas patiemment, c’est le monde réel. Les clients vivent leur quotidien avec les outils dont ils disposent déjà. Les outils qui existaient avant qu’ils ne viennent vous demander de l’aide. Si la construction du modèle prend trop de temps, ils pourraient abandonner complètement l’idée ou trouver des solutions créatives n’impliquant pas de modèles prédictifs.

Nous constatons cela tout le temps dans le domaine des soins de santé. Les parties prenantes demanderont un modèle. Après quelques blocages (blocage de la communication des demandeurs, problèmes d’accès aux données, bugs de déploiement, etc.), les semaines de développement se transforment en mois. Enfin, vous êtes prêt à présenter les résultats une fois que tout est validé et fonctionne comme prévu. Vous tentez d’organiser le rendez-vous et vous avez le cœur brisé : « Nous n’avons plus besoin du modèle, nous l’avons trouvé nous-mêmes. » Le milieu hospitalier est un environnement au rythme rapide. Le personnel n’a pas le temps d’attendre pendant des mois. Ils peuvent proposer et trouveront des solutions créatives pour améliorer les soins prodigués à leurs patients, même si cela implique de sacrifier l’utilisation d’un modèle prédictif brillant.

Il y a un dicton que je respecte au travail : « Ne laissez pas le parfait entraver le bien ». Construisez vite. Imaginez, affinez, révisez… mais allez toujours de l’avant. La perfection peut vous empêcher de fournir des informations précieuses. Le monde évolue rapidement, et si vous restez coincé trop longtemps dans la phase de construction, le monde avancera sans vous. Alors, poussez cette v1. Si vous découvrez une meilleure façon de faire les choses plus tard, elle peut figurer en première position sur votre liste d’améliorations pour la v2. Une certaine solution vaut presque toujours mieux que pas de solution.

Si les choses évoluent plus lentement que prévu, vous devez alors communiquer avec les clients tôt et souvent. Tenez-les au courant de vos progrès et fournissez-leur un aperçu pour les garder engagés et enthousiasmés par le produit final. Attendez votre temps pendant que vous travaillez pour que la v1 fonctionne et entre leurs mains.

Votre modèle n’est pas facile à consommer

Construire un bon modèle prédictif ne représente que la moitié de la bataille. Dans la plupart des secteurs, les parties prenantes sont occupées. Dans le domaine des soins de santé, les médecins et les infirmières sont complètement submergés par le soin des patients. Si l’équipe de science des données s’adresse à une équipe de soins sur place pour présenter son modèle le plus récent et le plus précis, mais que l’accès aux prédictions ajoute de la complexité à son flux de travail et le ralentit dans le processus, le modèle ne sera jamais utilisé. La même chose peut être observée dans la plupart des secteurs. Les parties prenantes veulent des solutions capables d’augmenter l’efficacité, les performances et la productivité, et non des solutions qui ne font qu’ajouter de la complexité à leurs journées déjà chargées.

Si les prédictions introduisent des frictions, vous tracez la voie vers l’abandon et non vers l’adoption.

Proposer des prédictions faciles à exploiter peut constituer l’un des plus grands défis pour les data scientists. Nous sommes peut-être compétents pour créer des modèles précis et exacts, mais intégrer le modèle dans la vie quotidienne des clients se fait moins naturellement. Cette partie porte moins sur les chiffres, les probabilités et le sens des statistiques que sur les opérations, les connaissances commerciales et la familiarité avec les processus quotidiens des demandeurs.

En milieu hospitalier, cela ressemble à une intégration dans Epic, le logiciel de dossier de santé électronique utilisé à l’échelle du système. Au lieu de demander aux cliniciens occupés de se connecter à un système distinct pour consulter les prévisions, ils peuvent y accéder directement, dans les dossiers des patients, aux côtés de leurs autres outils cliniques et données sur les patients. Dans d’autres secteurs, la même idée s’applique. Ne perturbez pas le processus actuel. Insérez-y.

Conclusion

L’une des plus grandes déceptions auxquelles un data scientist peut être confronté tout au long de sa carrière est que son travail acharné reste inutilisé. Cela arrive plus qu’on ne voudrait le penser, et il est facile de rejeter la faute sur le client. Après tout, c’est plus facile pour l’ego.

En réalité, il se peut que le data scientist ait négligé certains éléments cruciaux au cours du développement. Être conscient des pièges courants peut aider les data scientists à faire franchir la ligne d’arrivée à leurs modèles. Le réel ligne d’arrivée : l’adoption.