« La pensée systémique m’aide à mettre la situation au premier plan »

Dans la série Author Spotlight, les rédacteurs de TDS discutent avec les membres de notre communauté de leur parcours professionnel en science des données et en IA, de leurs écrits et de leurs sources d’inspiration. Aujourd’hui, nous sommes ravis de partager notre conversation avec Shuai Guo.

Shuai est un chercheur en IA industrielle qui travaille avec la physique, les données et l’apprentissage automatique pour résoudre des problèmes du monde réel en matière d’ingénierie, de sécurité et de systèmes intelligents. Il est titulaire d’un doctorat à l’intersection de la mécanique computationnelle et de l’apprentissage automatique. Son travail couvre divers sujets, notamment la détection d’anomalies, les jumeaux numériques, l’apprentissage basé sur la physique et les applications LLM/agentiques.

Ton Pièce LangGraph guide le lecteur à travers le processus de création d’un agent de recherche approfondi. Lorsque vous l’avez réellement essayé de bout en bout, qu’est-ce qui vous a le plus surpris et que feriez-vous différemment la prochaine fois ?

Je dirais que ce qui m’a le plus surpris, c’est la facilité avec laquelle l’agent de recherche approfondie peut commettre des erreurs lorsqu’il l’exécute de bout en bout. Toute cette boucle « générer une requête → rechercher → réfléchir → répéter » a fière allure sur le papier, mais elle s’effondre assez rapidement. Il y a deux problèmes principaux dont je me souviens clairement. Premièrement, de temps en temps, l’agent commence à mélanger ce qu’il a trouvé avec ce dont il se souvient de la pré-formation. Ce n’est pas idéal, car je souhaite uniquement que les LLM synthétisent les informations et identifient les lacunes dans les connaissances, tout en s’appuyant entièrement sur la recherche sur le Web pour trouver la réponse.

Un autre problème qui me donne constamment des maux de tête est la contamination des informations, c’est-à-dire lorsque la recherche ramène des éléments similaires mais que le modèle les traite comme si c’était exactement ce que vous aviez demandé. Par exemple, j’ai déjà testé l’agent de recherche approfondie en recherchant un rapport de bogue spécifique (par exemple, le problème n° 4521 d’une base de code), et la recherche renvoyait le contenu lié au problème n° 4522 et commençait à mélanger leurs symptômes comme s’ils étaient tous le même problème.

Au-delà de ces deux problèmes principaux, j’ai également rencontré des difficultés pour gérer des informations contradictoires et déterminer si elles étaient suffisantes pour mettre fin à la recherche approfondie. Aucun de ces problèmes ne peut être résolu en ajoutant simplement davantage de résultats de recherche ou en exécutant davantage d’itérations.

Pour moi, la principale réalisation est que les garde-fous sont aussi essentiels, sinon plus, que l’architecture des agents, si nous voulons aller au-delà d’une « simple démo » et construire un système qui fonctionne réellement en production. Je pense que l’état d’esprit du « développement piloté par les tests » s’intègre bien ici : définissez à quoi ressemble le « bien » avant de construire. La prochaine fois, je commencerais par définir des règles claires, puis je construirais l’architecture des agents autour de ces contraintes.

Tu as écrit ça L’IA analytique (SQL/BI + ML classique) ne disparaît pas simplement parce que les agents sont en vogue. Si vous deviez concevoir une pile de données moderne aujourd’hui, quel travail confieriez-vous aux agents et que conserveriez-vous dans le domaine de l’analyse ?

L’IA analytique est reproductible et numériquement précise. Les agents basés sur LLM, en revanche, sont capables de digérer un contexte non structuré, de traduire les résultats et de communiquer avec les gens. Pour répartir les tâches entre l’IA analytique et l’IA agentique, je dirais que si une tâche est plus quantitative, je choisirais par défaut l’IA analytique ; mais s’il s’agit d’une approche plus qualitative, par exemple la synthèse, la narration ou le jugement, je considérerais le LLM/agents comme de meilleures alternatives.

Nous pouvons considérer un problème concret consistant à créer un système de prévision du taux de désabonnement des clients. À un niveau élevé, cela implique généralement deux étapes : identifier les clients à risque et agir en conséquence. Pour la première étape du signalement des clients à risque, je m’appuierais sur l’IA analytique pour concevoir des fonctionnalités informatives, former des modèles d’amélioration du gradient sur des données comportementales historiques et utiliser les modèles formés pour calculer les scores de propension au désabonnement. De plus, j’effectuerais également une analyse SHAP pour obtenir des scores d’importance des fonctionnalités permettant d’expliquer la prédiction. Chaque étape est précise et reproductible, et il existe une multitude de bonnes pratiques disponibles pour obtenir des résultats précis et fiables.

Mais vient ensuite la partie amusante : que faites-vous réellement de ces prédictions ? C’est là que les agents basés sur LLM peuvent prendre le relais. Ils peuvent rédiger des e-mails de fidélisation personnalisés en consultant l’historique du client, suggérer peut-être des fonctionnalités de produit pertinentes qu’ils n’ont pas encore essayées et ajuster le ton en fonction du déroulement de leurs précédents tickets d’assistance. Il n’y a pas de calcul ici. Je parle simplement d’une manière contextuellement intelligente.

Quelle est la compétence dans laquelle vous avez investi au début et qui vous donne désormais un avantage à mesure que les outils d’IA deviennent plus performants ?

Pensée systémique.

Pour moi, la pensée systémique consiste essentiellement à se demander comment décomposer les systèmes en composants. Comment les différents composants communiquent-ils entre eux ? Quels sont les points de transfert ? Où sont les boucles de rétroaction ? Si je touche cequ’est-ce qui change d’autre ?

J’ai appris ça à l’université. Je me suis spécialisé en génie aérospatial avec une spécialisation en conception de moteurs d’avion. Le truc avec les moteurs à réaction, c’est que tout affecte tout, et l’étudier m’a vraiment aidé à développer trois habitudes : décomposer le système, définir des interfaces propres et toujours faire attention aux effets de couplage.

Il est vrai que les outils d’IA sont de plus en plus performants, par exemple nous avons de meilleurs assistants de codage, des pipelines RAG plus efficaces ou des LLM capables de gérer un contexte plus long, mais la plupart des avancées se produisent par tranches étroites. Au lieu de toujours rechercher l’outil le plus performant et d’essayer de l’incorporer d’une manière ou d’une autre dans mon travail existant, la pensée systémique m’aide à mettre la situation au premier plan. Pour une application LLM, je commencerais toujours par dessiner les composants, en déterminant l’interaction et les entrées/sorties entre les composants, en m’assurant que des contrôles et des garde-corps sont ajoutés, puis en échangeant les composants à mesure que les outils s’améliorent.

En fait, la création d’applications LLM me rappelle beaucoup la conception de moteurs à réaction : les nouvelles technologies vont et viennent, mais une conception de système solide ajoute de la valeur.

Si vous effectuez un zoom arrière, quelle partie de la science des données ou de l’IA évolue trop rapidement en ce moment, et quelle partie ne change pas assez vite ?

Je pense que les systèmes d’IA multi-agents sont certainement l’un des domaines les plus en vogue et qui évolue très rapidement. Nous voyons de temps en temps des démos sophistiquées (qu’il s’agisse d’un assistant de codage ou d’un assistant de recherche). De nouveaux frameworks open source permettant aux développeurs de créer efficacement leurs propres applications multi-agents apparaissent également constamment. Tout cela est passionnant. Mais voici le problème : mettons-nous en place ces systèmes complexes bien plus rapidement que nous ne comprenons comment ils se comporteront réellement dans la pratique ?

C’est là que je vois la lacune : l’ensemble de la couche « assurance » autour de ces systèmes multi-agents n’évolue pas assez rapidement. Pour relever ce défi, nous pouvons (et devrions probablement) traiter ces systèmes multi-agents comme n’importe quel autre système industriel. Dans l’industrie manufacturière, il est courant d’adopter des approches basées sur les données pour faciliter la conception, le contrôle, la surveillance de l’état et l’analyse des défauts des systèmes. Cette même approche pourrait également bénéficier aux systèmes multi-agents. Par exemple, que diriez-vous d’utiliser l’optimisation bayésienne pour concevoir l’architecture multi-agents ? Que diriez-vous d’utiliser la détection des anomalies basée sur le ML pour surveiller les performances des agents et détecter les menaces de sécurité ?

La bonne nouvelle, c’est que l’élan est en train de prendre forme. Nous voyons des plates-formes d’observabilité pour les LLM, des cadres d’évaluation, etc., et ils jettent les bases de l’application de ces méthodes de qualité industrielle basées sur les données. Je vois beaucoup d’opportunités dans cet espace et c’est ce qui m’enthousiasme : la possibilité d’apporter la rigueur des systèmes industriels à l’IA agentique et de rendre ces outils fiables et dignes de confiance.

Pour en savoir plus sur le travail de Shuai et rester au courant de ses derniers articles, vous pouvez le suivre sur TDS ou LinkedIn.