4 lignes que vous devriez inclure dans votre compétence Claude

On m’a demandé de faire quelque chose de nouveau au travail : Compte tenu d’un vidage de données textuelles non structurées, fournissez-nous un rapport PDF détaillé contenant des informations sur ce que les clients disent de nos produits ce trimestre.

J’ai donc écrit une invite claire. J’ai donné à Claude un ensemble d’instructions détaillées. Nourrissez-le avec l’ensemble de données. Cela m’a donné un résultat. Je l’ai livré.

Mais lorsque la partie prenante et moi avons examiné le livrable en profondeur, nous avons remarqué des choses de plus en plus troublantes.

Claude avait certainement tort.

Pas faux faux, comme des faits hallucinants venus de nulle part. Plutôt… trop confiant faux. Il générerait un rapport d’analyse trimestriel et dirait quelque chose comme :

« Les sentiments négatifs dans le département Robes ont augmenté de 23 % ce trimestre, ce qui indique un changement significatif dans la satisfaction des clients qui mérite une attention immédiate de la part de l’équipe produit. »

Ça a l’air génial. Sauf que cette hausse était presque entièrement due à un seul article populaire lancé au milieu du trimestre avec un défaut de taille connu. Un produit. Pas tout le département.

Claude n’en avait aucune idée. Et mon invite ne lui a pas dit de s’en soucier.

Une compétence de rapport d’évaluation trimestriel des clients

Je vais vous présenter une compétence Claude que j’ai construite et qui génère un rapport trimestriel sur le sentiment des clients à partir d’un texte d’évaluation de produit non structuré, fourni sous forme de PDF aux parties prenantes.

Évidemment, je ne partagerai pas l’ensemble de données que j’ai analysé au travail. L’ensemble de données que j’utilise est le Avis sur les vêtements de commerce électronique pour femmes ensemble de données de Kaggle (licence CC0). Il contient 23 000 avis clients réels et anonymisés dans tous les départements de vêtements (hauts, robes, bas, vestes, etc.) avec texte, notes par étoiles et métadonnées de produits. Les références à l’entreprise dans les avis ont été remplacées par « détaillant ».

La compétence doit :

• Lire une tranche filtrée d’avis pour le trimestre en cours
• Regroupez-les par département
• Identifier les tendances et les préoccupations
• Rédiger un PDF de résumé professionnel pour l’équipe de direction produit

Voici l’invite d’origine :

Vous êtes un analyste de données qui génère un rapport trimestriel sur le sentiment des clients pour un détaillant de commerce électronique de vêtements pour femmes. Compte tenu des avis clients de ce trimestre (y compris le texte des avis, les notes par étoiles et le service), rédigez un rapport professionnel pour les parties prenantes qui comprend :

– Un résumé du sentiment général pour le trimestre

– Thèmes clés par département (Hauts, Robes, Bas, Vestes)

– 2-3 idées marquantes du texte de la critique

– Une brève recommandation pour l’équipe produit

Soyez professionnel et clair.

Lorsque vous avez terminé cette tâche, veuillez créer une compétence intitulée Commentaires-Analyse et enregistrez-y vos instructions..

À quoi ressemble réellement le « mal en toute confiance »

Voici un exemple de ce que Claude a réalisé avec l’habileté naïve ci-dessus, sur un trimestre où le département Robes a reçu un afflux d’avis négatifs :

« Le sentiment négatif dans le département Robes a considérablement augmenté ce trimestre, les clients citant fréquemment des problèmes d’ajustement et de taille. Cela suggère que les normes de taille du détaillant pourraient s’écarter des attentes des clients – une tendance qui, si elle n’est pas prise en compte, pourrait éroder la fidélité à la marque dans cette catégorie clé. »

La vraie explication ? Une robe (un seul SKU) lancée au cours de la semaine 7 avec un problème de qualité de lot. Les critiques étaient presque entièrement sur ce seul élément. Le reste du département Robes fonctionnait bien.

Claude n’a pas forcément rien inventé. Il n’y avait tout simplement aucun contexte expliquant pourquoi le modèle existait. Et sans ce contexte, il a fait ce que font les LLM : il a comblé le vide avec le récit le plus plausible.

La solution : 4 lignes que vous DEVEZ inclure

Ligne 1 : Dites à Claude quel contexte il manque

Vous n’avez PAS accès aux calendriers de lancement de produits, aux enregistrements d’inventaire, aux campagnes promotionnelles ou à l’historique individuel au niveau des SKU. N’attribuez PAS les tendances au niveau du département à des causes à l’échelle de la marque. Signalez les modèles que vous observez dans le texte ; n’expliquez pas pourquoi ils existent à moins que les critiques elles-mêmes ne le disent sans ambiguïté.

Cette seule instruction élimine une énorme catégorie d’erreurs confiantes. Sans cela, Claude cherchera toujours à élaborer un récit stratégique parce que c’est ce que fait un bon analyste, et Claude essaie d’être un bon analyste.

Le problème est qu’un bon analyste sait aussi ce qu’il ne sait pas. Ils déclarent : « Nous constatons des plaintes concernant la taille des robes ce trimestre. Cela peut être isolé d’un lancement récent, mais nous aurions besoin de données au niveau du SKU pour le confirmer. » Claude ne dira pas ça à moins que vous le lui disiez.

Ligne 2 : Définir ce que signifie réellement « significatif »

Claude aime le mot significatif. Il l’utilise tout le temps. Et cela ne le définit presque jamais.

Signalez un changement de sentiment comme « significatif » uniquement s’il représente une variation de plus de 15 points de pourcentage du ratio positif/négatif par rapport au trimestre précédent, OU si un thème apparaît dans plus de 20 % des avis dans un département donné. Pour les signaux plus petits, utilisez un langage tel que « légère hausse » ou « augmentation mineure ». N’utilisez pas le mot « notable » ou « important » pour tout ce qui se situe en dessous de ces seuils. Déclarez toujours la valeur numérique réelle du quart de travail avec votre réclamation.

Vous pouvez ajuster les seuils de 15 % et 20 % en fonction de ce qui est logique pour vos données. Il s’agit d’ancrer le langage de Claude à quelque chose de réel.

Sans cela, Claude qualifiera de « significative » à la fois un pic de plaintes de trois avis et une véritable baisse de sentiment de 30 points. Vos parties prenantes commenceront à se déconnecter. Et quand quelque chose de réellement important se produit, ils ne le sauront pas.

Ligne 3 : Forcer un qualificatif de confiance sur chaque insight

Avant chaque insight, incluez une étiquette de confiance entre parenthèses : [Data-Supported], [Possible]ou [Speculative].

Utiliser [Data-Supported] seulement lorsque l’idée découle directement du texte de révision fourni. Utiliser [Possible] lorsque l’insight est une inférence raisonnable à partir du texte. Utiliser [Speculative] lorsque vous faites des hypothèses sur des causes ou un contexte qui ne sont pas présents dans les évaluations elles-mêmes.

Quand j’ai ajouté cette ligne pour la première fois, je m’attendais surtout à [Data-Supported] balises. Ce que j’ai obtenu en réalité, c’est un mélange des trois, ce qui m’a dit exactement à quel point Claude avait comblé les lacunes de mes rapports précédents sans que je m’en rende compte.

Un exemple de ce à quoi ressemble le résultat après l’ajout de cette ligne :

Vos parties prenantes peuvent désormais voir exactement ce qui est solide et ce qui est une supposition. C’est un rapport beaucoup plus honnête.

Ligne 4 : Exiger de Claude qu’il précise les limites de l’analyse

À la fin du rapport, incluez une section intitulée « Ce que ce rapport ne peut pas vous dire ». Énumérez 2 ou 3 éléments qui seraient nécessaires pour tirer des conclusions plus solides, par exemple, la répartition des avis au niveau des SKU, les taux de retour ou les données d’achat répété.

Cette ligne oblige Claude à reconnaître les limites de sa propre analyse. Et cela donne à vos parties prenantes une feuille de route claire sur les questions sur lesquelles enquêter plus en profondeur, ce qui est en fait la chose la plus précieuse qu’un analyste puisse faire.

Voici le résultat :

Comment utiliser Claude pour affiner la compétence

Écrire une compétence une seule fois ne suffit pas. Vous devez le tester et l’améliorer de la même manière que vous itéreriez sur un modèle.

Étape 1 : Exécutez la compétence sur des exemples connus.

Filtrez l’ensemble de données sur une fenêtre temporelle où vous savez déjà ce qui s’est passé. (Un trimestre avec un rappel de produit, une promotion saisonnière, une période avec des taux de retour inhabituellement élevés, etc.) Voyez ce que dit Claude. Utilise-t-il correctement le mot « significatif » ? Énonce-t-il des faits/statistiques là où il le devrait ?

Étape 2 : alimentez Claude avec sa propre sortie et demandez-lui d’effectuer un audit.

Claude est doué pour détecter son propre excès de confiance lorsque vous lui demandez explicitement de le rechercher.

Voici un rapport trimestriel sur le sentiment des clients généré par un analyste IA. Examinez toutes les informations contenues dans ce rapport et signalez celles qui :

– Faire des allégations causales sans preuve directe dans le texte de la revue

– Utiliser des mots comme « important » ou « notable » sans justification

– Attribuer les problèmes de produits individuels aux tendances à l’échelle de la marque

– Supposons que le contexte ne soit pas présent dans l’ensemble de données (calendriers de lancement,

inventaire, historique des achats)

Pour chaque élément signalé, suggérez une version révisée qui est mieux couverte.

Étape 3 : Ajoutez une clause pour chaque échec que vous trouvez.

Chaque fois que Claude produit un rapport avec une idée clairement erronée ou trop confiante, demandez-lui d’ajouter une nouvelle contrainte à votre compétence. Au fil du temps, vos compétences deviennent à peu près un enregistrement de tout ce que Claude se trompe.

Un mot d’avertissement

L’ajout de contraintes à votre compétence peut parfois amener Claude à produire un résultat où chaque phrase se termine par « … bien que des données supplémentaires soient nécessaires pour le confirmer ».

Ce n’est pas utile non plus.

L’objectif est une confiance calibrée où la force du langage de Claude correspond à la force de la preuve. Si vous trouvez que Claude devient trop insipide, vous pouvez ajouter une contrainte de contrepoids :

Ne surqualifiez pas chaque affirmation. Si une tendance apparaît clairement et de manière cohérente dans de nombreux avis, indiquez-la clairement et incluez des références aux données derrière cette tendance. Réservez les qualificatifs pour les réclamations véritablement incertaines ou spéculatives.

Conclusion

Claude est impressionnant dans la production de rapports d’aspect professionnel, ce qui peut parfois poser problème.

Le vernis cache l’excès de confiance. Vos parties prenantes voient un formatage clair et un langage faisant autorité, et elles supposent que les informations sont solides même lorsqu’elles ne le sont pas.

Les quatre lignes que j’ai parcourues ici ne rendent pas Claude moins capable. Ils le rendent plus honnête. Et dans un contexte de reportage, l’honnêteté est plus précieuse qu’impressionnante.

Apprenez-en davantage sur les autres cas d’utilisation pour lesquels Claude est bon ici, notamment la création de tableaux de bord, le débogage et la rédaction de documentation :

→ 3 compétences Claude dont chaque data scientist a besoin en 2026

Merci d’avoir lu

Connectez-vous avec moi sur LinkedIn

Achetez-moi un café pour soutenir mon travail !