S’échapper de la vallée du choix en BI

Introduction

ont été tués parce qu’ils opèrent dans la Valley of Choice en BI.

La Vallée du Choix décrit le rapport parfait entre la complexité d’un problème et l’effort que nous sommes prêts à déployer pour le résoudre.

Par exemple, une question cruciale pour l’entreprise sur la manière dont les revenus sont générés et pourquoi les différentes versions des revenus ont changé au fil du temps peut justifier une exploration manuelle. Cela peut garantir une découverte approfondie facilitée par plusieurs requêtes SQL, l’écriture manuelle des résultats et le traçage via le lignage.

C’est un effort élevé, une haute précision.

En revanche, des questions simples sur des ensembles de données simples telles que « Combien d’inscriptions ai-je reçu hier ? » peut être satisfait par moins d’efforts et des méthodes plus simples telles que Text to SQL de base, comme on le voit dans des outils comme Thoughtspot.

Au centre se trouvent des tableaux de bord. Les tableaux de bord fournissent une solution d’effort modéré à un problème de complexité modérée. Ils sont capables de répondre à plusieurs questions et de faire pivoter les données pour expliquer les anomalies et prévoir les tendances. Ils n’aident pas découvrir des idées, mais je vous aide livrer des idées que vous avez déjà trouvées.

Lorsqu’une question est posée assez fréquemment, elle devient digne d’un tableau de bord et passe immédiatement d’un aperçu délicat, ponctuel et fourni manuellement à quelque chose de plus simple et de plus reproductible.

Agentic Analytics offre une nouvelle façon de découvrir et de diffuser des informations. C’est Text-to-SQL. Grâce à cette nouvelle méthode, des requêtes jusqu’ici moyennement complexes peuvent désormais recevoir une réponse instantanée.

Des outils comme Hex intègrent de la mémoire dans leurs plates-formes, ce qui signifie que même les requêtes complexes, lorsqu’elles sont combinées avec de la mémoire, permettent à Text-to-SQL de résoudre des problèmes complexes.

Cela modifie le rapport nécessaire entre effort et complexité et remodèlera notre façon de concevoir l’analyse. Voyons comment.

Expliquer la vallée du choix en BI

La Vallée du Choix peut être illustrée ci-dessous.

Il décrit un compromis entre vitesse et précision qui est déterminé par la nature de la demande ou de la connaissance. Toutes choses constantes, les questions les plus importantes exigent le plus haut degré de précision, ce qui justifie des méthodes plus longues (effort élevé).

C’est un peu comme dire que vous pouvez acheter un délicieux sandwich chez votre charcutier pour 20 $ ou aller au 11 Madison Park pour 500 $. Deux produits différents, deux options différentes, deux niveaux de prix différents. Les tableaux de bord sont comme un repas dans un restaurant normal. 100 $ par personne, mais ne convient pas si vous êtes célibataire éligible à New York.

Maintenant : imaginez qu’il y a un nouveau restaurant. Le nouveau restaurant est très exclusif. La nourriture est incroyable. tout est bio. Le service excellent. Et de nombreuses célébrités s’y rendent. C’est très souhaitable. Vous pouvez obtenir un délicieux repas de 3 plats pour 40 $. Nous pouvons l’appeler Hugo’s Diner.

En fait, cela fait partie d’une nouvelle tendance. Hugo possède un vaste empire de restauration. Il y a Hugo’s Diner, mais il y a aussi Casa Hugo, Chez Hugo, Hugo’s table, et même Hugo-San. Hugo-San propose le meilleur omakase de la ville pour 39,50 $.

Que fais-tu? Où dînez-vous ? 11 Madison Park n’est soudainement plus aussi occupé. Et c’est ce qui se passe avec la BI.

En termes simples, le coût et la vitesse d’exécution d’une requête via Text-to-SQL new-age sont incroyablement faibles. Cela signifie qu’il n’y a essentiellement aucune raison de faire autre chose, à moins bien sûr que vous y soyez absolument obligé. De toute façon, tu ne bouges certainement pas bas de gamme.

Oui, vous devrez parfois effectuer quelque chose manuellement. Juste pour être sûr. Et de la même manière, rien n’atteint vraiment la nuit des rendez-vous (données ?) comme Dorsia.

The Shifting Valley : la barre pour Analytics vient de se relever

Imaginez que vous n’avez pas besoin de travailler dur pour faire fonctionner la couche sémantique et que Text to SQL peut résoudre, de manière fiable et reproductible, 95 % de vos questions.

Un analyste devient presque comme un super analyste. On ne leur posera que les questions les plus épineuses. Il s’agit probablement de la personne qui a conçu la couche sémantique en premier lieu.

Le prix de la précision est devenu beaucoup plus élevé. Pour faire quelque chose manuellement, il vaut mieux se poser une question extrêmement importante.

Qu’est-ce que cela signifie pour les analystes ? Eh bien, c’est à peu près la même chose que pour les ingénieurs logiciels. Cela signifie désormais que la proportion de personnes en fait être utile est devenu beaucoup plus petit – d’une manière méritocratique, bien sûr.

Un Analyste qui ne peut pas être un architecte sémantique sera inutile dans 12 mois. Ils seront remplacés par des agents d’insights. Et s’ils persistent, alors les CTO font quelque chose de mal et devraient probablement faire appel à des partenaires de service pour les aider à mettre en œuvre leur couche sémantique.

La barre pour travailler dans Analytics est devenue plus haute. Il y a un nouveau concurrent sur le marché et son nom est A. Gent. Tout comme le génie logiciel, les juniors sont exclus et les seniors sont de la partie.

Qu’en est-il des coûts des jetons ?

Le coût des jetons est un point intéressant. Les coûts des jetons ont généralement diminué de 95% depuis les premiers modèles. Le coût de l’inférence continue de baisser et est devrait être réduit encore de 95 % au cours des prochaines années.

Malgré cela, des entreprises comme Uber gère ses factures de crédit. Après tout, les crédits sont amusants. Claude est addictif. Jetonmaxxing est encouragée.

En effet, le prix de modèles de frontière n’a pas chuté de façon spectaculaire. Les coûts de Claude en 2023 étaient d’environ 32 $/million de jetons de production. Maintenant, c’est toujours 25 $.

En fait, l’utilisation des jetons devrait augmenter de façon exponentielle à mesure que les systèmes deviennent plus complexes, il n’est pas clair quand, voire pas du tout, des avantages en découleront. Par exemple, 1 million de jetons de sortie pour Claude équivaut à environ 25 $. Disons que l’exécution de quelques requêtes via un agent représente 1 000 jetons. Cela signifie que le coût d’une requête est de 0,025 sur 2,5 cents.

10 000 personnes en faisant une par jour, 365 jours par an, coûtent 91 000 $. Pas mal.

Si le coût des analystes était, disons, de 10 analystes à 100 000 $ chacun, là encore, le retour sur investissement commence à paraître bon. Cela semble encore mieux si les coûts d’inférence diminuent, ce qui est obligatoire.

Je soupçonne que l’hypothèse (1 000 jetons par « insight ») est trop faible. Cependant, la réduction des coûts d’inférence et les améliorations technologiques continueront inévitablement à les réduire.

Par exemple, supposons qu’il faille au départ beaucoup de temps à un agent pour comprendre que lorsque le marketing dit « montrez-moi les revenus », il s’agit d’un ensemble de requêtes différent de celui lorsque la finance dit « montrez-moi les revenus ».

Une fois que cela est codifié et répété, cela devrait être un minimum de jetons. Cela devrait devenir un tableau de bord, ou une requête persistante, ou peut-être même un compétence de l’agent. Nous n’avons pas besoin d’un million de jetons de sortie lorsque les gens posent les mêmes questions chaque semaine.

Et bien sûr, en général, les gens posent des questions similaires au fil du temps.

je suis donc optimiste sur les coûts des jetons. Bien qu’il existe actuellement un moment inévitablement étrange sur le marché, où le coût de l’inférence est probablement trop élevé, je pense que le coût de l’inférence diminuera. Le nombre de jetons requis pour produire des informations de manière fiable et reproductible diminuera également à mesure que les gens construiront des systèmes plus fiables et reproductibles.

Quels fournisseurs BI gagnent et perdent ?

Il y a quelques facteurs en jeu :

1. Force de l’agent
2. Positionnement sur le marché
3. Taille et domaine

Force de l’agent (Agentic Analytics)

Il va sans dire que la force de l’agent est impérative. Il existe actuellement une poignée d’entreprises disposant de puissants agents d’analyse.

1. Tiret lumineux
2. Omni
3. Hex
4. TexteQL

Ces entreprises réussissent toutes pour des raisons différentes. Lightdash a une intégration étroite avec la couche sémantique dbt. Omni a le sien, étant un ancien Looker, et comprend très bien l’espace. Hex possède une infrastructure d’agents et une mémoire incroyables, tandis que TextQL est simplement l’une de ces choses qu’il faut utiliser pour y croire.

Il convient de noter que les entrepôts de données ont également leurs propres versions. Snowflake Cortex Intelligence et Databricks Genie sont tous deux des produits qui nécessitent de nombreux investissements. Si cela est suffisant, les clients les utiliseront.

Positionnement sur le marché

Tous les fournisseurs de BI ne sont pas vraiment en mesure de se soucier de ces facteurs ou de s’en inquiéter. Par exemple, Tableau continuera à générer des revenus grâce à ses moyens de subsistance via Salesforce. Son succès sera déterminé par la solidité de Salesforce.

Les outils BI autonomes sans avantage sont ici en difficulté. Les Sisense, les Qlik et les Lookers n’ont que très peu de raisons de continuer à être choisis s’ils ne peuvent pas développer une meilleure couche d’analyse agentique – et ils n’ont pas de grand frère dans la salle de conférence pour s’occuper d’eux.

Des entreprises comme Sigma, qui ont toujours été très proches d’entreprises comme Snowflake, leur font désormais directement concurrence. Ils se trouvent donc dans une situation délicate pour déterminer qui peut créer le meilleur analyste de données IA.

Taille et domaine

Certaines entreprises peuvent tout simplement avoir une taille et un patrimoine trop importants pour être entièrement déplacées. Par exemple, Tableau, Sigma et Power BI disposent d’énormes domaines qui ne peuvent pas être supprimés facilement.

Si les tableaux de bord remplissent leur fonction de manière fiable, ils le resteront. N’oubliez pas : des tableaux de bord existent dans la Vallée du Choix. En effet, cliquer sur un tableau de bord connu et fiable permettra toujours nécessite moins d’effort que de formuler une question, de la saisir dans une fenêtre de discussion, d’attendre, de demander que des graphiques soient dessinés, etc.

Cela signifie que les entreprises qui ont mis en place des tableaux de bord les conserveront probablement. Cependant, il faut s’attendre à une forte pression sur les prix à mesure que la BI agentique supplante les modèles de tarification basés sur l’utilisateur.

Conclusion — BI va se consolider dans 3 ans

La conclusion logique est davantage de consolidation.

L’IA signifie que la création de tableaux de bord devient exceptionnellement simple.

Le passage de la BI Valley de l’étrange à l’astucieux signifie que le compromis en termes de coûts entre l’analyse agentique, les tableaux de bord et le travail manuel a radicalement changé.

En pratique, les modèles de consommation basés sur l’usage s’opposent directement aux anciens modèles de tarification basés sur l’utilisateur, sinon sur la structure, du moins sur le coût. Même si les entreprises sont disposées à payer des frais d’utilisation minimes pour un outil de BI agentique comme Hex, elles ne sont certainement pas disposées à payer 5 000 $ pour avoir le privilège de créer des tableaux de bord Tableau.

En savoir plus sur la consolidation ici -> Le dernier voyage de la pile de données moderne

Pendant ce temps, les entreprises seront en concurrence directe avec les entreprises les plus grandes, les mieux capitalisées et les plus axées sur la recherche : les hyperscalers et les fournisseurs d’entrepôts de données. Il n’y a aucune raison de ne pas tirer parti d’outils tels que Snowflake Cortex Intelligence et Databricks Genie s’ils sont suffisamment performants.

Cela signifie que le secteur continuera à se consolider autour des agents BI et Analytics. L’espace deviendra de plus en plus marchandisé à moins que les vendeurs autonomes ne puissent continuer à fabriquer de meilleurs produits plus rapidement que les entrepôts ne peuvent rattraper leur retard.

À Orchestrenous construisons la couche agent pour les ingénieurs. Suivez-nous pour en savoir plus.