Explorer la viabilité financière de l’IA

Dans ma chronique d’avrilJ’ai parlé du coût réel de l’IA comme d’un défaut potentiellement fatal pour la commercialisation rentable de la technologie à long terme. Il est intéressant de noter qu’au cours des deux mois qui ont suivi, nous avons vu des gros titres remarquables de l’industrie technologique valider potentiellement mon argument à une échelle catastrophique.

On a l’impression que les vents dans l’industrie de l’IA changent de direction si rapidement qu’il est difficile de les suivre. Il y a quelques mois, des entreprises technologiques et même d’autres entreprises ont fait pression pour inciter le personnel à utiliser davantage l’IA, exigeant que les équipes l’intègrent dans les flux de travail, qu’elles aient ou non un besoin clair ou un désir particulier pour le logiciel.

Le recul est de 20 à 20

Comme tous ceux qui y ont réfléchi auraient probablement pu le prédire, lorsque vous lier les moyens de subsistance matériels des gens En ce qui concerne l’utilisation accrue d’un objet, une grande partie de la population l’utilisera en fait davantage. Cela a conduit au « tokenmaxxing », classements d’utilisation des jetons au sein d’entreprises comme Amazonet une IA trimestrielle choquante des chiffres de dépenses symboliques dans des tonnes d’endroits tels que Uber (et d’autres sociétés qui n’ont pas voulu citer de noms). Franchement, je ne comprends pas pourquoi ces entreprises sont surprises par ces résultats, mais cela a néanmoins conduit à une pivoter dans les instructions au personnel les deux parce que ça le coût n’est pas viable depuis longtemps, mais aussi parce que l’utilisation de l’IA n’a pas produit de résultats commerciaux suffisamment spectaculaires.

Il est possible que les dirigeants aient cru qu’une explosion semi-miraculeuse de productivité allait provenir de l’utilisation de l’IA, mais si c’était le cas, ils n’avaient pas vraiment fait leurs devoirs. Nous sommes nombreux sur le terrain ainsi que personnes dans les médias couvrant l’industrie a lancé des avertissements sur la façon dont l’IA est un outil qui peut être utilisé de manière efficace ou inefficace, et s’attendre à des miracles sera toujours décevant.

J’ai déjà utilisé ce genre de métaphore, mais imaginez si ces entreprises étaient actives dans la construction et si les perceuses électriques avaient été nouvellement inventées, rendant possible des améliorations exceptionnelles de la productivité dans le bâtiment. La bonne réaction ne serait pas d’acheter autant de perceuses que possible, au point de raréfier les composants des perceuses et d’en faire augmenter le prix, et de demander au personnel d’utiliser une perceuse pour chaque tâche, en produisant des tableaux d’affichage indiquant qui a utilisé les perceuses pendant le plus de minutes de la journée. Vous auriez des bâtiments avec des motifs de trous en forme de fromage suisse, vous auriez dépensé des sommes exorbitantes en perceuses et en électricité pour les alimenter, et vous auriez à peu près autant à montrer que les entreprises technologiques en ont maintenant avec l’IA.

L’argent n’est pas infini

Quoi qu’il en soit, la réalité a commencé à s’effondrer, et ce fut au moins un retour rapide sur terre. Certaines entreprises achètent encore des foreuses, mais les grands acteurs ont remarqué que le rapport coût-bénéfice n’a pas de sens et s’adaptent. Cependant, comme je expliqué en avrilcela ne va pas être aussi facile qu’ils le pensent. Certaines entreprises commencent à dire à leurs équipes que l’utilisation de l’IA doit être à des fins fructueuses, et pas seulement pour maximiser les jetons, afin de tenter de réduire les coûts tout en continuant à récolter les avantages de la technologie là où elle peut générer de la valeur.

Ce qu’ils ne comprennent pas encore, c’est que budgétiser les jetons et définir clairement quand l’IA va aider à résoudre un problème est une tâche beaucoup plus indéterminée que l’utilisation d’autres types de technologie. Revenons à mon article d’avril et rappelez-vous l’expérience de l’utilisation de l’IA pour l’individu.

« [Y]Vous pouvez apparemment contrôler le nombre de jetons que vous soumettez, et ainsi contrôler vos coûts, mais ce contrôle est limité. Vous pouvez rendre vos invites brèves, limiter les instructions superflues et ainsi réduire vos coûts de saisie. Cependant, lorsque des outils agentiques sont impliqués et que le LLM crée des invites à transmettre à d’autres LLM, vous n’êtes plus responsable de la longueur des invites. Plus important encore, vous n’avez qu’un contrôle très minimal sur le nombre de jetons avec lesquels un modèle répond (par exemple en lui demandant d’être « concis »). Pour l’essentiel, le nombre de jetons de sortie fait partie de cette inconnue non déterministe que j’ai décrite précédemment. Et, vous le remarquerez, un jeton de sortie coûte 5 fois le prix d’un jeton d’entrée.

Pour aller plus loin, chaque fois que vous utilisez l’IA, elle risque de ne pas répondre avec succès à votre question. Le composant de la machine à sous s’ajoute donc au problème. Le technicien ne sait pas A. combien de jetons une invite renverra ou B. combien de fois une invite devra être saisie (potentiellement avec des modifications) pour obtenir une réponse réussie à une question. Pour calculer le coût, nous devons additionner tous les comptes de jetons d’invite d’entrée et tous les comptes de jetons d’invite de sortie (A, qui est inconnu) pour la durée du nombre de tentatives requises (B, qui est également inconnu). A et B varient de manière indéterminée en fonction de l’architecture du modèle, du problème à résoudre, du caractère aléatoire du modèle et d’autres facteurs dont nous ne sommes probablement même pas conscients en coulisses. Ensuite, nous multiplions par le prix par jeton, quel que soit le ou les modèles utilisés, qui, comme je l’ai expliqué en avril, varie également.

Donc, si vous êtes dans le service financier d’une entreprise technologique et que vous devez déterminer le budget en dollars pour les jetons d’IA pour l’année prochaine, je vous souhaite bonne chance. Même en estimant sur la base de l’utilisation passée ou avec des détails très précis sur les objectifs de productivité de l’entreprise, vos chances de budgétiser le montant correct me semblent assez minces. Cependant, vous devez mettre en place une sorte de limite, cela ne peut pas être un scénario de chèque en blanc, vous devrez donc interrompre les gens à un moment donné.

Implications pratiques

Comment cela va-t-il fonctionner concrètement ? S’agit-il d’un « codage manuel » au second semestre, après avoir passé le premier semestre à utiliser intensivement l’IA ? Tous nos e-mails et documents marketing sont-ils rédigés à la main au troisième et au quatrième trimestre ? Sommes-nous en train de fermer nos outils de transcription d’IA et nos logiciels de conversion voix-texte une fois qu’un seuil est atteint ? C’est une question fascinante pour moi, car j’ai personnellement constaté à quel point l’expérience d’écrire du code avec l’IA est différente de celle de le faire sans, et passer d’un processus à l’autre serait incroyablement perturbateur.

Cela soulève également la question de savoir comment la réduction des coûts de l’IA va affecter les entreprises fournissant des solutions basées sur l’IA. En octobre dernier, j’ai discuté comment les hyperscalers (Anthropic, OpenAI, Google, etc.) poussent les startups à implémenter des fonctionnalités basées sur l’IA dans leurs produits, dans le but de générer des bénéfices pour les investisseurs qui ont investi plusieurs milliards de dollars dans cette industrie. À mesure que le coût de fourniture des fonctionnalités d’IA augmente et que les entreprises se tournent de plus en plus vers un modèle de paiement à l’utilisation, ce volant d’inertie va commencer à s’effondrer. Si les entreprises commencent à moins utiliser les outils basés sur l’IA parce que leurs budgets ne peuvent pas faire face à la montée en flèche des coûts, le canal de revenus vers les hyperscalers se tarira. Anthropic et OpenAI prévoient des introductions en bourse cette annéetous deux avec des chemins extrêmement incertains vers la rentabilité et des centaines de milliards de dollars dus aux investisseurs, donc un ralentissement de l’utilisation de l’IA est la dernière chose dont ils ont besoin.

Il convient également de mentionner qu’Apple a annoncé son incursion dans le domaine de l’IA la semaine dernière à la WWDC, et les critiques sont répondre joliment positivement jusqu’à présent. Le nouveau Siri utilisant la technologie de Google Gemini bénéficiera d’une protection substantielle de la vie privée (sur le calcul de l’appareil et du cloud privé et d’un stockage de données minimal) et ne coûtera pas non plus de frais supplémentaires aux utilisateurs. Avec cette disponibilité, et si la qualité est à la hauteur des attentes, l’utilisation régulière par les consommateurs de ChatGPT et Claude peut également être menacée.

Conclusion

Surveillez cet espace, car si les histoires des « entreprises choquées par les factures d’IA » et du « tournage d’OpenAI et d’Anthropic pour les plus grandes introductions en bourse de l’histoire » sont souvent rapportées séparément, il s’agit en réalité du même récit sous des angles différents. Même si les entreprises technologiques ont le sentiment que l’IA leur apporte des avantages et des gains de productivité, elles ne disposent tout simplement pas de budgets illimités pour y consacrer. S’ils ne disposent pas de budgets illimités (et les consommateurs ne le font certainement pasavec les prix des produits de grande consommation qui pèsent sur les budgets et le sentiment économique au plus bas depuis près d’un siècle de suivi), nous devons revenir en arrière et nous demander d’où viendront les milliards et les milliards qu’OpenAI, Anthropic et d’autres s’attendent à générer en revenus. Combinez cela avec le réaction publique contre les centres de données et négatif sentiment à propos de L’IA en généralet les hyperscalers ont un réel problème entre leurs mains.

En savoir plus sur mon travail sur www.stephaniekirmer.com