Chapitre 16 — Stratégies de réduction des coûts en production

Billet final de la tournée chapitre par chapitre de LLM Primer VI : Mettre à l'échelle les systèmes IA. Le catalogue de mouvements orthogonaux qui composent jusqu'à un tiers ou la moitié de la facture du mois dernier.

Pourquoi ce chapitre existe

Les deux chapitres précédents ont dit à l'équipe où va l'argent et lui ont donné un cadre pour choisir de quel côté de la ligne API/dédié se poser. Ce chapitre est le catalogue de mouvements que l'équipe peut faire une fois ces décisions arrêtées. Les mouvements sont largement indépendants de la posture — ils économisent sur une API, ils économisent sur du matériel dédié, ils économisent dans un arrangement hybride — et ils composent. Les équipes qui les adoptent en séquence trouvent régulièrement leur facture d'inférence, six mois après un effort ciblé de coût, à un tiers ou la moitié de ce qu'elle était. Aucun de ces mouvements n'est exotique ; tous demandent de l'ingénierie délibérée ; le coût de leur construction est faible par rapport à ce qu'ils économisent.

16.1 Le routage intelligent est le levier unique le plus grand

Le trafic de production n'est pas uniformément difficile. La moitié ou plus des requêtes sont assez simples pour un modèle de tier budget un ordre de grandeur moins cher que la frontière ; une plus petite fraction en a réellement besoin. L'équipe qui route tout vers le sommet surpaie les requêtes simples de 10–20×. La bonne architecture est un routeur qui classe chaque requête et l'envoie au tier le moins cher qui peut la traiter. Le gradient de coût au moment de l'écriture est d'environ 30:1 en entrée et 20:1 en sortie entre frontière (15–30 $/M sortie) et budget (0,10–1 $/M). Les options de routeur vont d'une heuristique sur la forme de la requête (longueur, format, marqueurs d'usage d'outils) à un petit classifieur de tier budget qui émet un label de tier, jusqu'à un routeur appris entraîné sur des données historiques de quel-modèle-a-marché. Contraintes de conception : rapide et bon marché (sous 100 ms, dixième de cent), observable (chaque décision loggée avec ses features et son issue), sûr par défaut (en cas d'incertitude, router vers le haut — le coût d'un routage trop haut est un dollar de plus, le coût d'un routage trop bas est une régression de qualité visible).

16.2 Compaction, API batch et cache sémantique achètent chacun une grosse tranche

La compaction du contexte attaque la croissance quadratique de l'entrée nommée au Chapitre 14. La forme la plus simple est une fenêtre glissante : garder les K derniers tours à l'identique, remplacer tout ce qui précède par un résumé de tier budget ; l'appel de résumé coûte une fraction de cent et rétrécit l'entrée à chaque tour ultérieur, de milliers de tokens d'historique littéral à des centaines de tokens de résumé. Un compacteur plus sophistiqué préserve certains types à l'identique (code, sorties d'outils, données fournies par l'utilisateur) et résume le reste. Les API batch asynchrones à moitié prix traitent toute charge sans budget de latence synchrone — résumé nocturne, reclassification, pré-génération pour un test A/B, rafraîchissement d'embeddings — la catégorie est plus large que les équipes ne le reconnaissent d'abord, et l'ingénierie pour déplacer une charge vers le batch est triviale. Le cache sémantique répond avant que le modèle ne soit appelé : embarquer chaque requête, la chercher dans un index vectoriel de paires requête-réponse antérieures, renvoyer la réponse cachée si la similarité franchit un seuil. Deux utilisateurs qui demandent « quelle est la politique de retour ? » et « comment retourner un article ? » atterrissent sur la même entrée. Sur du trafic type FAQ, des taux de succès de 30–50 pour cent sont courants, et le token le moins cher est celui qui n'est jamais généré.

16.3 Les mouvements composent multiplicativement, non additivement

Prenez un agent dont la facture a grimpé à 4 000 $/mois à 1 000 requêtes/jour. Router : 60 pour cent budget, 30 pour cent mid, 10 pour cent frontière → le coût mélangé chute à 28 pour cent du tarif frontière, la facture tombe à 1 100 $. Compacter : gonflement de l'entrée coupé de moitié, la facture tombe à 770 $. Basculer 20 pour cent en batch : 720 $. Cache sémantique à 25 pour cent de succès : 540 $. De 4 000 $ à 540 $ — 86 pour cent de réduction — sans changement visible pour l'utilisateur. Deux mouvements supplémentaires gagnent leur place sans avoir leur propre section. Un audit de prompt — relire chaque prompt avec un œil neuf, supprimer tout ce qui ne peut pas justifier ses tokens — trouve typiquement 10–20 pour cent de dépenses à couper sans changement de comportement. Un plafond explicite max_tokens empêche une réponse de courir jusqu'à 2 000 tokens quand l'application n'en avait besoin que de 300 — presque 7× de surpaiement sur cette requête. Le modèle mental est celui du Livre IV : chaque requête a un coût unitaire, et le travail d'ingénierie est de router chaque requête à travers les couches bon marché d'abord et de n'atteindre la couche coûteuse que si nécessaire.

Ce que clôt le Chapitre 16

Le volume s'est ouvert sur le goulot autoregressif — le fait irréductible que la génération LLM est séquentielle et que le matériel si bon en arithmétique parallèle passe l'essentiel de son temps à attendre la mémoire. Chaque chapitre qui a suivi était une réponse à ce fait central à un niveau différent de la pile. Les chapitres matériels ont construit le substrat physique. Les chapitres modèle ont rétréci le modèle. Les chapitres système ont extrait le maximum de travail utile par cycle. Les chapitres moteur et orchestration l'ont mis en production. Les chapitres économie ont décrit comment l'équipe qui fait tourner le système la paie. Chaque couche est une réponse à la précédente, et la discipline qui consiste à faire tourner des LLM à l'échelle est l'intégration de toutes par les mêmes personnes, ou du moins par des personnes qui peuvent se parler dans le même vocabulaire.

Le livre s'arrête ici. La série se poursuit dans le Volume VII — Sécurité IA, qui étend la discipline d'ingénierie de production de ce volume à la modélisation des menaces, aux garde-fous, au bac à sable du code généré par modèle, à l'atténuation des injections de prompt, au filtrage des sorties et à la régulation qui façonne désormais la manière dont tout cela doit être déployé. L'infrastructure construite au fil de ce volume — la flotte d'inférence, la couche de routage, les bacs à sable, les environnements d'exécution d'agents — est exactement l'infrastructure sur laquelle jouent les préoccupations de sécurité du Volume VII. Mise à l'échelle et sécurité sont les deux faces d'un même problème : l'une est l'ingénierie de la croissance, l'autre l'ingénierie de la résilience aux attaques que cette croissance invite.