Chapitre 6 — Observabilité et traçage de l'IA

Sixième billet de la tournée chapitre par chapitre de LLM Primer V : Construire des applications LLM réelles. Le chapitre qui traite une requête utilisateur comme un arbre causal, non comme une entrée de journal, et montre ce qu'il faut tracer pour que l'arbre reste lisible.

Pourquoi ce chapitre existe

Une seule requête utilisateur dans un système LLM se déploie en arbre : une réécriture de requête, trois appels de récupération sur deux index, un re-classement, un appel au planificateur, quatre invocations d'outils, un résumeur et une génération finale. Réduisez cet arbre à « requête reçue, réponse envoyée » et la vérité disparaît. Quand l'utilisateur se plaint que la réponse était fausse, l'équipe ne peut pas dire si la récupération a manqué le bon segment, si le planificateur a choisi le mauvais outil, si l'outil a renvoyé la mauvaise donnée, ou si le générateur a ignoré ce qu'on lui a donné. Le Chapitre 6 reconstruit l'observabilité pour cette forme. Le traçage distribué classique est le substrat ; les conventions sémantiques GenAI d'OpenTelemetry sont l'extension qui fait des appels de modèle des citoyens de premier plan ; les métriques propres au LLM — TTFT, TPOT, coût par appel, scores de juge — sont ce qui transforme une trace en objet exploitable par l'équipe.

6.1 Des journaux de requêtes aux traces causales

Le passage se fait des journaux de requêtes plats aux spans imbriqués. OpenTelemetry avec les conventions sémantiques GenAI fournit des formes de span portables et neutres vis-à-vis du fournisseur pour les appels LLM, les embeddings, les récupérations et les invocations d'outils. La boucle d'agent devient un span racine ; chaque itération devient un span enfant ; chaque appel LLM, chaque appel d'outil, chaque récupération s'imbrique en dessous. Les sessions multi-tours deviennent des arbres d'arbres, avec des liens de span qui modélisent l'état partagé entre tours — le résumé du tour trois sur lequel le tour sept s'appuie encore. La valeur apparaît dès le premier débogage : « quel segment le récupérateur a-t-il fait remonter pour cette requête, et le générateur l'a-t-il réellement cité », question à laquelle les journaux plats ne répondent pas sans fouille archéologique, devient une seule trace à consulter. La forme de span est portable entre fournisseurs parce qu'elle est le standard OpenTelemetry, non un format propriétaire, et passer de LangSmith à Langfuse devient un changement de routage plutôt qu'une réécriture.

6.2 Les métriques qui comptent — TTFT, TPOT, coût, qualité

La latence totale ne suffit pas. Le time-to-first-token domine la vitesse perçue pour les réponses en streaming — l'utilisateur guette le premier caractère, pas le dernier — et le TTFT appartient au span à côté de la latence totale. Le time-per-output-token domine la sensation des longues réponses et est ce que l'utilisateur perçoit quand il dit « c'était lent à terminer ». Le coût appartient au span comme attribut de premier plan, calculé au site de l'appel à partir d'une table de tarifs versionnée pour que la trace historique dise la vérité même après que les prix ont changé. Les signaux de qualité — un pouce baissé de l'utilisateur, un score de juge issu du pipeline d'évaluation, un déclenchement de repli côté enveloppe — s'attachent à la trace comme attributs, ce qui permet à l'équipe de corréler une mauvaise réponse avec l'appel de modèle et la récupération précis qui l'ont produite. Les métriques sont visibles sur les tableaux de bord, mais le gain plus élevé est qu'elles sont interrogeables par trace, si bien qu'une régression peut être filtrée par « coût élevé, score de juge bas » et le chemin fautif remonte immédiatement.

6.3 Plateformes et boucle refermée

Quatre plateformes occupent le paysage actuel. LangSmith est le choix intégré à LangChain, à friction minimale si l'application est déjà en LangChain. Langfuse est l'option open source auto-hébergée qui convient aux déploiements régulés et aux organisations qui ont besoin de garder les traces dans leur périmètre. Arize Phoenix offre une analyse d'embeddings puissante, et c'est le bon outil quand la question diagnostique est « quelles requêtes atterrissent dans la mauvaise région de l'espace vectoriel ». Helicone fonctionne comme un proxy devant l'API du fournisseur, qui est l'intégration la moins invasive mais ne voit que la couche d'appel LLM. Le choix est opérationnel, non qualitatif — la plupart d'entre elles exposent la même forme centrale. Le travail à plus forte valeur est le pipeline d'export : les traces à retour négatif, les scores de juge bas et les déclenchements de repli deviennent des cas candidats d'évaluation, soignés dans le jeu d'évaluation, verrouillés par la prochaine version. Cette boucle est ce qui transforme la production en enseignant pour le développement.

Ce que prépare le Chapitre 6

Les traces sont aussi l'endroit où les incidents de sécurité deviennent visibles. Une injection de prompt réussie ressemble à un appel d'outil inattendu dans l'arbre de trace. Une exfiltration ressemble à un span de récupération dont le segment est ensuite obéi par le modèle comme s'il s'agissait d'une instruction. Un prompt système fuité apparaît comme un span de complétion dont le texte recoupe improbablement le prompt du dessus. Le Chapitre 7 tourne le même substrat de traçage vers la discipline de sécurité — le Top 10 OWASP LLM comme vocabulaire de mi-2025, la taxonomie injection directe / indirecte que ce vocabulaire cherche à nommer, et la matrice de mitigation à quatre couches qui impose que l'autorité corresponde à l'origine de confiance.

Prochaine étape — Chapitre 7 : Sécurité et garde-fous LLM. La posture de sécurité qui répond à la question que la couche de traçage vient de rendre posable — que devait-il se passer, et qui avait le droit de le faire arriver.