Comment tester un agent IA avant de signer

Avec trente cas tirés de votre propre historique, dont vous connaissez déjà la bonne réponse, rejoués trois fois chacun. C’est la seule méthode qui vous dise quelque chose sur votre travail plutôt que sur les capacités générales d’un modèle, et elle demande environ une journée de préparation.

L’enjeu justifie la journée. La qualité reste le premier obstacle au déploiement d’un agent, citée par environ un tiers des organisations interrogées, loin devant la latence à 20 %, alors même que 57 % d’entre elles ont déjà des agents en production. Autrement dit, la majorité a déployé, et la majorité n’est pas satisfaite.

Pourquoi une démonstration ne prouve rien

Une démonstration est un cas choisi par celui qui vend, sur des données qu’il connaît, avec un enchaînement qu’il a joué cent fois. Elle établit qu’un scénario est possible, ce qui n’a jamais été la question : la question est de savoir ce qui se passe sur le dossier bancal du mardi après-midi, celui dont les informations sont incomplètes et le client pressé.

Le décalage se retrouve dans les chiffres du secteur, et il est plus grand qu’on ne l’imagine. 89 % des équipes ont mis en place de quoi observer leurs agents en production, mais seules 52,4 % font tourner des évaluations sur un jeu de cas, et 37,3 % en évaluent le comportement en continu. La plupart regardent donc leur agent travailler sans avoir défini ce qu’un bon travail serait.

Les classements publics ne comblent pas ce trou, quoi qu’en disent les plaquettes. Ils saturent, les équipes optimisent dessus, et surtout ils ne contiennent ni vos clients, ni vos règles internes, ni la façon dont vos données sont réellement saisies. Ils servent à éliminer un produit manifestement en retard, jamais à en choisir un.

Les trente cas, et comment on les choisit

Prenez-les dans les six derniers mois, dans vos outils, avec les données telles qu’elles étaient. Un cas fabriqué pour l’occasion est un cas propre, et vos données ne sont pas propres : c’est précisément la raison pour laquelle un agent excellent rend des résultats faux avec assurance sur une fiche qui n’a pas été touchée depuis deux ans.

La répartition compte plus que le nombre. Comptez une moitié de cas ordinaires, ceux qui représentent le gros du volume et sur lesquels le gain se fera ; un quart de cas limites, où la bonne réponse est de demander plutôt que de trancher ; et un quart de cas piégés, où l’information nécessaire est absente ou contradictoire.

C’est le dernier quart qui départage les produits, et c’est celui que personne ne prépare. Un agent qui invente une réponse plausible sur un dossier incomplet est plus dangereux qu’un agent médiocre, parce que rien dans sa réponse ne signale qu’elle est fabriquée. La bonne note, sur ces cas-là, va à celui qui refuse et explique ce qui lui manque.

Écrivez la bonne réponse avant de lancer le premier essai. Cette règle paraît évidente et elle est presque toujours violée : dès qu’on a vu la sortie de l’agent, on ajuste sans s’en rendre compte l’idée qu’on se faisait du résultat attendu, et l’évaluation ne mesure plus rien.

Rejouer trois fois, et ce que mesure l’écart

Posez chaque cas trois fois, dans des sessions distinctes, et comparez les trois sorties. Un agent qui répond trois choses différentes à la même question n’est pas utilisable, même si les trois réponses sont défendables, parce que vous ne pourrez jamais dire à votre équipe ce qu’il fera.

Cette variance est l’indicateur le plus prédictif et le moins regardé. Elle vous dit si le produit a été construit avec des garde-fous ou s’il laisse le modèle improviser, et elle est directement corrélée aux mauvaises surprises du troisième mois. Deux produits qui obtiennent le même taux de bonnes réponses mais des variances opposées ne sont pas comparables.

Notez le chemin autant que le résultat. Un agent qui arrive au bon endroit après onze appels d’outils dont sept inutiles vous coûtera cher, pour la raison mécanique que chaque étape relit tout ce qui précède, et il échouera au premier cas légèrement différent parce qu’il n’avait pas compris la question.

Ce qu’il faut noter, en plus de la bonne réponse

Le comportement en cas de doute. Sur vos cas piégés, l’agent demande-t-il, ou tranche-t-il ? Un refus argumenté vaut mieux qu’une réponse juste par chance, et c’est la seule façon de savoir ce qui arrivera sur un dossier que vous n’aviez pas prévu.

Ce qu’il fait sans autorisation. Vérifiez ce qui part vers l’extérieur pendant l’essai, message par message. Un agent qui envoie un courriel à un candidat parce que la consigne était ambiguë vient de vous montrer où passe sa ligne de validation, et cette ligne devrait être dans le produit et non dans une consigne.

Le coût par tâche finie. Demandez-le, notez-le, comparez-le entre produits sur les mêmes trente cas. C’est la seule unité de comparaison honnête, et beaucoup d’éditeurs ne l’ont jamais calculée pour eux-mêmes.

Le calendrier d’un essai qui vaut quelque chose

Semaine un. Constituez les trente cas et écrivez leurs bonnes réponses, branchez les accès en lecture seule, et ne demandez rien d’autre à l’agent. Cette semaine sert aussi à mesurer le temps qu’il faut à un éditeur pour vous ouvrir un accès, ce qui en dit long sur la suite.

Semaines deux et trois. Usage réel, sur un périmètre volontairement étroit et sur le travail dont vous vérifiez le résultat en dix secondes. Deux personnes suffisent, à condition qu’elles travaillent vraiment avec l’agent plutôt que de l’essayer entre deux réunions.

Choisissez ces deux personnes avec soin, car l’essai les mesure autant qu’il mesure le produit. Le bon binôme associe quelqu’un qui fait le travail tous les jours et quelqu’un de modérément sceptique, plutôt que les deux volontaires les plus enthousiastes : un agent évalué uniquement par des gens qui souhaitent sa réussite sort bien de tous les essais, et mal du sixième mois.

Semaine quatre. Rejouez les trente cas, comparez avec les réponses écrites en semaine un, et regardez ce qui a bougé depuis. Un produit qui apprend de votre contexte doit être meilleur en semaine quatre qu’en semaine un sur les mêmes cas ; s’il est identique, il n’apprend rien de vous.

Ne concluez pas avant la fin de la quatrième semaine. Une délégation met trois à quatre semaines à se stabiliser, et un essai arrêté au bout de cinq jours mesure l’effet de nouveauté, dans un sens ou dans l’autre, sans rien mesurer du produit.

Ce qu’un éditeur devrait accepter sans discuter

Vos trente cas, sans les voir avant l’exécution. Un éditeur qui demande à préparer ses données ou à ajuster ses instructions au vu des cas ne vous vend pas un produit, il vous vend une prestation d’intégration, ce qui est une autre affaire et un autre prix.

Le coût par tâche, communiqué sans détour. Un chiffre et une dispersion, pas un discours sur le prix des modèles.

Une sortie propre à la fin de l’essai, avec vos données récupérables dans un format lisible. C’est le meilleur test de bonne foi qui existe, il ne coûte rien à un éditeur honnête, et il révèle immédiatement les autres.

Ces trois exigences éliminent beaucoup de monde, et c’est leur fonction. Gartner attend plus de 40 % d’abandons de projets d’IA agentique avant fin 2027, et les causes sont connues et évitables : un ROI qu’on n’a pas su mesurer, une gouvernance qu’on n’a pas posée, une intégration qu’on a sous-estimée. Un essai de quatre semaines mené sérieusement traite les trois avant la signature, ce qui reste l’endroit le moins cher pour les traiter.