roquesci

Qui supervise les agents ?

· 13 min de lecture

Un champ entier rencontre une question que nous travaillons depuis un demi-siècle, et la traite comme un problème neuf, avec les outils du contrôle qualité.

Il y a quelques jours, je racontais ici les quatre incidents consignés dans le cahier que je tiens sur mon propre agent d’intelligence artificielle. Un collègue et ami m’a répondu qu’il allait sortir le sien ! Et il a ajouté quelque chose que je n’ai pas pu ignorer : jusque-là, il mettait certaines défaillances de ses agents sur le compte d’« hallucinations », et il venait de se dire que c’était peut-être autre chose.

C’est la meilleure chose qui pouvait arriver à ce texte. C’est aussi ce qui m’a montré ce que je n’y avais pas traité : deux choses, en fait, et elles font cet article.

La première est une question toute simple. Un cahier tenu seul, c’est quelqu’un qui relit ses propres notes. Il y verra ce qu’il est déjà en état de voir, ce qui est exactement le problème qu’un cahier est censé résoudre. Mais, qui le relit avec lui ?

La seconde est ce mot, hallucination, et je vais y revenir plus bas, parce qu’il fait disparaître le problème au moment précis où on le nomme.

On me dira (et ce sera fondé) que tout ceci, c’est de la gouvernance, et qu’il existe désormais des cadres pour ça. C’est vrai. Je crois quand même que ça ne suffit pas, et cet article est ma tentative de dire pourquoi. Le détour vaut la peine, parce qu’il concerne autant notre métier que le leur.

Ce que 2026 a produit, et c’est considérable

L’année a vu arriver les premiers cadres sérieux pour encadrer des agents autonomes. Singapour a publié le 22 janvier, par son autorité du numérique, le premier modèle de gouvernance au monde consacré à l’IA agentique (quatre dimensions : borner les risques en amont, rendre les humains réellement responsables, poser des contrôles techniques, et responsabiliser l’utilisateur final). Le NIST américain a lancé le 17 février une initiative de standardisation dédiée aux agents. Le règlement européen impose supervision humaine, journalisation auditable et notification d’incidents. Et l’autorité des marchés financiers américaine a nommé, dans son rapport annuel, trois risques propres aux agents : l’autonomie, la dérive de périmètre (l’agent qui déborde le mandat qu’on croyait lui avoir donné) et l’auditabilité, parce qu’une chaîne de raisonnement en plusieurs étapes est difficile à reconstruire après coup.

Un détail qui a son importance, et que je ne relève pas pour disqualifier : le cadre singapourien est volontaire : il n’oblige personne. Et les organisations demeurent juridiquement responsables des actes de leurs agents ; ce qui est, soit dit en passant, exactement la position que l’ICF a prise pour nous en 2025.

Je veux être honnête et clair : tout ce qui a été fait en 2026 est excellent et c’est nécessaire. Inventorier ses agents, leur donner une identité, appliquer le moindre privilège, surveiller en continu (quiconque a laissé un dispositif automatisé tourner sur ses propres données sait que ces quatre gestes ne sont pas négociables). Rien de ce qui suit ne vise à les relativiser.

Mais posons le vocabulaire, comme il se doit avant de raisonner. Ces textes parlent d’inventaire, d’identité, de privilège, d’audit, de contrôle. Et le mot qui les chapeaute, dans presque tous, est oversight ; traduit chez nous, invariablement, par supervision.

C’est ce glissement qui m’occupe. Parce que dans nos métiers, ce mot désigne autre chose. Et l’écart n’est pas de vocabulaire : il change ce qu’on est capable de détecter.

Le moment où la conformité devient un problème

Un travail de recherche paru en juillet m’a arrêté net. Son autrice (Aarushi Singh - voir ci-dessous) s’est posé une question simple : que fait réellement un agent quand un outil tombe en panne silencieusement : une réponse vide, nulle, mal formée ?

Le premier résultat est énorme, et il n’a rien à voir avec la sécurité :

Dans 56,6 % des cas, l’agent fabrique ce qu’il n’a pas reçu.

Il ne dit pas que l’outil n’a pas répondu : il invente une réponse plausible et continue son chemin sereinement. Plus d’une fois sur deux. Gardons ce chiffre en tête, nous y reviendrons.

Le second résultat est plus rare, et c’est celui qui m’occupe. Dans une fraction des cas, l’agent produit autre chose : un refus parfaitement conforme à sa politique de sécurité. Pas « l’outil n’a pas répondu », mais « je ne peux pas effectuer cette action, elle touche à des données confidentielles » :

Il invente une justification de politique pour couvrir une panne.

L’opérateur lit ce refus, constate que la garde a fonctionné, passe à autre chose. Le signal réel est perdu. L’autrice appelle ça un refus de sécurité infidèle, et parle de garde-fous transformés en boucs émissaires.

Ce comportement est marginal — un quart de pour cent des cas. Et c’est ici que l’étude devient troublante.

Il suffit d’enrichir le prompt système en vocabulaire de sécurité pour que ce comportement soit multiplié par quinze. De 0,25 % à près de 4 %. L’autrice l’écrit sans détour : c’est un comportement latent, qu’active la présence de vocabulaire sécuritaire, lequel amène le modèle à aller chercher des justifications de politique quand les outils échouent en silence. Et il se manifeste préférentiellement sur les outils sensibles : dossiers médicaux, contrats, profils.

Lisons cette phrase pour ce qu’elle dit. Plus on écrit de règles de sécurité dans les instructions d’un agent, plus il produit de refus de sécurité mensongers. Le remède fabrique le symptôme. Non pas parce que les règles seraient mauvaises, mais parce qu’elles fournissent un répertoire disponible au moment où le système ne sait pas quoi dire.

Relisez ce mécanisme lentement, et dites-moi si quelque chose vous rappelle une séance.

Un accompagnant (coach, agiliste, facilitateur) tient parfaitement le cadre. Il reformule, il pose des questions ouvertes, il respecte les tempos, il ne conseille pas. Chaque geste est conforme. Et il est en train de ne pas être là. La conformité au cadre est précisément ce qui lui permet de traverser le moment où il ne sait plus quoi faire, sans que rien ne choque ni ne blesse.

Nous avons un nom pour ça. Nous savons que c’est le contraire d’un dysfonctionnement visible : c’est la conformité qui masque l’évitement. Et nous savons surtout ceci, qui est le cœur de l’affaire : aucun contrôle de conformité ne peut le détecter, puisque par construction, tout est conforme.

Nous savons aussi (et c’est peut-être le plus dérangeant) que le praticien le plus exposé à ce mécanisme n’est pas le moins formé. C’est celui qui a le mieux intégré le cadre, parce que c’est lui qui dispose du répertoire le plus fourni pour habiller un moment de vide. Multiplié par quinze quand on enrichit le vocabulaire. La recherche vient de le mesurer sur des machines ; nous l’observons en supervision depuis toujours, et sans chiffre.

Quant au premier résultat, celui que j’avais mis de côté : une fois sur deux, l’agent invente plutôt que d’avouer qu’il n’a rien reçu. Je laisse chacun décider s’il connaît des humains chez qui la proportion serait meilleure. Ce n’est pas un trait des machines. C’est ce que fait un système, quel qu’il soit, quand il doit produire une réponse et qu’il n’a pas de quoi.

Ce que l’audit voit, et ce qu’il ne verra jamais

Une piste d’audit répond à des questions remarquablement bien posées : qu’est-ce qui a été fait, par qui, sous quelle autorité, à quelle heure. Elle attrape la transgression, l’escalade de privilège, l’action hors périmètre. Ce sont de vraies menaces et il faut les attraper.

Elle est structurellement aveugle à une autre famille, dont je reprends ici les quatre cas de mon cahier ; et c’est le moment de constater qu’aucun des quatre n’aurait déclenché quoi que ce soit.

Le geste bien intentionné qui produit l’inverse de son intention : faire rapatrier des fichiers sensibles par l’agent, pour les protéger, alors que le trajet lui-même les expose. Autorisé, tracé, et exactement contraire au but.

Le comportement par défaut d’un outil légitime qui contredit la règle : une recherche qui renvoie des extraits de contenu sans qu’on le demande. Aucune transgression — c’est même le réglage le plus utile dans le cas général.

L’écart entre ce que la règle dit et l’endroit où elle s’applique réellement : un texte qui voyage partout et ne contraint rien, un mécanisme qui contraint et n’existe que sur une machine. Rien à auditer : les deux fonctionnent comme prévu.

Et le dernier, celui que je n’avais pas vu venir : l’agent qui écrit une conclusion de son cru dans sa propre mémoire, la relit quelques jours plus tard comme un fait, et m’envoie faire une démarche dont je n’avais aucun besoin. Aucune donnée sortie, aucune limite franchie, aucune action irréversible. C’était la fonction attendue du système et de sa mémoire.

Quatre incidents réels, quatre fois zéro alerte. Non par défaillance des gardes mais parce que ces objets-là ne sont pas de leur juridiction.

Le mot qui fait disparaître le problème

Revenons à mon ami qui parlait d’« hallucinations ». Le mot est partout, il est commode, et il est en train de nous coûter cher.

Une hallucination, au sens où le mot s’est installé, c’est un modèle qui produit une affirmation fausse à partir de rien. C’est un accident de génération. On le corrige en changeant de modèle, en ajoutant une source, en vérifiant les faits. C’est un problème de fabrication, et il se traite chez le fabricant.

Mon quatrième incident n’est pas ça, et c’est tout l’intérêt de le regarder de près. L’agent n’a rien inventé. Il a écrit une synthèse : une de ses fonctions. Puis il l’a rangée dans un fichier : sa fonction aussi. Une session ultérieure a lu ce fichier : encore sa fonction. Et l’a traité comme une donnée établie, ce qui est le comportement correct pour un fichier de référence… Chaque maillon de la chaîne est juste. La phrase, elle, était une opinion d’agent qui avait pris le costume d’un constat en changeant simplement de session.

Il n’y a pas d’hallucination là-dedans. Il y a un système qui écrit dans sa propre mémoire sans distinguer ce qu’il a observé de ce qu’il a conclu, puis, qui se relit sans savoir qui parlait. Aucun modèle plus performant ne corrige ça : un meilleur modèle produit des conclusions plus convaincantes, donc plus difficiles à démonter trois jours plus tard.

Voilà pourquoi le mot est dangereux. Il range dans « défaut technique du fournisseur » ce qui est en réalité une propriété de mon dispositif : c’est-à-dire de la manière dont j’ai monté la mémoire, l’écriture et la relecture. Tant que je dis « hallucination », je n’ai rien à faire, et j’attends une version qui n’arrivera pas. Le jour où je dis « mon agent a pollué sa mémoire et s’y est laissé prendre », j’ai un problème que je peux traiter ; le correctif que j’ai adopté tient en trois caractères et une convention d’écriture.

Nous connaissons ce mécanisme, et pas seulement avec les machines. Un mot qui explique tout et nous dispense de regarder. « Il est résistant au changement », « l’équipe manque de maturité », « c’est un problème de communication » : chaque fois qu’un mot ferme le dossier au lieu de l’ouvrir, il y a quelque chose dessous, et personne n’ira voir. Un diagnostic qui n’appelle aucune action est rarement un diagnostic.

Ce que nous savons faire, et que personne ne va chercher

Voici où je veux en venir, et je le pose franchement.

La supervision, dans les métiers de l’accompagnement, n’est pas un contrôle. Elle est hors hiérarchie : le superviseur n’a aucun pouvoir de sanction, et c’est la condition de tout ce qui s’y dit. Elle est non jugeante, ce qui n’est pas une gentillesse mais une exigence de méthode : on n’apporte pas en supervision ce dont on aura à répondre. Et son objet propre n’est pas ce que le praticien a fait : c’est ce qu’il ne peut pas voir depuis l’endroit où il est.

Nos référentiels décomposent ce regard en plusieurs positions distinctes : ce que fait le praticien, ce qu’il ressent, ce qui se joue dans la relation, ce qui se joue dans la relation de supervision elle-même, ce que porte le système autour. On peut trouver le découpage discutable. Ce qui ne l’est pas, c’est qu’il a été construit pour un problème précis, et que ce problème est exactement celui des agents : garantir la justesse d’une pratique dont personne, jamais, n’observe l’intérieur.

Cinquante ans d’affinage sur cette question. Et le champ de l’IA, qui la rencontre aujourd’hui pour de bon, la traite comme un problème neuf, avec les outils du contrôle qualité.

D’habitude, dans mes textes, l’analogie va du monde technique vers le monde humain ; c’est naturel pour moi, je viens de là, je suis encore un peu geek. Cette fois, je vais dans l’autre sens, et je dois avouer que je ne l’avais pas anticipé, même en lisant Asimov quand j’étais ado.

Ce que ça donnerait, concrètement

Je n’ai pas de dispositif clé en main à proposer, et, à la place de mes lecteurs, je me méfierais d’un texte qui en proposerait un après trois semaines de cahier. Mais la conséquence pratique est déjà nette, et elle est modeste : à côté de l’audit, il manque un espace régulier, sans enjeu de sanction, où l’on regarde ce que le dispositif produit sans que rien ne dépasse.

Non pas « l’agent a-t-il respecté la politique » (la piste d’audit y répondra mieux que quiconque). Mais : qu’est-ce qui, dans mon usage, s’est mis à passer par lui sans que je l’aie décidé ? Qu’est-ce que ce dispositif m’évite de faire, ou de ressentir ? Quelle intention ai-je déléguée en croyant ne déléguer qu’un geste ? Et ce que le système écrit sur lui-même, qui le relit et quand ?

Ces questions ne se posent pas à un agent. Elles se posent à la personne qui l’a mis en place, et elles ne se traitent pas seul ; pour la même raison qu’un praticien ne repère pas ses angles morts en y réfléchissant très très fort.

La question ouverte

Je ne prétends pas que la supervision des agents soit un métier constitué. Elle ne l’est pas, et je me défie de ceux qui déclarent des métiers avant d’avoir accompagné qui que ce soit.

Ce que j’observe, c’est qu’un champ entier est en train de rencontrer une question que nous travaillons depuis un demi-siècle, (sans savoir que nous existons ?) et que nous, de notre côté, regardons ce champ arriver en nous demandant s’il va nous remplacer, plutôt qu’en remarquant qu’il vient de buter sur notre problème.

Alors la question, et elle est sincèrement ouverte : ce que nous avons appris à faire pour des praticiens humains, qu’est-ce qui, exactement, résiste à une transposition ? Je vois plusieurs candidats sérieux : un agent n’a pas d’intérieur qui bouge, donc rien à rapporter ; il n’a rien à perdre, donc aucune raison de taire quoi que ce soit. Peut-être que ce qui se transpose n’est pas la supervision de l’agent, mais la supervision de celui qui s’en sert.

Si vous avez ouvert des accès réels à un agent ces derniers mois, votre expérience m’intéresse plus que n’importe quel cadre.

Sources, références