Agents IA BTP : ce qui les fait échouer n'est pas le modèle
8 135 essais d'agents IA analysés, un résultat clair : ce qui fait échouer un agent, c'est rarement le modèle. C'est l'instruction qu'on lui a donnée. Et dans les PME BTP, personne ne les relit jamais.
Agents IA BTP : ce qui les fait échouer n'est pas le modèle
On a eu cette conversation au moins vingt fois depuis un an.
Un dirigeant de PME BTP m'appelle. Son agent IA "ne marche plus". Il a changé de fournisseur deux fois. Il a essayé trois modèles différents. Chaque fois, ça repart quelques semaines, puis ça plante. Et il conclut : "Ce sont les modèles IA qui sont mauvais."
Spoiler : ce n'est pas le modèle.
Une étude publiée le 14 août 2026 sur arXiv le confirme à grande échelle. Les chercheurs ont analysé 8 135 essais d'agents IA sur plusieurs benchmarks pour répondre à une question simple : pourquoi un agent réussit ou échoue ? (source : Jiang et al., arXiv:2608.14036, 14 août 2026).
Résultat : ce qui fait tenir un agent, ce n'est pas ce qu'il sait. C'est la clarté de ce qu'on lui demande de faire.
Ce que les données disent
65,7 % des succès s'expliquent par l'ancrage procédural : l'agent fonctionne parce que son instruction lui donne un chemin stable à suivre. L'injection explicite de connaissances n'explique que 4,5 % des cas de succès (source : Jiang et al., arXiv:2608.14036, 14 août 2026).
Traduit en clair : donner à votre agent une instruction qui dit "voici ce que tu dois savoir sur le portail ANAH" n'est pas ce qui le rend fiable. Ce qui le rend fiable, c'est une instruction qui dit "voici les étapes à suivre, dans cet ordre, sans te poser de questions".
L'étude mesure aussi ceci : quand le nombre d'instructions disponibles passe de 5 à 100, la précision de récupération chute de 29,6 % à 3,3 % (source : Jiang et al., arXiv:2608.14036, 14 août 2026). Plus vous en mettez, moins il s'en sort. Ce n'est pas l'outil qui est en cause. C'est la façon dont on l'utilise.
Ce que ça dit à un dirigeant BTP
Je ne parle pas aux développeurs. Je parle aux chefs d'entreprise qui ont décidé de déployer des agents pour libérer leurs équipes.
Vous avez deux types de problèmes en ce moment.
Le premier, c'est quand l'agent échoue bruyamment : il produit une erreur, il s'arrête, vous le voyez. C'est facile à détecter. C'est facile à corriger.
Le second est plus sournois. L'agent "fonctionne" techniquement. Mais il vérifie la mauvaise chose. Il suit un portail qui a changé de mise en page il y a six semaines. Il applique des critères réglementaires qui n'ont plus cours depuis la dernière mise à jour de MaPrimeRénov'. Et personne ne s'en aperçoit. Jusqu'au jour où un sous-traitant sans décennale valide démarre un chantier.
Ce second problème n'est pas un problème de modèle. C'est un problème d'instruction mal entretenue.
L'étude identifie trois causes d'échec précises. Hypothèses fragiles : l'agent suppose que rien ne change. Contextes incompatibles : une instruction générique rate les cas particuliers. Adaptation insuffisante : les instructions n'ont pas été mises à jour quand le contexte a changé (source : Jiang et al., arXiv:2608.14036, 14 août 2026).
Ces trois causes, on les voit toutes dans les PME BTP.
La vraie question à se poser cette semaine
Vous avez des agents configurés pour vérifier les attestations de vos sous-traitants. Pour qualifier des DCE. Pour suivre vos dossiers ANAH. Ces agents tournent. Bien.
Mais quand les avez-vous regardés pour la dernière fois ? Pas "est-ce qu'ils produisent un résultat" : ça, vous le voyez. Mais "est-ce que ce qu'ils vérifient correspond encore à ce qui doit être vérifié ?"
net-entreprises.fr évolue. L'ANAH change ses critères. Un nouveau corps de métier s'est ajouté à votre liste de sous-traitants avec des documents que votre ancienne instruction ne couvre pas.
Les instructions données à vos agents lors de leur configuration, il y a six mois ou un an : elles sont peut-être déjà en décalage. Pas parce que le modèle a changé. Parce que le monde a changé, et l'instruction, non.
C'est ça, le travail. Pas changer de modèle. Revisiter les instructions.
Et si vous n'êtes pas sûr par où commencer : listez vos agents. Pour chacun, demandez à la personne de votre équipe qui traite ce sujet si le résultat de l'agent correspond encore à ce qu'elle aurait fait elle-même. La réponse vous dira tout.
Conclusion
8 135 essais. Un résultat clair : ce qui fait tenir un agent, ce sont les procédures qu'on lui donne, pas les connaissances qu'on lui injecte (source : Jiang et al., arXiv:2608.14036, 14 août 2026).
Ce résultat ne concerne pas que les chercheurs. Il concerne les dirigeants de PME BTP qui ont des agents en production et qui se demandent pourquoi ils sont capricieux.
La réponse n'est pas dans le modèle. Elle est dans vos instructions. C'est là que se gagne la fiabilité.
Et si la fiabilité ne se gagne pas là, elle ne se gagne nulle part.
Vos agents IA BTP tournent peut-être déjà. La question est de savoir si leurs instructions tiennent encore la route. C'est ce que nous évaluons et corrigeons avec les PME du bâtiment que nous accompagnons.
Échangez autour de votre problématique métier avec l'équipe de Brijyt.
Rencontrer Brijyt | 02 59 50 30 85