Ce que votre agent IA ne voit pas

‍Et si le contexte d'une conversation ne se limitait pas à son historique ?

Par Joanne Breitfelder, Lead Data Scientist chez Ask for the moon.

• ⏱️ Temps de lecture : 8 min
• 🏷️ Common Ground, IA conversationnelle, mémoire

Lorsque nous avons commencé à concevoir la mémoire de nos assistants conversationnels, nous sommes partis d’une hypothèse simple : pour comprendre le prochain message d’un utilisateur, il suffit de redonner au modèle les derniers échanges de la conversation.

Cette approche paraît naturelle. Dans une conversation, le contexte semble être… la conversation.

Mais les assistants ne produisent aujourd’hui plus seulement des messages. Côté interface, ils affichent aussi des images, des sources, des aperçus de fichiers, des tableaux, des éléments textuels, des boutons interactifs, etc. Très naturellement, les utilisateurs commencent alors à s’y référer :

« Peux-tu m’expliquer le deuxième schéma ? »

« Il se passe quoi si je clique sur le bouton ? »

« Dans le document affiché, que montre le graphe ? »

Pour eux, ces éléments font désormais partie de la conversation, et ils partent naturellement du principe que l’IA “voit” les mêmes éléments. Pourtant, dans beaucoup d’architectures classiques, l’IA n’a même pas connaissance de leur existence.

Une première idée serait donc de simplement transmettre au modèle tout ce qui a été affiché. Mais cette solution soulève rapidement d'autres questions :

• Quels objets l'utilisateur a-t-il effectivement vus ?
• Lesquels sont réellement devenus des points de référence ?
• Sous quelle forme doivent-ils être communiqués à l’IA ?

Progressivement, nous avons compris que le problème n'est pas seulement de conserver davantage d'informations dans l'historique de la conversation. Il s'agit surtout de maintenir, au fil des échanges, une représentation cohérente de ce que l'utilisateur peut raisonnablement considérer comme partagé avec l'assistant.

Le common ground comme grille de lecture

Nous nous sommes demandé comment cette question était abordée dans la littérature, aussi bien du côté des systèmes conversationnels que de la linguistique et des sciences cognitives. Un concept est rapidement apparu comme particulièrement pertinent pour notre réflexion : celui de common ground.

Introduit par Robert Stalnaker à la fin des années 1970 puis largement développé par Herbert H. Clark, le common ground désigne l'ensemble des connaissances, croyances et informations que deux interlocuteurs présument mutuellement partagées au cours d’une conversation, et sur lesquelles ils s'appuient pour se comprendre.

L'idée défendue par Clark est que dialoguer ne consiste pas seulement à transmettre des informations, mais aussi à construire et à actualiser en permanence ce terrain commun. Ainsi, au fil de l'échange, certains éléments deviennent des références partagées qui n'ont plus besoin d'être réintroduites ou expliquées : chacun sait de quoi l’autre parle.

Cette accumulation de connaissances communes permet de rendre le langage progressivement plus économique. Ainsi, les descriptions détaillées laissent place à des expressions comme « celui-là », « ici » ou « le précédent », parce qu'une part croissante de l'information est désormais portée par le contexte plutôt que par les mots eux-mêmes. Ce n’est pas un défaut de communication, cette économie fait au contraire partie de ce qui rend les conversations humaines aussi fluides !

Pour que ce mécanisme fonctionne, nous devons vérifier en permanence que nous partageons bien les mêmes références. Nous vérifions donc continuellement le common ground : nous reformulons, demandons des précisions, corrigeons une référence ou confirmons que nous avons bien compris. Nous le faisons sans y penser : ce travail de coordination est spontané chez les humains.

C'est précisément sur ce point que les assistants conversationnels se distinguent encore souvent de leurs utilisateurs. Plutôt que de vérifier que le terrain commun est effectivement partagé, ils ont fréquemment tendance à lever les ambiguïtés de leur propre initiative, sans demander confirmation.

‍

Ce que l’interface ajoute à la conversation

Chez Ask, cette problématique s’est révélée à mesure que notre interface s'est enrichie.

Au départ, notre assistant produisait essentiellement une réponse textuelle. Puis nous avons commencé à afficher, autour de cette réponse, des éléments destinés à la rendre plus utile : un graphique extrait d'un document, une source consultable dans un panneau latéral, un bouton permettant de transmettre la question à ses collègues, etc.

Et l'interface ne présente pas ces éléments comme des composants indépendants. Au contraire, elle les met en scène pour donner naturellement l'impression qu'ils appartiennent à la continuité de la conversation.

De son côté, l’utilisateur n'a aucune raison de se demander si une image provient du modèle, du frontend ou d'un outil externe. Tout ce qui est visible devient spontanément un élément de l'échange avec l'assistant. Dès lors, si l'IA n'est pas informée de ce qui a effectivement été présenté à l'utilisateur, certaines références implicites deviennent tout simplement impossibles à interpréter.

Ce que cela change dans notre architecture

Cette lecture nous a surtout amenés à reformuler le problème. L'objectif n'est plus seulement de transmettre un historique de conversation au modèle, mais de reconstruire, à chaque tour, un état suffisamment proche du terrain commun que l'utilisateur suppose partager avec l'assistant.

Concrètement, cela se retrouve aujourd’hui dans 3 composantes complémentaires de notre architecture.

‍

1. Un historique conversationnel enrichi

L'historique ne se limite plus aux messages échangés. Nous y ajoutons les principaux objets introduits au fil de l'interaction : pièces jointes par l’utilisateur, sources affichées, aperçus de documents, etc.

Notre question n'est plus seulement : « le modèle a-t-il besoin de cette information ? », mais surtout : « cet élément est-il susceptible de devenir une référence partagée dans la conversation ? » Si la réponse est oui, alors il doit pouvoir être représenté dans l'état conversationnel.

2. Un contexte partagé dès le départ

Le common ground ne se construit cependant pas uniquement pendant la conversation. Une partie existe avant même le premier message.

Chez Ask, chaque assistant dispose ainsi d'un prompt système qui décrit son rôle, son environnement et le domaine dans lequel il évolue. Il s'agit des connaissances de base, stables, qui peuvent être présumées partagées dès le début de la conversation. Un assistant déployé chez EDF sait par exemple qu'il intervient dans le contexte des centrales nucléaires, qu'il existe différents “paliers” ou encore que les équipements sont identifiés par des “référentiels fonctionnels”.

Ces éléments ne proviennent pas de l'historique des échanges, mais ils constituent pourtant un terrain commun entre l'utilisateur et l'assistant.  Ils jouent un rôle comparable à nos connaissances culturelles ou professionnelles partagées dans une conversation humaine : ce sont eux qui permettent d'interpréter correctement de nombreuses références implicites sans qu'il soit nécessaire de tout réexpliquer.

3. Une politique de dialogue

Enfin, représenter le common ground ne suffit pas. Comme nous l'avons vu plus haut, une conversation consiste aussi à vérifier et à réparer ce terrain commun lorsqu'il est insuffisant.

Une mémoire conversationnelle doit donc s'accompagner d'une politique de dialogue. L'assistant doit être capable de reconnaître qu'une référence est ambiguë, de demander une clarification, de reformuler ou d'admettre qu'il lui manque une information. Chez Ask, cette philosophie est présente depuis le début dans notre assistant : plutôt que d'inventer une réponse, il est conçu pour pouvoir dire « je ne sais pas » lorsqu'il ne dispose pas des informations nécessaires. Nous avons progressivement étendu cette logique à la gestion du common ground : lorsque l'assistant estime qu'une référence est insuffisamment partagée, il peut désormais demander une précision ou vérifier qu'il a bien compris avant de répondre.

‍

Une conséquence sur l’organisation du produit

Cette évolution a eu une autre conséquence, plus inattendue : la mémoire d'un assistant ne peut plus être conçue uniquement par l'équipe IA.

Si l'objectif est de représenter le common ground, alors chaque équipe qui contribue à façonner l'expérience utilisateur contribue aussi, indirectement, à façonner la mémoire conversationnelle.

Le frontend détermine quels objets sont effectivement affichés, dans quel ordre et dans quels états. Le design influence leur visibilité et leur saillance, c'est-à-dire ce que l'utilisateur retiendra spontanément comme central dans l'échange. Le produit définit les actions possibles et la manière dont elles s'intègrent à la conversation. Les équipes IA doivent ensuite décider de comment représenter ces événements, lesquels conserver et comment les réinjecter dans les tours suivants.

Ainsi, chaque nouvelle fonctionnalité d'interface peut avoir une conséquence conversationnelle. Ajouter une galerie de figures, un panneau de sources, une comparaison de documents ou un système de filtres ne modifie pas uniquement l'expérience visuelle : cela crée potentiellement de nouveaux éléments du common ground, que l'assistant devra être capable de représenter et de mobiliser au moment opportun.

Concevoir la mémoire ne relève donc plus uniquement de l'architecture IA. C'est un sujet qui traverse l'ensemble du produit.

Conclusion

Au fond, cette réflexion dépasse largement la question de la mémoire des assistants IA. Elle interroge ce que signifie réellement « converser » avec un système informatique. Tant que nous considérerons le contexte comme une simple succession de messages, une partie essentielle de l'échange restera invisible pour l'assistant.

Le common ground de Herbert Clark nous a offert une grille de lecture précieuse pour repenser notre architecture. Et cette notion entre en résonance avec de nombreux travaux contemporains : le grounding des systèmes de dialogue, les architectures de mémoire des agents ou encore les recherches en sciences cognitives sur la shared intentionality (voir par exemple Tomasello dans la section “Pour aller plus loin”). Tous explorent, chacun à leur manière, une même intuition : dialoguer ne consiste pas seulement à échanger des informations, mais à construire et entretenir une représentation partagée d'une situation.

Ainsi, derrière des problèmes qui peuvent paraître purement techniques, se cachent en réalité des questions que les sciences cognitives explorent depuis des décennies. L'IA nous oblige à expliciter et formaliser des mécanismes que les humains appliquent sans même s'en rendre compte. Et c'est là que les questions d'architecture logicielle rencontrent celles qui, depuis toujours, cherchent à comprendre le fonctionnement de l'esprit humain.

‍

Pour aller plus loin

Les textes fondateurs

• Robert Stalnaker (1978) – Assertion
  Le texte fondateur qui introduit la notion de common ground.
  https://brill.com/display/book/edcoll/9789004368873/BP000013.xml
• Herbert H. Clark (1996) – Using Language
  L'ouvrage de référence sur le common ground.
  https://www.cambridge.org/core/books/using-language/4E7EBC4EC742C26436F6CF187C43F239

Les travaux récents

• Le common ground : un numéro spécial des Cahiers de Praxématique
  Une excellente introduction en français.
  https://journals.openedition.org/praxematique/9884
• Anikina, Leippert & Ostermann (2025) – Building Common Ground in Dialogue: A Survey
  Un état de l'art reliant common ground et systèmes de dialogue.
  https://aclanthology.org/2025.luhme-1.2/
• Yalcin (2024) – Defining Common Ground
  Une discussion philosophique contemporaine du concept.
  https://link.springer.com/article/10.1007/s10988-024-09415-7
• Michael Tomasello (2022) – Aux origines de la cognition humaine
  Sur les origines de la cognition sociale et de la shared intentionality.
  https://shs.cairn.info/aux-origines-de-la-cognition-humaine--9782348075834?lang=fr
• Park et al. (2023) – Generative Agents
  Sur les architectures d'agents à mémoire.
  https://doi.org/10.1145/3544548.3581318
• Anthropic (2024) – Building Effective Agents
  Un guide pratique de conception d'agents IA.
  https://www.anthropic.com/engineering/building-effective-agents