Un collaborateur cherche une procédure et obtient une réponse accompagnée des passages qui la justifient. C’est la promesse d’un RAG, ou génération augmentée par la recherche : retrouver des contenus pertinents, puis les fournir à un modèle pour l’aider à répondre. Mais connecter des documents ne garantit ni leur qualité, ni la justesse de chaque réponse.
Commencer par un périmètre documentaire clair
Pour un premier prototype, mieux vaut choisir un ensemble cohérent : une gamme de produits, un processus interne ou une base d’assistance. Chaque document doit avoir un propriétaire, une version identifiable et une règle de mise à jour. Les doublons et les procédures contradictoires compliquent la recherche avant même que le modèle intervienne.
Il faut également prévoir les documents retirés. Une procédure supprimée de sa source ne doit pas rester indéfiniment disponible dans l’index. Le parcours de mise à jour mérite autant d’attention que le premier import.
Rendre les sources consultables
Une réponse utile permet de retrouver le passage d’origine. Le lecteur doit pouvoir vérifier une date, comprendre une exception et distinguer ce qui figure dans les documents de ce qui est une interprétation. Une référence affichée peut malgré tout être incorrecte ou insuffisante : elle doit être testée.
Le comportement en cas d’information absente est tout aussi important. Nous conseillons de définir une réponse explicite : indiquer que le corpus ne permet pas de conclure, puis proposer le bon interlocuteur ou une recherche complémentaire. Cela évite d’encourager une réponse coûte que coûte.
Respecter les droits dès la recherche
Le système doit retrouver uniquement les informations accessibles à la personne qui pose la question. Masquer un lien après avoir fourni un document confidentiel au modèle arrive trop tard. Le contrôle doit être prévu dans le parcours de recherche et dans les accès aux sources. La documentation Supabase présente un exemple de RAG avec des permissions sur les données.
Pour le cadrage, établissez une matrice simple : quels profils peuvent consulter quelles collections ? Ajoutez des tests où deux utilisateurs posent la même question avec des droits différents. La réponse attendue peut légitimement changer.
Évaluer la recherche et la réponse séparément
Si le bon passage n’est jamais retrouvé, modifier la rédaction de la consigne ne résout pas la cause principale. Si le passage est présent mais mal interprété, le problème se situe ailleurs. Le guide d’évaluation de LangChain distingue notamment la qualité de la recherche, la pertinence et l’ancrage de la réponse dans les sources.
Constituez un petit jeu de questions avec les équipes : demandes courantes, formulations imprécises, exceptions et questions sans réponse disponible. Pour chacune, conservez les éléments attendus et les sources de référence. Ce jeu sert à comparer les versions du prototype au lieu de se fier à une impression de fluidité.
Premier pas : réunissez un corpus limité et une vingtaine de questions représentatives. Ce nombre est un point de départ pour l’atelier, pas une validation suffisante pour la production. La fiabilité se construit ensuite avec les usages et les tests.
Voir un cas concret : Écho, notre assistant documentaire, présente une démonstration et un comparatif de modèles sur les mêmes questions.