Le découpage décide de tout
Un passage coupé au milieu d'un tableau ne sera jamais retrouvé correctement, quel que soit le modèle utilisé ensuite.
Un système RAG (génération augmentée par la recherche) fonctionne en deux temps : il retrouve d'abord, dans vos documents, les passages les plus pertinents pour la question posée, puis il demande au modèle de rédiger une réponse à partir de ces passages. Si la première étape ramène les mauvais extraits, la seconde ne peut produire qu'une réponse fausse, ou inventée, avec beaucoup d'assurance.
Or cette recherche ne porte pas sur des documents entiers, mais sur des morceaux découpés à l'avance. La façon dont on découpe détermine donc ce qui pourra être retrouvé. Voici les erreurs que nous rencontrons le plus souvent.
Erreur n° 1 : couper à taille fixe
La méthode par défaut de nombreux outils consiste à couper le texte tous les N caractères ou tous les N mots. C'est simple, et c'est presque toujours une mauvaise idée. Le découpage tombe au milieu d'une phrase, d'une liste ou d'une procédure, et sépare une question de sa réponse.
Il vaut mieux suivre la structure du document : les titres, les sections, les paragraphes. Un morceau doit correspondre à une idée complète. Sa taille varie alors, et c'est très bien ainsi.
Erreur n° 2 : massacrer les tableaux
Dans les documents d'entreprise, l'information la plus précieuse se trouve souvent dans les tableaux : grilles tarifaires, caractéristiques produits, barèmes, plannings. Extraits naïvement d'un PDF, ils deviennent une suite de valeurs sans en-têtes, illisible pour un humain comme pour un modèle.
Un tableau doit rester entier, ou être découpé ligne par ligne en répétant les en-têtes de colonnes à chaque ligne. « Produit : paracétamol 500 mg ; conditionnement : boîte de 16 ; stock minimal : 200 boîtes » se retrouve sans difficulté ; une ligne de chiffres orpheline, jamais.
Erreur n° 3 : perdre le contexte
Un paragraphe extrait de la page 47 d'un manuel commence souvent par « Dans ce cas, il faut… ». Isolé, il ne veut plus rien dire : quel cas ? quel document ? quelle version ? Le système le retrouvera mal, et le modèle l'interprétera de travers.
La solution consiste à enrichir chaque morceau avec son contexte avant de l'indexer :
- le titre du document et le chemin des sections (« Manuel qualité › Réception › Non-conformités ») ;
- la date et la version du document ;
- éventuellement, une courte phrase qui résume le sujet du passage.
Ces quelques mots ajoutés améliorent nettement la recherche, et permettent au modèle de citer précisément sa source. Une réponse accompagnée de sa référence se vérifie en un clic ; une réponse sans source se croit ou ne se croit pas.
Erreur n° 4 : des morceaux trop petits ou trop grands
Des morceaux trop petits sont précis mais pauvres : la phrase retrouvée contient le mot-clé, pas l'explication. Des morceaux trop grands sont complets mais dilués : le passage utile est noyé dans trois pages, et la recherche le classe mal.
Il n'existe pas de taille idéale universelle. Une procédure pas à pas, un contrat et une fiche technique ne se découpent pas de la même façon. La bonne taille dépend de vos documents et de vos questions, et elle se mesure. Ce qui nous amène à l'erreur la plus coûteuse.
Erreur n° 5 : ne pas mesurer la recherche
La plupart des équipes évaluent leur système RAG en lisant quelques réponses finales. C'est insuffisant : quand une réponse est fausse, on ne sait pas si la faute vient de la recherche ou de la rédaction.
Nous évaluons les deux étapes séparément. Pour la recherche, un jeu de questions réelles, chacune associée au passage qui contient la bonne réponse. On mesure ensuite combien de fois ce passage figure parmi les premiers résultats. Chaque changement de stratégie de découpage est testé sur ce même jeu, et l'on garde ce qui fonctionne.
Ce jeu de questions se constitue avec les futurs utilisateurs, pas à leur place. Les questions qu'un ingénieur imagine ne ressemblent jamais à celles qu'un agent d'accueil ou un pharmacien pose réellement, avec son vocabulaire et ses raccourcis.
Erreur n° 6 : oublier les documents eux-mêmes
Enfin, aucun découpage ne compense des documents de mauvaise qualité : PDF scannés sans reconnaissance de texte, versions contradictoires du même règlement, procédures obsolètes jamais retirées. Le système retrouvera fidèlement l'ancienne version, et répondra avec la même assurance.
Un projet RAG commence donc souvent par un travail de tri : quels documents font foi, lesquels doivent être retirés, qui est responsable de leur mise à jour. Ce travail paraît éloigné de l'intelligence artificielle ; c'est pourtant lui qui détermine la confiance que les utilisateurs accorderont à l'outil.
Dans un projet RAG, le modèle de langage reçoit toute l'attention. C'est pourtant le découpage, invisible et peu glorieux, qui fait la différence entre un assistant fiable et un générateur d'erreurs bien rédigées.
