Comment rechercher efficacement avec des agents réglementaires ?

Lors d'un récent webinaire, un analyste a posé une question sur les indices hiérarchiques pour les documents réglementaires, en particulier la structure 'document → article → section.' Ce modèle permet une descente depuis la racine, semblable à la navigation dans une table des matières. Cependant, la discussion a rapidement porté sur les coûts associés à l'indexation, qui implique de parcourir l'ensemble du corpus documentaire. J'ai comparé cette méthode d'indexation à une structure d'arbre B. Après quelques calculs, la comparaison s'est révélée valide. Dans un arbre B, les nœuds sont optimisés pour les blocs de disque afin de minimiser le mouvement de tête. Dans ce contexte, un bloc représente une fenêtre efficace vers un modèle plus petit, tandis que le mouvement de tête fait référence à l'accès à ce modèle. Par exemple, avec six actes s'étendant sur environ 200 pages, la profondeur est de deux, et avec 2 millions de jetons, la profondeur passe à trois. Le navigateur peut lire entre 8 000 et 12 000 jetons au lieu de l'ensemble du corpus. La structure hiérarchique est déjà présente dans les textes juridiques, y compris les chapitres, articles, parties et sections, construite à l'aide d'expressions régulières basées sur la numérotation sans nécessiter de modèle. La tâche du navigateur est de sélectionner l'une des cinquante branches en fonction d'une brève description, s'orientant davantage vers la classification que vers le raisonnement. Une question a été posée dans la salle sur la capacité d'un modèle avec 1,5 à 3 milliards de paramètres à gérer cette tâche. L'intrigue se poursuit alors que nous explorons des méthodes pour obtenir des réponses précises à partir de documents juridiquement significatifs.