Vérifier un dossier face à un référentiel avec l'IA : méthode et tests

Cette note est le détail de l'étude de cas Vérification d'un dossier face à un référentiel officiel. L'étude de cas dit ce que l'outil fait et ce qu'il apporte ; ici, je raconte comment il a été pensé et construit, et ce que j'en ai appris.

Un dossier promet de couvrir un référentiel. Le couvre-t-il vraiment ?

Une offre qui prépare à une certification, un dossier de conformité, une réponse à un cahier des charges : tous s'engagent sur une liste d'exigences officielles. Vérifier qu'ils les couvrent vraiment demande de relire tout le corpus, exigence par exigence, en confrontant chaque document aux critères d'évaluation.

C'est long, et la tentation est forte de conclure trop vite qu'un mot présent vaut une exigence couverte.

Un problème que j'ai géré à grande échelle.

Dans une école en ligne de plus de 50 offres, j'ai vu ce que coûte la vérification manuelle de l'alignement entre ce qu'une offre promet et ce qu'elle contient réellement.

La même question se pose en entreprise, face à une fiche de poste, une grille de compétences ou une norme.

Trois principes avant d'écrire une ligne.

1. Un mot n'est pas une preuve. La moitié du travail consiste à écarter les fausses correspondances.
2. Les manques ont plus de valeur que les réussites. Les exigences non couvertes s'affichent en premier.
3. L'IA analyse, un programme simple vérifie. Chaque preuve citée par l'IA doit exister mot pour mot dans le corpus, sinon elle est rejetée.

Une matrice de couverture qui cite ses sources.

On donne à l'outil un référentiel et l'ensemble des documents d'un dossier. Pour chaque exigence, il rend un statut (couverte, partielle, non couverte ou exclue avec son motif), les preuves trouvées, citées avec leur document et leur emplacement, ce qui manque, et une action recommandée.

Trois étapes séparées.

1. Extraction des documents (Word, PowerPoint, PDF, texte), sans IA : lancée deux fois, elle donne le même résultat. Aucun dossier n'est écarté en silence.
2. Analyse par l'IA, selon un protocole écrit : chaque exigence est confrontée aux critères d'évaluation du référentiel, pas seulement à son libellé.
3. Rendu de la matrice en document Word et en texte. Régénérée depuis les mêmes données, la version texte est identique à l'octet.

Les contrôles

• Chaque preuve citée est vérifiée automatiquement, mot pour mot.
• Les documents d'évaluation ne comptent jamais comme preuve : un questionnaire qui demande « savez-vous faire X » ne prouve pas que X est enseigné.
• Les exigences non couvertes sont revérifiées par une recherche directe dans tout le corpus.
• 13 tests de non-régression rejouent ces contrôles en moins de deux secondes.

Trois tests avant de croire au résultat.

Un outil de contrôle peut se tromper de deux façons : exiger trop, ou accorder trop. Je l'ai testé trois fois, chaque test visant un défaut précis.

• 5 / 5 : objectifs couverts lors d'un test à blanc : l'outil n'est pas trop sévère
• 0 / 8 : face à un référentiel sans rapport : aucune preuve inventée
• 21 / 21 : preuves retrouvées mot pour mot sur un référentiel officiel

Le deuxième test est le plus parlant. Une recherche naïve par mots trouvait des correspondances sur 5 exigences sur 8. Toutes étaient fausses :

Extrait du test de résistance. « IDE » : 131 occurrences, toutes à l'intérieur du mot « guide ». « Veille » : 11 occurrences, au sens de « la veille au soir ». « Agent » : 97 occurrences, au sens d'agent IA, un terme que le référentiel n'emploie jamais. Aucune n'a produit de preuve.

Le test de valeur portait sur un programme court à l'IA générative que j'ai conçu, face au référentiel RS6776 de France Compétences. L'outil a trouvé des manques dans mon propre programme : c'est exactement ce qu'on attend de lui. Et le vérificateur automatique a attrapé une erreur d'analyse avant toute relecture humaine : six preuves citées sans le chemin de leur document.

Un prototype éprouvé, pas encore un produit.

• Une interface de démonstration existe, en local, pas en ligne. L'analyse elle-même se fait encore en session avec l'IA.
• Aucun client, aucune vente à ce jour.
• Ces tests montrent que l'outil repère des manques précis et vérifiables. Ils ne prouvent pas que son diagnostic vaut celui d'un certificateur.

Le confronter à des dossiers réels.

Mener les premiers échanges avec des structures qui préparent une certification. Une piste est aussi à l'étude : partir d'un référentiel et d'un corpus documentaire pour aider à construire le dossier lui-même. Rien n'est encore construit sur ce point.