Vérification d'un dossier face à un référentiel officiel

01 · Problème

Un dossier promet de couvrir un référentiel. Le couvre-t-il vraiment ?

Une offre qui prépare à une certification, un dossier de conformité, une réponse à un cahier des charges : tous s'engagent sur une liste d'exigences officielles. Vérifier qu'ils les couvrent vraiment demande de relire tout le corpus, exigence par exigence, en confrontant chaque document aux critères d'évaluation.

C'est long, et la tentation est forte de conclure trop vite qu'un mot présent vaut une exigence couverte.

02 · Contexte

Un problème que j'ai géré à grande échelle.

Dans une école en ligne de plus de 50 offres, j'ai vu ce que coûte la vérification manuelle de l'alignement entre ce qu'une offre promet et ce qu'elle contient réellement.

La même question se pose en entreprise, face à une fiche de poste, une grille de compétences ou une norme.

03 · Réflexion

Trois principes avant d'écrire une ligne.

1. Un mot n'est pas une preuve. La moitié du travail consiste à écarter les fausses correspondances.
2. Les manques ont plus de valeur que les réussites. Les exigences non couvertes s'affichent en premier.
3. L'IA analyse, un programme simple vérifie. Chaque preuve citée par l'IA doit exister mot pour mot dans le corpus, sinon elle est rejetée.

04 · Solution

Une matrice de couverture qui cite ses sources.

On donne à l'outil un référentiel et l'ensemble des documents d'un dossier. Pour chaque exigence, il rend un statut (couverte, partielle, non couverte ou exclue avec son motif), les preuves trouvées, citées avec leur document et leur emplacement, ce qui manque, et une action recommandée.

05 · Ce que j'ai construit

Trois étapes séparées.

1. Extraction des documents (Word, PowerPoint, PDF, texte), sans IA : lancée deux fois, elle donne le même résultat. Aucun dossier n'est écarté en silence.
2. Analyse par l'IA, selon un protocole écrit : chaque exigence est confrontée aux critères d'évaluation du référentiel, pas seulement à son libellé.
3. Rendu de la matrice en document Word et en texte. Régénérée depuis les mêmes données, la version texte est identique à l'octet.

Les contrôles

• Chaque preuve citée est vérifiée automatiquement, mot pour mot.
• Les documents d'évaluation ne comptent jamais comme preuve : un questionnaire qui demande « savez-vous faire X » ne prouve pas que X est enseigné.
• Les exigences non couvertes sont revérifiées par une recherche directe dans tout le corpus.
• 13 tests de non-régression rejouent ces contrôles en moins de deux secondes.

06 · Comment

Trois tests avant de croire au résultat.

Un outil de contrôle peut se tromper de deux façons : exiger trop, ou accorder trop. Je l'ai testé trois fois, chaque test visant un défaut précis.

Le deuxième test est le plus parlant. Une recherche naïve par mots trouvait des correspondances sur 5 exigences sur 8. Toutes étaient fausses :

Le test de valeur portait sur un programme court à l'IA générative que j'ai conçu, face au référentiel RS6776 de France Compétences. L'outil a trouvé des manques dans mon propre programme : c'est exactement ce qu'on attend de lui. Et le vérificateur automatique a attrapé une erreur d'analyse avant toute relecture humaine : six preuves citées sans le chemin de leur document.

07 · Limites actuelles

Un prototype éprouvé, pas encore un produit.

• Utilisé en ligne de commande. L'analyse se fait en session avec l'IA, pas encore dans une application.
• Aucun client, aucune vente à ce jour.
• Ces tests montrent que l'outil repère des manques précis et vérifiables. Ils ne prouvent pas que son diagnostic vaut celui d'un certificateur.

08 · Prochaine étape

Le confronter à des dossiers réels.

Mener les premiers échanges avec des structures qui préparent une certification. Une piste est aussi à l'étude : partir d'un référentiel et d'un corpus documentaire pour aider à construire le dossier lui-même. Rien n'est encore construit sur ce point.