Humain dans la boucle : où placer la validation d'une IA

Valider ne veut pas dire tout relire

Ma règle tient en une phrase : l'IA propose, un humain valide. Mais dans un processus, certaines étapes peuvent partir sans personne, d'autres doivent attendre un accord, d'autres encore se contrôlent après coup.

Le bon niveau dépend de deux questions, posées étape par étape : si l'IA se trompe ici, qui le subit, et peut-on réparer ? Et combien de fois par semaine l'étape se produit-elle ?

Où placer la validation

Erreur réparable

Erreur coûteuse ou irréversible

Étape rare

L'IA agit

Un coup d'œil de temps en temps.

Validation avant l'effet

Toujours.

Étape fréquente

L'IA agit

Contrôle par échantillon, suivi des corrections.

Validation avant l'effet

L'IA prépare les éléments et priorise la revue ; la fréquence ne supprime pas le contrôle.

Dans un organisme de formation, par exemple : une relance standard à un stagiaire, non sensible et réparable : l'IA prépare, un contrôle par échantillon est possible selon le cadre défini. Un message personnalisé ou engageant : l'IA prépare et la personne valide avant l'envoi. Vérifier qu'un dossier de financement est complet, l'IA signale ce qui manque et une personne décide d'envoyer. Décider qu'un apprenant n'a pas atteint un objectif, la décision reste humaine.

Trois façons de placer l'humain

Les trois niveaux de contrôle

Avant l'effet

L'IA prépare, une personne approuve, puis l'action part.

• Pour les étapes à effet externe ou irréversible

Après, sur échantillon

L'IA agit seule, une personne relit une partie des résultats chaque semaine.

• Pour les étapes fréquentes et réversibles

Sur exception

L'IA agit tant que tout est conforme, et s'arrête dès qu'un cas sort du cadre.

• Pour les étapes à faible conséquence, une fois les critères d'exception testés

Le niveau « sur exception » exige que les critères d'exception soient définis et testés, et qu'un échantillon des cas acceptés soit revu pour détecter les erreurs non signalées. Un verdict par exigence, la preuve à côté de la conclusion et une case « à vérifier » aident, mais ne garantissent pas la détection : une citation exacte peut appuyer une conclusion fausse.

C'est l'esprit du produit de vérification face à un référentiel que j'ai construit : l'IA analyse, un programme contrôle que chaque preuve citée figure mot pour mot dans le document. Il est encore en test, sans client.

La validation tampon : un contrôle qui a disparu

Une validation tampon, c'est un clic « approuver » que plus personne ne lit. Un humain figure dans le circuit, une trace existe, mais le contrôle a disparu, et on a en plus l'illusion qu'il existe. Ses causes sont des défauts de conception, pas de la paresse.

Ce qui crée le tampon, et ce qui l'empêche

Ce qui le crée

• 80 éléments à valider par jour, 10 lus (exemple fictif)
• La sortie arrive sans sa source
• Dire oui ne coûte rien, dire non demande trois écrans
• L'IA a raison 95 fois sur 100 (exemple fictif), l'œil s'habitue

Ce qui l'empêche

• L'IA trie : « conforme » d'un côté, « à trancher » de l'autre
• La source à côté de la sortie : valider devient comparer
• Un bouton « corriger » aussi simple que « approuver »
• Des cas de contrôle glissés de temps en temps

L'indicateur clé est le taux de corrections, complété par le taux d'erreurs détectées sur un échantillon de cas acceptés. À zéro pendant des semaines, le premier mérite une vérification, pas une célébration.

L'habitude de l'œil, je l'ai constatée sur des projets réels : quand l'IA a raison presque à chaque fois, la relecture devient un clic. C'est une observation de terrain, pas un chiffre d'étude.

Ce que dit le droit, en bref

Le droit n'impose pas un humain à chaque étape. Il fixe des obligations dans des cas précis, lus à la source :

• AI Act, article 26. Pour les systèmes à haut risque seulement, l'organisation qui les utilise confie le contrôle humain à des personnes compétentes, formées et habilitées (règlement 2024/1689). En formation, l'annexe III vise l'admission, l'évaluation des acquis, l'orientation et la surveillance d'examens. Rédiger des mails ou vérifier la complétude d'un dossier n'y entre pas, à ma lecture. Le règlement 2026/1744 a reporté ces obligations au 2 décembre 2027 ; les dates peuvent encore évoluer.
• RGPD, article 22. L'article 22 encadre les décisions fondées exclusivement sur un traitement automatisé produisant des effets juridiques ou significatifs, avec des exceptions et garanties prévues par le texte (texte). Une validation réelle change la qualification ; une validation tampon risque de ne pas compter. C'est ma lecture, pas un avis juridique.
• CNIL. Les résultats d'une IA générative peuvent être inexacts tout en paraissant plausibles, d'où la recommandation de former les utilisateurs (18 juillet 2024).

Par où commencer lundi ?

Prenez un processus et remplissez une ligne par étape.

Une étape sans nom ni indicateur n'a pas encore de validation, même si un bouton « approuver » existe. Reste ensuite le plus délicat : former la personne qui valide, et lui donner le droit de dire non. Pour choisir le processus de départ, voir comment choisir son premier cas d'usage IA.