Grille d’essai documentaire IA : réponse, version et preuve manquante

Ce que vous préparez

Le résultat est un dossier d’essai reproductible : question, corpus et version, réponse attendue, sortie obtenue, preuve consultée et décision. La documentation Microsoft décrit la sélection de contenus et les droits d’accès dans un RAG. ^[1] Cette fiche examine le résultat documentaire ; elle ne vérifie pas toute l’architecture.

Prévoyez un responsable métier capable de déterminer la réponse attendue, ainsi que l’accès aux documents de référence. Si personne ne sait quelle version fait autorité, commencez par résoudre ce problème documentaire avant d’attribuer un échec au modèle.

Mini-corpus fictif à copier dans votre environnement d’essai

Document A — Guide de réservation, version 1, valable jusqu’au 30 septembre 2026. Pour réserver la salle Atlas, transmettre une demande au moins cinq jours ouvrés avant la réunion. Contact : équipe accueil.

Document B — Guide de réservation, version 2, applicable à partir du 1er octobre 2026 ; remplace la version 1. Pour réserver la salle Atlas, transmettre une demande au moins trois jours ouvrés avant la réunion. Contact : équipe accueil. Aucun tarif ni capacité d’accueil n’est précisé.

Document C — Note de travail sans validation ni date d’application. Une capacité de vingt personnes est envisagée pour la salle Atlas. Cette proposition reste à confirmer.

Ces trois documents sont inventés. Ils n’établissent aucune règle réelle de réservation et ne contiennent aucune information client. Gardez leurs titres et statuts visibles pendant l’essai.

Questions et corrigé éditorial à préparer avant l’essai

Pour le dernier cas, préparez une seconde copie de travail : retirez les mentions de version, de période et de remplacement de A et B, sans modifier leurs délais. Conservez cette variante séparément du corpus initial. Le système ne doit pas deviner une priorité documentaire que vous avez retirée.

Vous pouvez ajouter un cas d’accès avec deux profils autorisés pour l’essai et un document fictif réservé à l’un d’eux. Ce contrôle doit porter sur la sélection des informations, pas sur une simple consigne demandant au modèle d’être discret. Faites-le préparer par la personne responsable de la configuration.

Grille vierge : une fiche par cas

Distinguez « source introuvable », « mauvaise version », « conclusion non soutenue » et « réponse correcte mais incomplète ». Ces catégories sont proposées pour localiser la correction. Ne remplacez pas une description d’erreur par une note globale qui ferait disparaître sa gravité.

Exemple fictif rempli : une précision inventée

Cas : tarif de la salle. Corpus : A, B et C, profil d’essai autorisé. Réponse attendue : aucun tarif disponible. Sortie illustrative inventée pour ce corrigé : « La réservation coûte 50 euros. » Passage vérifié : aucun des trois documents ne donne un montant.

Conclusion : réponse non soutenue ; le cas échoue selon le critère fixé avant l’essai. Suite proposée : examiner les informations accessibles et les consignes, puis rejouer le cas après correction. Les 50 euros ne sont ni un tarif réel ni une sortie observée d’un produit.

Décider sans produire un faux taux de fiabilité

Le NIST invite à vérifier les sources et à ne pas extrapoler des évaluations étroites. ^[2] Quatre cas choisis ici ne permettent pas d’annoncer « 100 % fiable ». Ils peuvent révéler une difficulté, préciser un besoin ou justifier un essai plus représentatif.

Conservez les échecs et les conditions de réussite. Une bonne absence de réponse est un résultat acceptable lorsque la preuve manque. Décidez ensuite : poursuivre l’étude, corriger le corpus ou la configuration, limiter l’usage ou arrêter l’essai. L’article RAG, fichiers joints ou recherche web aide à interpréter ce choix.