Comparer deux réponses IA à l’aveugle : juger le texte avant l’étiquette

Définir ce que la comparaison doit permettre de décider

Je préfère une comparaison qui fait apparaître un défaut corrigeable à un duel qui désigne un vainqueur sans expliquer pourquoi. Dans le travail, le sujet est concret : peut-on utiliser cette réponse pour l’action prévue, que faudrait-il reprendre et quel point reste incertain ? La réputation d’un outil ne répond pas à ces questions.

Écrivez une décision limitée : choisir le brouillon à retravailler pour une note interne, examiner deux façons de résumer un document, ou repérer les erreurs que votre consigne laisse passer. Précisez le destinataire et l’usage. Un texte agréable à parcourir peut rester impropre à un envoi si une condition essentielle a disparu.

Cette méthode examine les sorties. Pour les accès, les données, les coûts, les fonctions et la récupération du travail, utilisez plutôt le comparatif de solutions IA. Une bonne réponse isolée ne renseigne pas sur tout ce périmètre.

Écrire les critères avant de découvrir les réponses

Préparez une référence consultable : document source, consigne exacte et éléments attendus. Le corrigé peut admettre plusieurs formulations ; il doit surtout distinguer ce qui doit être conservé, ce qui peut être reformulé et ce que le texte n’a pas le droit d’inventer.

Les travaux de van der Lee et ses coauteurs recommandent de définir les critères évalués plutôt que de laisser la qualité comme un jugement global indistinct. ^[1] Voici ma proposition de lecture pour une note administrative :

Définissez ce que signifie « utilisable » dans ce cas. Est-ce un brouillon à reprendre, un texte prêt à être soumis au responsable, ou un document prêt à envoyer après le contrôle prévu ? Si les lecteurs n’évaluent pas le même état final, leur désaccord peut provenir du brief.

Je déconseille ici la moyenne qui permettrait à la fluidité de rattraper une date inventée. Notez séparément les critères indispensables et les préférences. Si vous choisissez un score, expliquez ses règles avant la lecture et conservez les observations qui le justifient.

Masquer la provenance sans améliorer les textes

La proposition de van Miltenburg et ses coauteurs inclut une présentation où les lecteurs ignorent quel système a produit chaque sortie. ^[2] Concrètement, confiez la préparation à une personne qui conserve la correspondance entre un identifiant neutre et la provenance réelle. Cette correspondance ne sera ouverte qu’après les avis initiaux.

Retirez le nom de l’outil, son logo et les appréciations de la personne qui présente l’essai. Conservez les mots, les réserves, les fautes, les citations et les omissions. Corriger silencieusement une réponse reviendrait à comparer une version améliorée à une version brute.

Si vous harmonisez la police et la largeur des colonnes, notez-le. Si la mise en forme constitue précisément le service à comparer, conservez-la. Masquer une marque ne doit pas supprimer une propriété utile du livrable. La longueur visible n’est pas à égaliser artificiellement : demandez plutôt dès le départ un format comparable.

Pour des sorties réellement obtenues, gardez aussi la consigne, les documents transmis, la date et la configuration connue dans le dossier de préparation. Deux textes produits avec des informations différentes ne permettent pas d’attribuer leur écart au seul outil.

Faire varier l’ordre et recueillir une lecture individuelle

Un ordre de présentation systématiquement identique peut être un facteur de la comparaison ; la littérature sur l’évaluation humaine propose notamment de le varier. ^[1] Dans un petit atelier, je propose que certains lecteurs commencent par A, d’autres par B, avec la même référence. Conservez l’ordre effectivement présenté. Ce choix pratique ne garantit pas la disparition des effets d’ordre.

Chaque lecteur relève d’abord les passages conformes, les écarts et les inconnues, puis choisit une issue provisoire. Il écrit son raisonnement avant la discussion. Il n’a pas besoin de connaître la préférence du dirigeant ou de la personne qui a préparé l’essai.

Une personne seule peut suivre la grille, mais elle connaît parfois déjà l’origine des sorties. Décrivez alors une lecture avec provenance connue, pas un véritable examen à l’aveugle. Relire les mêmes textes dans l’ordre inverse peut aider à reconsidérer son jugement ; cela ne crée pas une seconde observation indépendante.

Réservez du temps à l’accès aux pièces et à la compréhension des critères. Un lecteur qui ne sait pas ce qu’il doit vérifier n’apporte pas un avis plus solide parce que le formulaire contient dix cases.

Exemple fictif : la formule rassurante qui change le statut

Supposons une note logistique inventée : un atelier dispose de douze places, dix inscriptions sont confirmées et deux demandes doivent encore être vérifiées. La consigne est de préparer une information fidèle, sans confirmer une demande à la place de la coordination.

Une première formulation dit : « Les douze places sont désormais attribuées. » Une autre indique : « Dix inscriptions sont confirmées ; deux demandes restent à vérifier. » Ces phrases sont créées pour cet article. Elles ne sont les sorties observées d’aucun modèle.

La première paraît nette, mais elle ajoute une décision absente du dossier. Dans cette tâche, le lecteur ne doit pas simplement la noter un peu moins bien : il doit relever le changement de statut et son effet possible sur la réponse à un demandeur. La seconde conserve ce qui est établi et ce qui reste ouvert.

La fiche de lecture avec dossier corrigé développe cet exercice avec une pièce complète, deux textes, des critères et les avis fictifs de deux lecteurs. Faites la lecture avant d’ouvrir le corrigé. L’intérêt est de pouvoir rattacher chaque conclusion à un passage précis.

Traiter le désaccord sans effacer l’avis initial

Quand les lecteurs divergent, commencez par la phrase concernée. « A est plus professionnelle » est une préférence à expliciter. « A annonce une confirmation qui n’existe pas dans la ligne L2 du dossier » est un écart vérifiable. Les deux observations peuvent coexister ; elles ne portent pas sur le même critère.

Conservez l’avis individuel, la raison initiale, puis la conclusion après discussion. Si un lecteur change d’avis, écrivez quel passage ou quelle clarification l’a conduit à le faire. Ne remplacez pas toutes les fiches par un consensus qui ferait disparaître le problème de départ.

Distinguez trois suites : une erreur de lecture résolue par la pièce ; un critère mal défini à préciser pour tous les cas ; une préférence de formulation qui demeure. Si vous modifiez les critères après avoir vu les réponses, versionnez la règle et reprenez les deux textes. Ne durcissez pas une exigence uniquement pour l’option que vous aimez moins.

Un désaccord non résolu peut justifier une conclusion suspendue. Il ne prouve ni l’incompétence d’un lecteur ni la qualité équivalente des deux textes.

Prévoir toutes les issues, puis limiter la conclusion

Le NIST déconseille d’extrapoler les capacités d’un système à partir d’évaluations étroites, non systématiques ou anecdotiques. ^[3] Votre compte rendu doit donc nommer le cas examiné, les textes et la portée de l’avis, plutôt qu’annoncer « le meilleur modèle ».

Conservez aussi les échecs et les cas qui contredisent votre préférence. Si vous approfondissez, préparez des situations différentes et documentez la manière de les choisir. Ne transformez pas le résultat d’un unique dossier en pourcentage de fiabilité : il n’établit rien sur les demandes encore inconnues.

Pour construire cette démarche avec vos équipes, présentez la tâche et les documents que vous pouvez utiliser. Le travail utile consiste à rendre les critères compréhensibles et les corrections possibles, puis à déterminer ce qu’il faut encore examiner.

Questions fréquentes

Une réponse mieux écrite peut-elle être préférée malgré une erreur ? Seulement si votre décision porte explicitement sur une qualité de style distincte de l’usage du texte. Pour choisir une réponse à utiliser, un écart défini comme bloquant reste bloquant. Vous pouvez apprécier la forme d’un texte et refuser son contenu.

Faut-il utiliser une autre IA pour départager les lecteurs ? Cette méthode repose sur une lecture humaine avec accès aux pièces. Un avis automatique supplémentaire serait un dispositif différent, avec ses propres vérifications ; il ne résout pas à lui seul une référence absente ou un critère ambigu.

Quand révéler la provenance ? Après avoir conservé les avis individuels et la discussion fondée sur les critères. La révélation peut alimenter l’analyse des conditions de production ; elle ne doit pas réécrire rétroactivement ce qui était correct ou erroné dans les textes.

Une égalité signifie-t-elle que les outils se valent ? Non. Elle signifie que ces productions n’ont pas été départagées dans le périmètre décrit. D’autres cas, les conditions d’utilisation et le travail complet peuvent conduire à d’autres décisions.