Mesurer un gain de temps avec l’IA, corrections comprises

Définir ce que l’on appelle gagner du temps

Mon critère est simple : ce qui compte est le travail nécessaire pour obtenir un résultat dont on peut se servir. Si une première version arrive plus vite mais exige une longue reconstruction, le temps de génération raconte une histoire incomplète. Je veux donc mesurer le livrable accepté et les efforts qu’il a demandés.

Trois mesures doivent rester distinctes. Le temps humain mobilisé correspond au travail actif des personnes, éventuellement additionné entre plusieurs intervenants. Le délai écoulé va du début à la disponibilité du résultat. La qualité correspond aux critères que vous avez définis. Une attente automatique peut allonger le délai sans mobiliser une personne ; une vérification parallèle par deux personnes peut consommer davantage de temps humain qu’elle n’ajoute de délai.

Ne promettez pas non plus qu’une minute libérée devient une minute facturée ou une dépense supprimée. Elle peut permettre de traiter une autre tâche, de mieux vérifier ou simplement de réduire une surcharge. La destination du temps disponible est une décision d’organisation distincte du calcul.

Fixer le résultat acceptable avant de commencer

Décrivez une unité de travail : une synthèse, un tableau extrait d’un document, une réponse préparée. Précisez les informations indispensables, les erreurs qui rendent le résultat inutilisable et la personne capable de le contrôler. Appliquez les mêmes exigences aux deux méthodes.

Le NIST recommande de documenter les essais et leurs mesures, et d’évaluer les performances dans des conditions proches de l’usage prévu. ^[1] J’en retiens ici deux exigences pratiques : décrire le contexte et garder les critères. Le tableau de temps que je propose est une méthode originale ; ce n’est pas un outil certifié par le NIST.

Si une sortie reste inutilisable, son temps ne disparaît pas. Conservez l’échec et le travail de reprise. Un bilan qui ne retient que les essais réussis donne une vision partielle de l’effort nécessaire.

Pour approfondir ce point : Déployer l’IA : passer du pilote aux usages.

Mesurer le travail complet, sans compter deux fois les attentes

Je distingue cinq postes : préparer les informations ; produire ou interagir avec l’outil ; vérifier ; corriger ; intégrer dans le support final. Une relance de l’IA appartient au travail si elle mobilise la personne. Une reprise entièrement manuelle après un échec appartient aussi au bilan de cette tentative.

Consignez séparément les attentes et interruptions. Si l’outil répond pendant que vous réalisez une autre tâche, ne transformez pas cette attente en travail actif sur les deux tâches. Si deux personnes contrôlent en parallèle pendant cinq minutes, vous avez mobilisé dix minutes humaines, même si cinq minutes seulement se sont écoulées.

Le démarrage mérite une ligne à part : configuration, préparation des modèles de documents, prise en main. Présentez d’abord le coût réellement observé du premier lot. Vous pouvez ensuite construire un scénario d’usage récurrent, en affichant le volume sur lequel vous répartissez ce coût. Ce volume reste une hypothèse tant qu’il n’est pas réalisé.

Pour approfondir ce point : Vérifier une réponse ChatGPT : méthode et contrôles.

Calculer un écart et expliquer son dénominateur

L’écart est de 40 − 27 = 13 minutes. Le pourcentage de réduction du temps se calcule sur la référence sans IA : 13 / 40 × 100 = 32,5 %. Ce n’est pas un résultat réel et ce n’est pas une hausse de productivité mesurée. Il décrit uniquement le rapport entre les durées fictives de cet exemple.

Ajoutons 120 minutes de mise en place pour ce seul premier essai : l’effort total avec IA devient 147 minutes. Si vous supposez ensuite dix tâches identiques, le coût de démarrage réparti représente 12 minutes par tâche. Le scénario complet devient alors 39 minutes par tâche contre 40, soit 2,5 % de réduction. Le chiffre change parce que le périmètre a changé, pas parce que l’outil a changé.

Présentez ces deux lectures séparément : résultat de la tâche et scénario incluant le démarrage. N’ajoutez pas les 120 minutes au lot puis une deuxième fois sous forme répartie. Si la référence vaut zéro ou n’a pas été mesurée, ne calculez pas un pourcentage à partir d’elle.

Éviter de mesurer seulement l’effet d’apprentissage

Réaliser exactement le même document une seconde fois peut être plus facile parce que vous connaissez déjà son contenu. Pour un essai exploratoire, utilisez plusieurs tâches comparables et variez, lorsque c’est possible, l’ordre avec et sans IA. Décrivez ce qui reste différent. Ces précautions réduisent certaines ambiguïtés ; elles ne transforment pas votre essai en expérimentation scientifique.

L’étude de Brynjolfsson, Li et Raymond sur un assistant de support client rapporte des effets différents selon les travailleurs. ^[2] Elle invite à ne pas attribuer un résultat identique à tous les profils. Elle ne permet pas de prédire les gains de votre tâche ni de choisir un pourcentage à inscrire dans votre présentation.

Conservez les résultats individuels par tâche, les écarts et les erreurs. Une moyenne seule peut cacher un usage qui aide sur les cas simples et gêne sur les cas difficiles. Si vous comparez des volumes, indiquez ce qui a été livré et accepté, pas seulement le nombre de tentatives.

Décider de la suite sur le temps et sur la qualité

Je propose trois sorties : poursuivre sur le périmètre testé, modifier puis réessayer, ou arrêter cet usage. La décision doit expliquer ce qui la motive : effort de correction trop important, résultat intéressant mais instable, qualité acceptable et temps total favorable, par exemple.

Ne faites pas d’un chronométrage un classement des personnes. L’objet de cet essai est une manière de travailler. Expliquez aux participants ce qui est mesuré et l’utilisation prévue des observations. Documentez l’outil, sa version lorsqu’elle est disponible et la date ; une évolution de l’outil ou du travail peut justifier une nouvelle mesure.

La ressource associée permet de consigner chaque tentative, calculer les écarts et formuler une conclusion limitée au périmètre observé. Elle peut aussi servir de base à un atelier pour définir vos critères avant un pilote.

Questions fréquentes

Combien de tâches faut-il tester ? Il n’y a pas de nombre universel proposé ici. Couvrir plusieurs difficultés et conditions est plus informatif qu’accumuler des cas presque identiques. Un petit essai peut orienter une prochaine étape, pas démontrer une performance générale.

Faut-il inclure la formation ? Oui dans le bilan de mise en place, en la distinguant du temps par tâche. Pour un scénario récurrent, affichez le volume de réutilisation supposé et vérifiez sa plausibilité.

Peut-on annoncer une économie annuelle ? Pas à partir du seul chronométrage. Il faudrait encore examiner volumes, coûts, usages réels du temps disponible et maintien de la qualité. Une multiplication théorique n’est pas une économie constatée.