Évaluer une solution d'automatisation documentaire par un pilote

Sept semaines, dans un ordre qui compte plus que la durée. La mesure de départ vient en premier : une fois le système du fournisseur en route, plus personne ne mesure l'ancienne façon de faire. Le jeu réservé est annoté avant que le fournisseur ne paramètre quoi que ce soit, pour que la vérité terrain ne puisse pas s'aligner sur sa sortie. Le passage à l'aveugle précède le fonctionnement en parallèle, pour que les chiffres notés viennent de documents que le fournisseur n'a jamais vus. La semaine en parallèle teste ensuite ce qu'un jeu figé ne peut pas tester : le volume réel, les délais, les nouveaux émetteurs et la file de contrôle en charge.

Deux semaines de mesure couvrent le cycle hebdomadaire (le retard du lundi, l'heure limite du vendredi). Si votre volume connaît une pointe de fin de mois ou de saison qui change la nature des documents, incluez-la ou tirez des documents dedans. Un fournisseur capable de montrer plus tôt une preuve de concept qui fonctionne raccourcit les semaines 3 et 4 ; il ne doit raccourcir ni la mesure de départ ni le test à l'aveugle.

Un seul flux, désigné par ce qui entre et par l'endroit où il arrive. « Automatiser nos documents » ne se note pas ; « les bons de commande reçus dans la boîte commandes, saisis en commandes clients dans l'ERP » se note. Écrivez les documents inclus et exclus, le système cible et les champs exacts qui y sont écrits, et marquez les champs critiques. Trois exemples :

Les guides sectoriels détaillent deux de ces flux : l'automatisation de la saisie des commandes et l'automatisation des cotations de transport.

La situation de départ est la référence de tous les chiffres du pilote : elle se mesure donc de la même façon, par document et tout compris. L'erreur classique consiste à ne chronométrer que la saisie. Le temps que coûte vraiment un document comprend aussi sa vérification, la relance pour ce qui manque (un appel au client, un e-mail au transporteur, une question au sous-traitant) et la correction de ce qui a été mal saisi.

Un tableau partagé avec une ligne par document et quatre colonnes de temps suffit. Demandez aux équipes de noter au fil de l'eau, pas en fin de journée, et dites-leur pourquoi : la mesure sert de point de comparaison, pas d'évaluation individuelle. Douze mois de volume tirés du journal du système diront si les deux semaines étaient normales.

Il n'existe pas de taille d'échantillon universelle. Ce qu'un échantillon peut dire dépend de la précision attendue, et deux chiffres le rendent concret. Un taux mesuré sur un échantillon s'accompagne d'un intervalle, qui se resserre lentement quand l'échantillon grandit. Et quand on n'observe aucune erreur critique, on peut seulement dire que le taux réel est inférieur à une borne qui ne dépend que de la taille de l'échantillon : environ 3 divisé par le nombre de documents. Les deux résultats viennent des méthodes classiques pour une proportion décrites dans le manuel NIST/SEMATECH (intervalle de Wilson ; borne binomiale exacte, ici unilatérale).

Lisez-le à l'envers pour dimensionner votre jeu réservé : pour montrer que les erreurs critiques restent sous 1 % alors que vous n'en attendez aucune, il faut environ 300 documents dans le périmètre. Un jeu de 50 documents, fréquent en démonstration, ne peut rien montrer en dessous de 6 % environ.

Comment le tirer

1. Prenez tous les documents reçus sur une période récente et continue, de quatre à huit semaines, et non ceux dont quelqu'un se souvient comme typiques.
2. Attribuez à chacun une strate (tableau ci-dessous) et un émetteur.
3. Tirez au hasard dans chaque strate en conservant les proportions réelles, puis ajoutez des documents des strates rares pour que chacune puisse être présentée à part.
4. Partagez au hasard entre un jeu de mise au point (environ un tiers) sur lequel le fournisseur paramètre, et un jeu réservé (le reste) que vous gardez.
5. Vérifiez que le jeu réservé contient des émetteurs présents dans le jeu de mise au point et d'autres absents : ce second groupe est ce que le système rencontrera en production.

Un taux de précision unique traite un numéro de téléphone faux comme une adresse de livraison fausse. Classez les erreurs par champ et par conséquence, en semaine 0, avant qu'une seule sortie n'existe, pour que la grille ne puisse pas être ajustée au profit d'un fournisseur préféré. L'acheteur la définit ; le fournisseur peut la commenter.

Donnez à chaque champ critique un coût tiré de vos historiques : ce qu'ont coûté en moyenne une relivraison, une rectification en douane, un avoir ou une erreur d'offre. Quand la conséquence ne se chiffre pas (un document de sécurité, une déclaration réglementaire), le champ est à tolérance nulle : il est toujours contrôlé, et la question devient la rapidité du contrôle, pas sa suppression.

Une seule grille, la même pour chaque fournisseur et pour les saisies de votre équipe sur le jeu réservé. Chaque indicateur a sa définition, sa formule et la personne qui le mesure. Publiez les définitions avec les chiffres dans le compte rendu : un taux sans sa définition ne se compare à rien.

La licence est la ligne visible. Le pilote est le moment où les autres deviennent mesurables.

Calculez le même chiffre pour le processus actuel : heures de départ × coût horaire chargé, plus les erreurs échappées de l'équipe × les mêmes coûts d'erreur. C'est le chiffre que le processus automatisé doit battre, avec les mêmes définitions des deux côtés.

Le calculateur de ROI de l'automatisation part de valeurs d'exemple. Après un pilote, chacune a une valeur mesurée pour la remplacer :

Deux limites à garder en tête. Le calculateur ne valorise que des heures : ajoutez à part le coût des erreurs échappées mesuré pendant le pilote, car il peut renverser le résultat, comme le montre le fournisseur A. Et il compte comme entièrement manuel tout document hors de la part sans intervention ; quand le contrôle assisté est bien plus rapide que la saisie, le gain réel est plus grand. Notez l'écart dans le dossier plutôt que de gonfler la part pour l'absorber. Pour le fret en particulier, construire le dossier ROI de l'automatisation des documents de fret détaille davantage les postes de coût.

Un système qui a fonctionné sur le jeu réservé dérive quand les clients changent de format, que les transporteurs ajoutent des champs ou que la liste de prix change. Décidez qui fait quoi avant la mise en production, et inscrivez la part du fournisseur dans le contrat.

Gardez le jeu réservé. Après le lancement, il devient le test de non-régression : tout changement y est repassé et noté avec la même grille avant d'arriver en production.

Réglez la sortie avant l'entrée. Cinq choses sont produites pendant le pilote et l'exploitation, et le contrat doit dire à qui appartient chacune et comment elle sort :

Des documents comme les commandes ou les dossiers de transport contiennent des données personnelles (noms, adresses e-mail, téléphones). Lorsque le RGPD s'applique, le contrat de sous-traitance doit prévoir que le fournisseur, selon votre choix, supprime ces données ou vous les renvoie au terme de la prestation et détruit les copies existantes, et qu'il met à votre disposition les informations nécessaires pour démontrer le respect de ses obligations et permettre des audits (RGPD, article 28, paragraphe 3, points g et h). Dans l'Union, le règlement sur les données (Data Act), applicable depuis le 12 septembre 2025, encadre aussi le changement de fournisseur de services de traitement de données ; savoir si votre contrat en relève est une question pour votre conseil juridique.

La clause de sortie, en pratique

• Un préavis et une période d'assistance pendant laquelle le fournisseur continue de fonctionner le temps de la bascule.
• L'export des données extraites, des journaux et du paramétrage dans des formats ouverts, sur demande et à la fin, avec tout frais annoncé à l'avance.
• La restitution ou la suppression des documents et des données, à votre choix, avec une confirmation écrite.
• Un fonctionnement en parallèle avec le système suivant, sur le jeu réservé et sur le flux réel, avant l'arrêt de l'ancien.

Le lieu de traitement des documents, la détention des clés et le retrait des accès relèvent de la même revue ; Mirage expose ses propres réponses sur sa page sécurité.