Mesurer et tester les performances d'une solution innovante

Deux équipes testent le même robot grimpeur de pente. La première annonce qu'il franchit bien les pentes raides. La seconde annonce qu'il franchit des pentes jusqu'à 22 degrés, avec une réussite de 9 essais sur 10.

Seule la seconde affirmation est réellement exploitable : elle repose sur un indicateur précis et un protocole défini.

Choisir un indicateur de performance pertinent

Un indicateur de performance est une grandeur mesurable, choisie pour représenter fidèlement l'objectif visé par la solution.

Un bon indicateur est directement lié à une exigence du cahier des charges, exprimé avec une unité claire, et suffisamment précis pour distinguer deux versions différentes de la solution.

Objectif du cahier des charges	Indicateur possible
Le robot doit franchir des pentes raides	Angle maximal de pente franchie, en degrés
Le vélo doit offrir une autonomie suffisante	Distance parcourue avec une charge complète, en kilomètres
Le boîtier doit résister aux chocs	Hauteur de chute maximale sans dommage visible, en centimètres

Construire un protocole de test reproductible

Un protocole précise les conditions exactes dans lesquelles la mesure est réalisée, afin que le test puisse être répété à l'identique.

Fixer les conditions d'essai : température, charge transportée, état de charge de la batterie, terrain utilisé.
Définir le nombre de répétitions nécessaires pour limiter l'effet du hasard sur la conclusion.
Préciser l'instant et la méthode de mesure, avant de lancer le premier essai.

Un protocole qui change d'un essai à l'autre invalide toute comparaison ultérieure, car un écart de résultat pourrait provenir des conditions modifiées plutôt que de la solution elle-même.

Traiter des résultats de mesures répétées

Lorsque plusieurs essais sont réalisés, la valeur moyenne donne une estimation plus fiable de la performance réelle qu'un essai isolé.

L'écart entre les essais, appelé dispersion, renseigne sur la stabilité de la solution : une faible dispersion traduit un comportement reproductible, une forte dispersion signale une instabilité à comprendre avant toute conclusion.

Comparer mesure et objectif

La comparaison entre la valeur mesurée et le niveau attendu du cahier des charges se conclut toujours par un écart chiffré, exprimé en valeur absolue ou en pourcentage.

Une conclusion du type cela fonctionne bien, sans chiffre à l'appui, ne permet ni de statuer sur la conformité ni de guider une amélioration.

Exemple de référence

Une équipe teste huit fois l'angle maximal de pente franchie par son robot, dans les mêmes conditions de charge. Les huit mesures s'échelonnent entre 19 et 23 degrés, pour une moyenne de 21 degrés, contre un objectif de 20 degrés fixé au cahier des charges.

Cette série de mesures permet de conclure que l'objectif est globalement atteint, tout en révélant une dispersion à surveiller pour la suite du développement.

L'essentiel

Un indicateur de performance doit être directement lié à une exigence du cahier des charges, avec une unité précise.
Un protocole reproductible fixe les conditions d'essai, le nombre de répétitions et la méthode de mesure avant le premier essai.
La moyenne de plusieurs mesures est plus fiable qu'un essai isolé, la dispersion renseigne sur la stabilité.
Toute conclusion doit s'appuyer sur un écart chiffré entre la mesure et l'objectif attendu.

Pourquoi évaluer une solution innovante ? Du prototype à la décision d'amélioration