BLOG | Indicateurs : les erreurs à ne pas faire sur un projet Agile !

Oui mais voilà, ce qui est pénible avec les indicateurs, c’est qu’il en faut peu pour qu’ils basculent du côté obscur et finissent par nous desservir.
Pire, il nous faut parfois du temps pour nous en rendre compte (si nous nous en rendons compte…).

Vous souhaitez mettre en place des indicateurs ou vous assurer que ceux déjà en place sont bien construits ?
Restez ici, nous allons voir quelques règles à suivre pour nous prémunir de ces effets pervers. Spoiler : parfois ce n’est pas l’indicateur qui est en cause…

Les erreurs (trop) courantes autour des indicateurs

Mais de quels effets pervers parle-t-on ?

De celui qui détourne l’équipe de son principal objectif sur un projet Agile : faire un produit de qualité qui apporte une grande valeur à ses utilisateurs.

De celui qui ôte toute réflexion tant que les chiffres disent que tout va bien.

De celui qui va à l’encontre de l’intelligence collective et encourage l’individualisme et la compétition malsaine.

De celui qui donne un dangereux faux sentiment de sécurité.

Je vous propose une liste non-exhaustive d’erreurs à ne pas faire pour challenger vos pratiques autour de ces indicateurs.

Erreur 1 : Faire d’un indicateur un élément contractuel 

Exemple : la société TurboShop souhaite déléguer le développement de son produit à l’entreprise DevCrafters. Pour s’assurer que l’entreprise DevCrafters effectue un travail de qualité, elle met en place des indicateurs à respecter contractuellement sous peine de pénalités. Elle souhaite notamment la maîtrise du stock d’anomalies sur son produit, et fixe un indicateur sur le nombre d’anomalies en production.

Le besoin est légitime, et il est tentant de vouloir recourir à cette solution pour se protéger et se rassurer sur la qualité de notre produit.

Il y a cependant une chose à avoir en tête : il y a de grandes chances que si vous faites d’un indicateur un élément contractuel, il devienne le principal point d’attention de vos équipes.

Le fait que le nombre d’anomalies soit maintenant un élément contractuel fait que désormais, la priorité première de DevCrafters sera ce nombre d’anomalies. Les objectifs métiers de TurboShop n’arriveront qu’en second.

Pour bien comprendre en quoi ceci est un problème, posons-nous ces questions :

• Sur quoi voulons-nous que se porte le focus de nos équipes ?
• Souhaitons-nous que ces indicateurs deviennent la logique de priorisation, au détriment de réflexions sur la valeur business d’un élément du Backlog ?

Peut-être que cela fonctionne dans un projet en Cycle en V au forfait, où un cahier des charges est fixe et défini en amont. Dans ce cas, le périmètre est non négociable, non évolutif, et cela peut avoir du sens de fixer quelques règles pour s’assurer du résultat obtenu.

Ces indicateurs peuvent aussi être utiles dans une démarche Agile, mais il faut faire attention à ce qu’ils ne deviennent pas un élément contractuel si l’on souhaite profiter des bénéfices d’une construction itérative, être réactif et adaptable aux changements de besoins, faire de l’amélioration continue et de l’innovation… En effet, tout ceci implique une réflexion de priorisation et un droit à l’erreur qui peuvent être bridés par cette contractualisation.

?  Alors comment faire ? Peut-être pouvons-nous trouver la solution dans la 3^ème valeur du manifeste Agile : « La collaboration avec les clients plus que la négociation contractuelle ». 

Une solution possible pourrait être de mettre en place un moyen de travailler conjointement entre TurboShop et DevCrafters (dans notre exemple) afin de revoir ensemble régulièrement les indicateurs et acter ensemble de leur bien-fondé et de leur pertinence à un instant T. Cela permettra d’être aligné sur les vraies priorités du produit et de mettre le focus dessus. D’ailleurs, cela renforcera par la même occasion la 4^ème valeur du manifeste Agile : « L’adaptation au changement plus que le suivi d’un plan ».

Ainsi dans notre exemple, lorsque nous devrons arbitrer entre une nouvelle fonctionnalité et des correctifs d’anomalies mineures, les anomalies ne seront plus obligatoirement la priorité comme cela était imposé contractuellement. Désormais la priorisation se fera en fonction de la réflexion autour de la valeur que chaque élément apporte au produit. A l’instant T, corriger mon stock d’anomalies mineures et réduire ma dette apporte-il plus de valeur que le développement de mon nouveau besoin émergeant ?

Alors, préférez-vous une équipe concentrée sur construire le meilleur produit possible ou une équipe concentrée sur des chiffres pour respecter un contrat ?

Erreur 2 : Placer un objectif sur un indicateur

Pour comprendre cette erreur, regardons la différence entre un objectif et un indicateur. Voici leurs définitions :

• Un objectif est un but ou une finalité que nous nous sommes fixé et qui se doit d’être réalisé.
• Un indicateur est un outil d’évaluation et d’aide à la décision, élaboré à partir d’un élément mesurable ou appréciable permettant de considérer l’évolution d’un processus par rapport à une référence.   

L’ordre de création de ces deux choses pour servir correctement un produit devrait donc être :

1. Définir les objectifs que nous souhaitons atteindre avec notre produit.
2. Définir des indicateurs sur ces objectifs pour nous aider à évaluer si nous progressons dans la bonne direction ou non.

Or, c’est parfois l’inverse qui est fait, à savoir :

1. Se demander quels indicateurs créer pour superviser notre produit.
2. Définir un objectif à atteindre pour chacun de ces indicateurs pour considérer une situation comme acceptable.

Le problème ici est que maintenant l’indicateur devient la cible à atteindre. Il va donc absorber l’attention des équipes aux dépens de l’objectif réel du produit. De plus, cela invite l’observateur à traiter chaque indicateur de manière unitaire (nous devons tous les passer « au vert »). Ainsi, si un indicateur est considéré comme atteint, cela pourrait laisser penser que tout va bien sans se questionner davantage sur la situation. Or, un indicateur isolé donne rarement suffisamment d’informations pour évaluer une situation d’ensemble.

« Lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure » - Loi de Goodhart

À l’inverse, si nous définissons bien en premier l’objectif que nous souhaitons atteindre, puis que nous trouvons dans un second temps les indicateurs pour nous indiquer si nos choix nous rapprochent de notre but, alors nous gardons cet esprit critique sur nos avancées.

Autrement dit, un indicateur doit être au service d’une vision et ne doit pas se substituer à cette dernière.

?  Plutôt que de mettre un objectif de complétion sur un indicateur, il y aurait plus de sens de mettre en place des « seuils d’attention » pour nous alerter quand un état de notre produit peut devenir critique. Cela encouragerait la discussion autour de ces seuils, de l’interprétation de ces chiffres et de la gravité de l’alerte par rapport à notre objectif produit.

Erreur 3 : Utiliser les indicateurs pour évaluer la performance individuelle / comparer la performance entre des équipes

Ici, nous ne parlons pas de l’indicateur en lui-même, mais d’une condition pour que nos indicateurs soient utiles.

Pour cela, il faut que les personnes adhèrent à ces indicateurs, soient transparentes et maintiennent honnêtement nos indicateurs. Il est donc primordial qu’il y ait de la bienveillance autour de ces indicateurs et que notre organisation prône le droit à l’erreur.

« Plus un indicateur social quantitatif est utilisé comme aide à la décision en matière de politique sociale, plus cet indicateur est susceptible d'être manipulé et d'agir comme facteur de distorsion, faussant ainsi les processus sociaux qu'il est censé surveiller » - Loi de Campbell

N’oublions pas que ces indicateurs servent à améliorer notre produit et nos pratiques, pas à mettre en concurrence des équipes ou à trouver des coupables. N’oublions pas non plus qu’un indicateur peut être manipulé et que sa pertinence dépend de ceux qui le maintiennent.

Si les personnes pensent qu’elles peuvent être pénalisées par cet indicateur, alors elles risquent d’activer leur instinct de survie et de chercher le plus court chemin pour avoir des indicateurs « au vert ». Et vous pourriez être surpris de l’ingéniosité maléfique que certains peuvent avoir pour les hacker et masquer la réalité !

« Récompensons les comportements, pas les statistiques »

?  Une idée pour instaurer de la sécurité psychologique dans vos équipes peut être par exemple de prendre du recul par rapport à ce que montrent ces indicateurs. Plutôt que de récompenser ou de pénaliser un individu ou une équipe en fonction de ce que montrent les indicateurs, récompensons plutôt les comportements qui en découlent. Challengent-ils régulièrement leurs indicateurs ? Prennent-ils des actions d’amélioration si des indicateurs leur indiquent qu’ils ne progressent pas vers leurs objectifs ? Sont-ils réactifs lorsqu’un problème survient ? Savent-ils se remettre en question et évoluer pour le bien du produit ? Travaillent-ils en équipe ? Cela aura un bien meilleur impact à long terme pour notre produit.

Ceci fait, communiquer sur la finalité de ces indicateurs et comment nous allons nous en servir est très important pour dissiper les éventuels doutes et mauvaises interprétations.

Et pourquoi pas impliquer les équipes dans la création de ces indicateurs pour montrer concrètement que nous sommes dans le même bateau pour construire le meilleur produit ?

Erreur 4 : Croire aveuglément les indicateurs

La dernière erreur de cette liste de conseils est plutôt un avertissement.

Nous avons vu jusqu’ici plein de raisons qui peuvent fausser nos indicateurs : manipulation des chiffres pour masquer une problématique, désintérêt et désengagement sur le maintien des indicateurs, mauvaise interprétation… Ajouté à cela la possibilité que nos indicateurs soient mal choisis, n’évoluent pas à la même vitesse que nos besoins métier et n’apportent pas une vision 360 d’une situation, et cela peut vite nous induire en erreur sur la réalité de notre produit.

Si nous manquons de vigilance vis-à-vis de ces indicateurs, ils peuvent rapidement se transformer en « indicateurs pastèque », c’est-à-dire des indicateurs qui d’extérieur semblent verts (comme la peau de la pastèque), mais lorsqu’on y regarde de plus près sont rouges à l’intérieur (comme la chair de la pastèque).

Par exemple, mettre en place un indicateur sur la réduction des émissions de gaz carbonique pour évaluer notre performance environnementale est pertinent mais peut être un indicateur pastèque si nous n’identifions pas et ne mesurons pas les autres sources de pollution (émission de méthane, gestion des déchets, gestion des ressources, nouvelle source de pollution…). Notre impact environnemental global peut finalement se dégrader alors que notre indicateur de CO2 est vert et nous montre une amélioration. 

Le risque est donc de se sentir en sécurité parce que nous avons mis en place ces indicateurs, et de finalement tomber dans un biais de confirmation en pensant que tout va bien alors que ce n’est peut-être pas le cas.

?  Il faut donc en permanence garde un esprit critique et prendre du recul sur nos indicateurs, les faire évoluer, en créer de nouveaux si nécessaire et les supprimer si ces derniers deviennent obsolètes afin de ne pas perdre d’énergie à maintenir quelque chose de non-pertinent.

Pour résumer :

Je vous ai présenté ici quelques-unes des erreurs les plus fréquentes que j’ai eues l’occasion de rencontrer. Il en existe d’autres, et personnellement j’aime relire les 12 règles définies par le Management 3.0 lorsque je créé ou challenge des indicateurs pour éviter d’en faire.

Quoi qu’il en soit, une bonne base à garder à l’esprit pour créer de bons indicateurs et les utiliser correctement est :

• Qu’ils doivent servir un des objectifs du produit
• Qu’ils servent de base de dialogue pour nous permettre de nous adapter de la meilleure manière afin de rester ou de revenir sur le bon chemin
• Que les personnes qui travaillent sur le projet adhèrent à ces indicateurs pour qu’ils soient correctement suivis et mesurés

Et vous, avez-vous des indicateurs qui mériteraient d’être retravaillés ?