Perspectives et limites

Critiques et état des preuves

Scrum est souvent présenté comme le cadre agile le plus répandu, et les critiques les plus vives viennent parfois de ses propres pionniers. Ils décrivent un Scrum qui applique les règles sans leur esprit et sert surtout à presser les développeurs. Cet article examine ces dérives, le marché des certifications et les promesses de productivité, puis fait le point sur ce que la recherche permet d'affirmer et sur le statut des patterns de A Scrum Book.

Quand Scrum sert à presser l'équipe

Ron Jeffries, l'un des créateurs de l'Extreme Programming et signataire du Manifeste agile (2001), a donné un nom à cette situation dans un article publié sur son site en septembre 2016 : « Dark Scrum », le Scrum obscur. Il y écrit que « Scrum can be very unsafe for programmers », c'est-à-dire que Scrum peut être très dangereux pour les programmeurs. Ceux qui détiennent le pouvoir se présentent toutes les deux semaines pour dire à l'équipe ce qu'elle doit construire. Au Daily Scrum, quelqu'un d'extérieur tire les informations des développeurs et leur dit ensuite quoi faire, au lieu de les laisser organiser leur journée autour de leur objectif commun. La Sprint Review commence par le rappel de ce que l'équipe a « promis », alors qu'elle avait seulement répondu qu'elle essaierait.

Jeffries voit la cause dans l'inquiétude des responsables. Quand ils ne voient pas de logiciel qui fonctionne, ils s'inquiètent et poussent plus fort. Le remède qu'il propose est que l'équipe livre à chaque Sprint un incrément réellement terminé et testé, parce que ce qui est visible change la conversation. Il recommande pour cela des pratiques techniques, dont les tests écrits avant le code et l'intégration continue. C'est l'avis d'un praticien expérimenté, sans mesure à l'appui, et il fait reposer sur l'équipe une partie de la solution d'un problème qui vient de sa direction.

D'autres praticiens ont décrit des dérives voisines. Johannes Schartau, Christiaan Verwijs et Barry Overeem appellent « Scrum zombie », dans le Zombie Scrum Survival Guide (2020), ce qui ressemble à Scrum de loin et ne l'est plus du tout quand on s'approche. Parmi les symptômes, ils citent l'absence de produit utilisable en fin de Sprint et des parties prenantes absentes. En 2018, Martin Fowler, autre signataire du Manifeste, parlait de « faux-agile », un agile qui n'en garde que le nom, et jugeait scandaleux que ce qu'il appelait l'« Agile Industrial Complex » impose des méthodes aux équipes. Le premier pattern de A Scrum Book, The Spirit of the Game, part du même constat : on peut suivre les règles et abîmer le jeu (voir L'esprit du jeu).

Un marché de la certification

En 2002, Ken Schwaber fonde avec d'autres la Scrum Alliance, qui crée une série de certifications. La plus connue, Certified ScrumMaster, demande aujourd'hui seize heures de formation, réparties en général sur deux ou trois jours, puis un test en ligne d'une heure : il faut répondre correctement à 37 questions à choix multiples sur 50. La certification se renouvelle tous les deux ans, en justifiant d'heures de formation continue. Schwaber quitte l'organisation fin 2009 et fonde Scrum.org, qui propose une série parallèle de certifications « Professional Scrum ». Jeff Sutherland, l'autre auteur du Guide, a fondé la société de conseil Scrum Inc.

Le Guide Scrum (2020) précise que Scrum est gratuit. Autour de ce texte s'est pourtant développé un commerce de formations et de certificats, dont les principaux acteurs sont ceux qui définissent le cadre. Les formations donnent un vocabulaire commun, mais un certificat obtenu en deux jours atteste qu'une personne connaît les règles, et non qu'elle sait protéger une équipe d'un directeur commercial pressé. Nous ne connaissons pas d'étude indépendante montrant que les équipes accompagnées par des Scrum Masters certifiés obtiennent de meilleurs résultats que les autres.

Deux fois plus de travail en deux fois moins de temps

En 2014, Jeff Sutherland publie avec son fils J. J. Sutherland un livre grand public, Scrum: The Art of Doing Twice the Work in Half the Time, dont le sous-titre promet de faire deux fois plus de travail en deux fois moins de temps. Pris à la lettre, cela revient à multiplier la productivité par quatre, puisque le double du travail serait fait en la moitié du temps.

Les publications antérieures de Sutherland vont plus loin. Dans un article présenté à la conférence Agile 2009 avec Scott Downey et Björn Granvik, « Shock Therapy », il affirme qu'un Scrum correctement mis en place amène les équipes à des performances cinq à dix fois supérieures à celles du développement en cascade. Il y rapporte que six équipes de MySpace et de la société suédoise Jayway, encadrées par un coach qui impose Scrum sans écart, améliorent leur vélocité (la somme des points d'estimation terminés par Sprint) de plus de 240 % en quelques semaines. La même année, un retour d'expérience cosigné par Arline Conan Sutherland, Jeff Sutherland et Christine Hegarty attribue à Scrum une vélocité et une qualité accrues dans des églises américaines, entre 2005 et 2009.

Ces textes sont des retours d'expérience écrits par le fondateur du cadre, sur des équipes qu'il ou ses collègues accompagnaient. Ils n'ont pas de groupe de comparaison, et leur unité de mesure est fixée par les équipes elles-mêmes. Aucune étude indépendante n'a établi, à notre connaissance, un gain de cet ordre. Les écarts de productivité de 2 000 pour 1 entre équipes que reprend A Scrum Book (voir Les développeurs) appellent la même prudence : à les supposer exacts, ils comparent des équipes et des projets très différents et ne disent pas ce qu'apporte Scrum à une équipe donnée.

Ce que la recherche a examiné

La difficulté générale est exposée dans l'article Que valent les preuves ? du corpus Agilité. On ne peut pas tirer au sort des projets pour leur appliquer Scrum ou non, et la revue systématique de Tore Dybå et Torgeir Dingsøyr (2008) jugeait « très faible » le niveau de preuve des études sur les méthodes agiles. Scrum pose en plus deux problèmes particuliers.

Le premier est que le « traitement » change d'une organisation à l'autre. Hron et Obwegeser ont recensé en 2022 les études qui décrivent des modifications de Scrum. Le cadre est adapté dans des contextes très variés, y compris hors du logiciel, et ils classent ces adaptations selon neuf objectifs, comme le travail à distance, et sept manières de modifier la méthode, comme l'ajout de procédures ou d'artefacts. Deux études qui parlent de « Scrum » ne parlent donc pas forcément de la même chose.

Le second est que le cadre se protège de la réfutation. Le Guide de 2020 déclare le cadre immuable et précise que l'on peut en appliquer une partie, mais que le résultat n'est alors pas Scrum. Quand une équipe échoue, il devient facile de dire qu'elle ne faisait pas du « vrai » Scrum, et une affirmation qui explique aussi bien l'échec que le succès ne peut plus être mise à l'épreuve.

Des travaux plus récents cherchent ce qui distingue les équipes Scrum efficaces des autres. Christiaan Verwijs, coauteur du guide sur le Scrum zombie, et Daniel Russo ont publié en 2023 une étude conduite pendant sept ans. Ils ont construit un modèle à partir de treize études de terrain, puis l'ont testé par un questionnaire rempli par environ 5 000 développeurs de quelque 2 000 équipes. Leur modèle fait dépendre l'efficacité d'une équipe Scrum de cinq facteurs : sa réactivité, l'attention portée aux parties prenantes, l'amélioration continue, l'autonomie de l'équipe et le soutien de la direction. Ce résultat rejoint le diagnostic de Jeffries. Il a les limites d'une enquête : les réponses sont déclarées, l'analyse établit des associations et non des causes, et les équipes sont comparées entre elles, pas avec des équipes qui travailleraient autrement.

Les patterns, des hypothèses à mettre à l'épreuve

L'introduction de A Scrum Book explique d'où viennent ses patterns. Les auteurs les tirent de leurs observations sur des équipes Scrum de plusieurs continents et secteurs, dans leurs succès comme dans leurs échecs. Chaque pattern a été relu par une douzaine de praticiens au plus, et des dizaines de candidats ont été écartés parce qu'ils ne dépassaient pas l'anecdote ou manquaient de validation empirique. Le mot « empirique » a ici le sens qu'il a dans Scrum : la solution a été vue fonctionner à plusieurs reprises. Il ne désigne pas une comparaison contrôlée. Les étoiles qui accompagnent chaque pattern expriment la conviction des auteurs, et les solutions qui ont échoué sans que personne ne les écrive n'apparaissent pas dans le recueil, ce qui expose l'ensemble au biais du survivant.

Les auteurs en tirent eux-mêmes la conséquence pratique. Ils conseillent d'introduire un seul pattern à la fois, pour pouvoir juger ensuite sans ambiguïté s'il a fonctionné, et de revenir en arrière s'il n'a rien apporté. Ils demandent que chaque pattern montre, dans la situation de l'équipe, qu'il produit l'effet attendu. Lu de cette façon, un pattern est une hypothèse raisonnable, fondée sur l'expérience d'autres équipes, que l'on teste chez soi.

Ce qui est établi, ce qui relève de l'expérience, ce qui est discuté

Limites et pièges

Le premier piège est de conclure que Scrum ne marche pas. Un niveau de preuve faible signifie que l'effet est mal mesuré, et non qu'il est nul. Les autres manières d'organiser le travail ne sont pas mieux établies, et Scrum rejoint des idées raisonnablement étayées, comme le travail par petits lots.

Le deuxième est l'inverse : attribuer chaque échec à une mauvaise application. L'excuse du « faux Scrum » est parfois juste, mais elle ne dispense pas de se demander si le cadre convient au travail. Une équipe qui traite surtout des demandes urgentes et imprévisibles peut avoir de bonnes raisons de préférer un flux continu à des Sprints.

Le troisième est de faire porter la critique sur l'équipe. Selon Jeffries, le Dark Scrum naît de décisions prises au-dessus d'elle, et l'étude de Verwijs et Russo place le soutien de la direction parmi les facteurs associés à l'efficacité. Le pattern Involve the Managers, présenté dans Protéger le Sprint des interruptions, s'adresse à cette difficulté.