Probabilités et incertitude

Le biais du survivant

« Il a quitté l'université à vingt ans et il est devenu milliardaire. » L'histoire est vraie pour quelques entrepreneurs célèbres, et elle ne dit rien des milliers d'autres qui ont fait le même choix et dont personne n'écrit la biographie. Cette fiche décrit l'erreur qui consiste à ne regarder que ceux qui sont encore là, et montre comment retrouver les absents.

L'idée en bref

Le biais du survivant est une erreur de raisonnement qui se produit quand on étudie seulement les cas qui ont franchi une sélection (les entreprises encore en activité, les soldats revenus, les patients guéris et les bâtiments encore debout) et que l'on oublie ceux qui ont été éliminés. Comme les éliminés ne sont plus visibles, l'échantillon observé est trié, et les conclusions que l'on en tire sont faussées, presque toujours dans le sens de l'optimisme.

C'est un cas particulier du biais de sélection, bien connu des statisticiens. L'exemple fondateur est attribué au mathématicien Abraham Wald, qui travaillait pendant la Seconde Guerre mondiale au Statistical Research Group de l'université Columbia, à New York. Le principe est un fait de logique statistique, donc solide. L'anecdote qui l'illustre, en revanche, a été embellie au fil des récits, comme on va le voir.

Les avions qui ne sont pas revenus

Pendant la guerre, l'armée américaine cherche à mieux protéger ses bombardiers. Le blindage est lourd, et il faut choisir où le placer. On relève donc les impacts de balles et d'éclats sur les avions revenus de mission. Ils sont nombreux sur les ailes et le fuselage, et rares sur les moteurs. L'idée naturelle est de renforcer les zones les plus touchées.

Selon le récit habituel, Wald recommande l'inverse : il faut blinder les endroits où les avions revenus n'ont pas d'impacts. Les tirs ennemis touchent en effet toutes les parties des appareils à peu près au hasard. Si l'on voit peu d'impacts sur les moteurs des avions revenus, c'est que les avions touchés au moteur ne sont pas revenus. Les trous observés indiquent les endroits où un avion peut être touché et rentrer quand même.

L'histoire mérite une précision. Wald a bien rédigé en 1943, au sein du Statistical Research Group, une série de mémorandums sur la manière d'estimer la vulnérabilité des avions à partir des dégâts relevés sur ceux qui rentraient, et ces textes, réédités plus tard par le Center for Naval Analyses, sont des travaux mathématiques sérieux. La scène où il contredit des officiers sûrs d'eux n'est pas documentée dans ces textes : elle vient de récits postérieurs. Le raisonnement, lui, est bien le sien, et c'est lui qui importe.

Il se résume à une question que l'on peut poser devant n'importe quel ensemble de données : par quel filtre ces cas sont-ils passés avant d'arriver sous mes yeux, et qu'est-il arrivé à ceux qui ne l'ont pas franchi ?

Les fonds qui ont disparu des classements

La finance fournit l'exemple chiffré le plus net, et il a été mesuré par des économistes, notamment Edwin Elton, Martin Gruber et Christopher Blake en 1996.

Une société de gestion lance dix fonds de placement. Cinq ans plus tard, quatre d'entre eux, dont les résultats étaient décevants, ont été fermés ou fusionnés avec d'autres. Supposons, pour l'illustration, que les six fonds restants aient gagné en moyenne 7 % par an, et que les quatre fonds disparus aient perdu en moyenne 5 % par an avant leur fermeture.

La brochure de la société affiche la performance de ses fonds existants : 7 % par an. La performance réelle de l'ensemble des fonds lancés est de (6 × 7 − 4 × 5) / 10 = 22 / 10 = 2,2 % par an. L'écart ne vient d'aucun mensonge. Il vient de ce que les fonds fermés ne figurent plus dans le tableau.

Le hasard seul suffit d'ailleurs à produire des survivants brillants. Si 1 000 gérants avaient chaque année une chance sur deux de battre le marché, comme à pile ou face, il en resterait en moyenne 31 qui l'auraient battu cinq années de suite (1 000 divisé par 2 cinq fois). Chacun de ces 31 pourrait présenter un parcours sans faute et l'attribuer à sa méthode.

Le même mécanisme agit bien au-delà de l'argent. Les conseils de réussite proviennent de ceux qui ont réussi : l'écrivain célèbre qui affirme qu'il suffit de persévérer ne voit pas tous ceux qui ont persévéré autant que lui sans jamais être publiés. On dit que « l'on construisait mieux autrefois » en regardant les maisons anciennes encore debout, alors que les constructions médiocres de la même époque ont disparu depuis longtemps.

À l'école, le piège est le même lorsque l'on juge une filière ou une méthode sur ses seuls élèves présents à l'arrivée. Un établissement qui affiche un taux de réussite très élevé à l'examen peut avoir réorienté en cours de route les élèves les plus fragiles. Il faut alors comparer le nombre de reçus au nombre d'élèves entrés au départ, et non au nombre de candidats présentés.

Quand s'en servir

Il faut penser au biais du survivant chaque fois qu'une conclusion s'appuie sur des cas de réussite, de longévité ou de présence.

Devant un modèle à imiter (une entreprise, un champion, un ancien élève brillant) : combien ont fait exactement la même chose et ont échoué ?
Devant un taux de réussite ou une performance moyenne : les abandons, les faillites et les exclus sont-ils comptés ?
Devant un témoignage favorable à une méthode ou à un traitement : ceux pour qui cela n'a pas marché avaient-ils une occasion de s'exprimer ?
Devant une affirmation du type « c'était mieux avant » : ne voit-on pas seulement ce que le temps a conservé parce que c'était le meilleur ?

Limites et pièges

Le premier piège est de conclure que toute réussite n'est que chance. Le biais du survivant montre que les succès observés ne suffisent pas à prouver qu'une méthode est bonne. Il ne prouve pas qu'elle est mauvaise. Parmi les 31 gérants de l'exemple, certains ont peut-être un vrai talent : on ne peut simplement pas le savoir en ne regardant que leur palmarès. Pour trancher, il faut comparer ceux qui ont appliqué la méthode et ceux qui ne l'ont pas appliquée, parmi les réussites et parmi les échecs.

Le deuxième est pratique. Les données sur les disparus sont souvent difficiles ou impossibles à obtenir, puisque c'est leur disparition qui crée le biais. On doit alors se contenter d'en tenir compte qualitativement, en réduisant sa confiance.

Enfin, il existe une forme inverse, moins connue. Dans certains domaines, ce sont les échecs qui restent visibles et les succès qui disparaissent : un médecin hospitalier revoit surtout les patients dont le traitement a échoué, et peut sous-estimer l'efficacité de ce qu'il prescrit. La question à poser reste la même : qu'est-ce qui a déterminé les cas que je vois ?

Pour aller plus loin

Corrélation n'est pas causalité — la sélection des cas est l'une des sources de fausses causes.
L'oubli de la fréquence de base — la proportion réelle de réussites, que les récits de succès font oublier.
L'heuristique de disponibilité — pourquoi les cas visibles pèsent tant dans nos jugements.
L'effet Lindy — une règle sur ce qui dure, à manier en gardant les disparus en tête.

Sources principales : Abraham Wald, A Method of Estimating Plane Vulnerability Based on Damage of Survivors (1943, rééd. Center for Naval Analyses) ; Marc Mangel et Francisco Samaniego, « Abraham Wald's work on aircraft survivability », Journal of the American Statistical Association (1984) ; Edwin Elton, Martin Gruber et Christopher Blake, « Survivor bias and mutual fund performance », The Review of Financial Studies (1996) ; Jordan Ellenberg, How Not to Be Wrong (2014).