Probabilités et incertitude

Le paradoxe de Simpson

Un traitement peut être le meilleur pour les cas légers, le meilleur pour les cas graves, et pourtant paraître le moins bon quand on réunit tous les patients. Ce résultat semble impossible, et il est parfaitement réel. Cette fiche montre d'où il vient, avec des chiffres vérifiables, et ce qu'il enseigne sur la lecture des moyennes.

L'idée en bref

Le paradoxe de Simpson désigne une situation où une comparaison donne un résultat dans chacun des sous-groupes d'une population et le résultat inverse dans la population entière. Il se produit quand les groupes comparés ne sont pas composés de la même façon : l'un contient surtout des cas faciles, et l'autre surtout des cas difficiles.

Le statisticien britannique Edward Simpson l'a décrit dans un article de 1951. Le phénomène avait déjà été signalé par Karl Pearson en 1899 et par Udny Yule en 1903, et le nom de « paradoxe de Simpson » lui a été donné par Colin Blyth en 1972. Le mot « paradoxe » est trompeur, car il s'agit d'un fait d'arithmétique démontré et sans mystère, qui heurte seulement notre intuition des moyennes.

Deux traitements pour les calculs rénaux

L'exemple le plus cité vient d'une étude médicale britannique publiée en 1986 par Charig et ses collègues, qui comparait deux techniques pour retirer les calculs rénaux : la chirurgie ouverte (traitement A) et une technique moins invasive passant par la peau (traitement B).

La taille du calcul agit ici comme une cause commune. Elle influence à la fois le choix du traitement et les chances de succès. Le taux global mélange deux effets, celui du traitement et celui de la gravité des cas. Pour comparer les traitements eux-mêmes, il faut les comparer à gravité égale, et la conclusion correcte est que A réussit mieux.

Les admissions à l'université

Le second exemple classique vient de l'université de Californie à Berkeley, et il a été publié dans la revue Science en 1975 par Peter Bickel, Eugene Hammel et William O'Connell. Pour la rentrée de 1973, environ 44 % des hommes candidats aux études de troisième cycle avaient été admis, contre environ 35 % des femmes. L'écart faisait soupçonner une discrimination. Or les admissions se décidaient département par département, et l'examen de chaque département ne montrait pas de désavantage systématique pour les femmes. Dans plusieurs d'entre eux, elles étaient même admises un peu plus souvent que les hommes.

C'est ce que les auteurs ont constaté à Berkeley : les femmes candidataient davantage dans les départements les plus demandés, où les taux d'admission étaient faibles pour tous. Ils ne concluaient pas que tout allait bien. Ils déplaçaient la question : pourquoi les femmes s'orientaient-elles vers ces disciplines plutôt que vers d'autres ? La réponse ne se trouvait pas dans les décisions des jurys.

La même prudence s'impose pour comparer deux établissements scolaires. Un lycée peut avoir un meilleur taux de réussite global qu'un autre simplement parce qu'il accueille moins d'élèves en difficulté, et faire pourtant moins bien que lui pour chaque catégorie d'élèves. C'est la raison pour laquelle les indicateurs dits « de valeur ajoutée » comparent les résultats d'un établissement à ceux qui sont attendus compte tenu de son public.

Quand s'en servir

Il faut penser au paradoxe de Simpson chaque fois que l'on compare des taux ou des moyennes entre des groupes qui n'ont pas été constitués par tirage au sort : deux hôpitaux, deux écoles, deux enseignants, deux traitements, deux années ou deux pays.

• Les groupes comparés ont-ils la même composition (âge, gravité, niveau de départ et difficulté) ?
• Existe-t-il un facteur qui influence à la fois l'appartenance au groupe et le résultat ?
• Que devient la comparaison quand on la refait à l'intérieur de chaque catégorie ?

Limites et pièges

Le piège le plus sérieux est de croire qu'il faut toujours préférer les chiffres par sous-groupe. Ce n'est pas vrai. En découpant une population selon d'autres critères, on peut souvent faire apparaître un nouveau renversement, et rien dans les chiffres ne dit quel découpage est le bon. Le chercheur Judea Pearl a montré que la réponse dépend de la structure causale de la situation, c'est-à-dire de ce qui influence quoi.

Si le troisième facteur précède le traitement et influence son choix, comme la taille des calculs, il faut comparer à l'intérieur des sous-groupes. Si ce facteur est au contraire une conséquence du traitement, il faut regarder les chiffres d'ensemble. Supposons qu'un médicament agisse en faisant baisser la tension. Comparer les patients « à tension égale après traitement » effacerait l'effet que l'on cherche à mesurer. Les mêmes tableaux de chiffres peuvent donc appeler deux lectures opposées, et seule la connaissance du terrain permet de choisir.

Le deuxième piège est de voir le paradoxe partout. Le renversement complet reste rare. Ce qui est fréquent est sa forme atténuée : un écart global qui grossit, rétrécit ou disparaît quand on tient compte de la composition des groupes.

Enfin, le paradoxe peut servir d'argument de mauvaise foi. Quiconque veut contester un chiffre global peut chercher le découpage qui l'arrange. Un découpage n'est légitime que s'il repose sur un facteur dont on peut expliquer le rôle, et non parce qu'il donne le résultat souhaité.