Probabilités et incertitude

La loi des grands nombres et le piège des petits échantillons

Un restaurant affiche la note parfaite de 5 sur 5 avec trois avis, un autre 4,6 sur 5 avec huit cents avis. Lequel choisir ? La plupart d'entre nous sentent que le second chiffre est plus sûr. Cette fiche explique pourquoi, et montre que nous oublions pourtant cette prudence dès que les petits nombres racontent une histoire séduisante.

L'idée en bref

La loi des grands nombres dit que la moyenne d'un grand nombre d'observations indépendantes se rapproche de la valeur réelle que l'on cherche à mesurer. Lancez une pièce dix fois, et vous obtiendrez facilement sept « face ». Lancez-la dix mille fois, et la proportion de « face » sera très proche de 50 %.

Le résultat a été démontré par le mathématicien suisse Jacques Bernoulli dans Ars Conjectandi, publié en 1713, huit ans après sa mort. Le nom de « loi des grands nombres » lui a été donné par Siméon Denis Poisson en 1837. C'est un théorème, donc un résultat établi.

Son revers est moins connu. Les petits échantillons donnent des résultats très variables, et donc souvent extrêmes. Amos Tversky et Daniel Kahneman ont montré en 1971 que même des chercheurs formés aux statistiques font trop confiance aux petits échantillons. Ils ont appelé cette erreur, par ironie, la croyance en la « loi des petits nombres ».

Les petits échantillons produisent des extrêmes

La précision d'une moyenne ne croît pas en proportion du nombre d'observations, mais en proportion de sa racine carrée. Pour diviser l'incertitude par deux, il faut quatre fois plus de données. Un sondage auprès de 1 000 personnes tirées au hasard donne, pour une opinion partagée par la moitié de la population, une marge d'erreur d'environ 3 points. Avec 100 personnes, la marge est d'environ 10 points : un candidat mesuré à 52 % peut aussi bien être à 42 % qu'à 62 %.

C'est ce qui règle la question des deux restaurants. Trois avis excellents peuvent venir de trois amis du patron ou de trois soirées réussies. Huit cents avis donnent une moyenne qui ne bougera presque plus.

Les petites écoles, meilleures et pires à la fois

Le piège devient sérieux quand on compare des groupes de tailles différentes, car les plus petits se retrouvent mécaniquement aux deux extrémités du classement.

Le même raisonnement vaut pour les cartes de santé. Les communes où le taux d'une maladie rare est le plus élevé sont souvent de petites communes, et celles où il est le plus bas aussi. Avec 500 habitants, deux cas de plus ou de moins changent tout. Avant de chercher une cause dans l'eau ou dans l'air, il faut vérifier que l'écart dépasse ce que le hasard produit à cette échelle.

Une classe de vingt-cinq élèves est, elle aussi, un petit échantillon. La moyenne d'une classe peut varier sensiblement d'une année à l'autre sans que l'enseignant ait changé quoi que ce soit, et un jugement porté sur une méthode d'après une seule classe et une seule année reste fragile.

Quand s'en servir

La question « sur combien de cas ? » devrait accompagner tout chiffre et tout récit dont on tire une conclusion générale.

• Devant un témoignage (« mon grand-père fumait et il a vécu 95 ans », « cette méthode a transformé mon fils ») : un cas ou trois ne permettent pas de généraliser.
• Devant un pourcentage : « 80 % de satisfaits » ne veut pas dire la même chose pour 5 personnes interrogées et pour 5 000.
• Devant un classement : les premiers et les derniers sont-ils simplement les plus petits ?
• Devant une série : trois bons trimestres d'un gérant de fonds, quatre matchs gagnés ou deux bonnes notes sont des séries que le hasard produit sans peine.

Limites et pièges

Le premier piège est de croire que le hasard « se rattrape ». La loi des grands nombres ne dit pas qu'après cinq « face » de suite, « pile » devient plus probable. Chaque lancer reste indépendant des précédents. Les écarts ne sont pas compensés, ils sont dilués : cinq « face » d'avance ne pèsent presque plus rien sur dix mille lancers. Croire à une compensation s'appelle l'erreur du joueur.

Le deuxième piège est de croire qu'un grand échantillon suffit. Un échantillon énorme mais mal choisi trompe autant qu'un petit. En 1936, le magazine américain Literary Digest annonça la défaite de Franklin Roosevelt à l'élection présidentielle sur la foi de plus de deux millions de réponses. Roosevelt l'emporta très largement. Les personnes sondées, recrutées notamment dans les annuaires téléphoniques et parmi les propriétaires d'automobiles, étaient plus aisées que la moyenne des électeurs, et moins d'un quart des dix millions de personnes sollicitées avaient répondu. La taille ne corrige pas le biais de sélection.

Le troisième tient aux conditions du théorème. La loi suppose des observations indépendantes et un phénomène dont la moyenne est stable. Pour les grandeurs où un seul cas extrême peut peser autant que tous les autres réunis (fortunes, pertes boursières et dégâts de catastrophes), la moyenne observée converge très lentement, et même un grand échantillon peut tromper. La fiche sur les queues épaisses y revient.

Enfin, un petit nombre de cas n'est pas sans valeur. Un seul contre-exemple suffit à réfuter une affirmation universelle, et une étude de cas peut suggérer une hypothèse. Ce qu'un petit échantillon ne permet pas, c'est d'établir une fréquence ou une tendance générale.