Petites classes en tête et en queue : le piège statistique

Intervenant 10:00

Bienvenue dans le podcast du magazine Tangente et c'est un véritable plaisir d'accueillir toutes les personnes qui nous écoutent aujourd'hui pour une nouvelle exploration.

Intervenant 20:09

Salut, oui, c'est vraiment super d'être là pour décortiquer tout ça.

Intervenant 10:13

Alors aujourd'hui, on va s'attaquer à l'art subtil de la statistique et surtout au piège redoutable des fluctuations. On se base sur un article passionnant qui s'intitule « Statistique, deux points, méfiez-vous des fluctuations ». Tout un programme, oui. Exactement. L'objectif, la mission de notre discussion, c'est vraiment d'apprendre à extraire de la vraie connaissance d'une montagne de données et surtout de ne pas se faire berner par des simples coïncidences mathématiques.

Intervenant 20:40

Parce que le cerveau humain adore les coïncidences. On veut toujours y voir du sens.

Intervenant 10:44

Ah ça, c'est clair. D'ailleurs, pour commencer, imaginons un instant le scénario suivant. On décide d'évaluer le système éducatif à grande échelle.

Intervenant 20:53

D'accord.

Intervenant 10:54

On fait passer des tests standardisés à, disons, des dizaines de milliers d'élèves. Puis on croise ces résultats avec les caractéristiques de chaque école. Logique,

Intervenant 21:03

pour voir ce qui marche le mieux.

Intervenant 11:04

Voilà. Et en analysant les données, il y a une tendance éclatante qui saute aux yeux. Les écoles qui affichent les moyennes les plus spectaculaires, vraiment le haut du panier, elles ont tout un point commun.

Intervenant 21:16

Lequel ?

Intervenant 11:16

Ce sont de très petits établissements avec des effectifs vraiment réduits par classe.

Intervenant 21:21

Ah oui, le fameux mythe de la petite classe.

Intervenant 11:24

Ben oui, la conclusion semble relever du pur bon sens, non ? On se dit que moins d'élèves par professeur, ça garantit un meilleur suivi individuel et donc l'excellence académique.

Intervenant 21:35

Est-ce que n'importe qui conclurait en effet ?

Intervenant 11:37

L'affaire est pliée, les pédagogues sont ravis, les réformes sont prêtes à être signées. Sauf que, et c'est là qu'on cite l'anecdote rapportée par le mathématicien américain Jordan Ellenberg, si l'on regarde tout en bas de ce même classement… Ce

Intervenant 21:50

qui est fascinant ici, c'est la suite.

Intervenant 11:51

Oui, parmi les écoles aux résultats les plus catastrophiques, devinons ce qu'on trouve.

Intervenant 21:56

Uniquement des petites classes là aussi ?

Intervenant 11:57

Absolument, uniquement des petites classes. Les mêmes petits effectifs qui monopolisaient le sommet.

Intervenant 22:02

C'est précisément le genre de paradoxe qui donne des surfoies d'autres décideurs. Ça montre à quel point notre intuition peut être complètement trompeuse face aux chiffres.

Intervenant 12:10

Mais du coup, comment c'est mathématiquement possible que ces petites classes soient à la fois les meilleures et les pires ?

Intervenant 22:16

Pour comprendre ça, il faut plonger dans la mécanique interne des statistiques et observer le comportement de ce qu'on nomme l'écart-type.

Intervenant 12:22

L'écart-type, d'accord. On va essayer de ne pas perdre notre audience avec du

Intervenant 22:27

jargon. Non, non, c'est très simple en fait. L'écart-type, c'est juste un outil qui mesure la valeur des fluctuations, la dispersion des notes autour de la moyenne. Et la loi mathématique incontournable ici, c'est que l'ampleur de ces fluctuations est inversement proportionnelle à la racine carrée du nombre d'éléments de l'échantillon.

Intervenant 12:43

Oula, attends, inversement proportionnel à la racine carrée ? D'accord, arrêtons-nous une seconde. Il faut qu'on décortique ça en termes de la vie de tous les jours.

Intervenant 22:50

Vas-y, je t'écoute.

Intervenant 12:51

Si je traduis ce concept, c'est un peu la mécanique qu'on observe sur les applications de notation de restaurant sur Internet.

Intervenant 22:57

Ah, c'est un excellent exemple.

Intervenant 12:59

Imagine-nous une petite brasserie de quartier qui vient juste d'ouvrir. Le tout premier jour, un client passe, il adore son repas et il laisse un avis de 5 étoiles.

Intervenant 23:07

Donc la moyenne du resto est de 5 sur 5.

Intervenant 13:10

Exactement. Mathématiquement, il caracole en tête de tous les classements de la ville. Mais le lendemain, pas de chance, un client est mécontent. Son plat est effroi, il laisse un avis de zéro étoile.

Intervenant 23:20

Aïe ! Et là, l'échantillon passe à deux personnes.

Intervenant 13:22

C'est ça. Et la moyenne s'effondre instantanément à 2,5 sur 5.

Intervenant 23:27

L'analogie est parfaite. Le très petit nombre d'avis crée une volatilité extrême, des extrêmes complètement artificiels.

Intervenant 13:33

Alors qu'à l'inverse, si on prend une institution gastronomique qui a, je sais pas, 10 000 avis.

Intervenant 23:37

Et une moyenne très stable, genre 4,8. Ouais,

Intervenant 13:39

bah là, un seul client mécontent qui laisse un zéro pointé, ça ne fera absolument pas bouger la moyenne globale.

Intervenant 23:45

Parce que son vote est noyé, il est dilué dans la masse. Les grands nombres absorbent les chocs, tandis que les petits nombres, eux, ils les amplifient.

Intervenant 13:54

Donc si on ramène ça à nos écoles et à Jordan-Hellenberg...

Intervenant 23:56

C'est le cœur du problème.