Peut-on tout mesurer ? Des notes au bonheur

Intervenant 10:00

Bonjour à tous et bienvenue dans le podcast du magazine Tangente.

Intervenant 20:05

Bonjour.

Intervenant 10:06

Alors imaginez un instant, vous passez le concours le plus difficile de votre

Intervenant 20:11

vie.

Intervenant 10:12

Et un correcteur épluche votre copie d'histoire, il soupire, il vous classe disons avant-dernier.

Intervenant 20:19

L'angoisse absolue.

Intervenant 10:21

Voilà, donc logiquement vous êtes recalé. Mais un deuxième correcteur relie la même copie, à la virgule près. Et lui, il vous classe deuxième de tout le pays.

Intervenant 20:32

Ah, c'est le grand écart ?

Intervenant 10:34

Oui, ça ressemble à une très mauvaise blague. Mais en fait, ce n'est pas une fiction. C'est une véritable expérience scientifique. Et c'est un peu le point de départ vertigineux de notre exploration d'aujourd'hui.

Intervenant 20:45

C'est une excellente porte d'entrée, je trouve. Parce que notre rapport aux mathématiques et à la mesure en général, il est souvent très naïf.

Intervenant 10:54

C'est-à-dire ?

Intervenant 20:55

Disons qu'on s'attend généralement à la robustesse d'un étalon physique. Voyez, un mètre, ça fait un mètre.

Intervenant 11:01

Oui, un kilogramme pèse un kilogramme.

Intervenant 21:03

Exactement. Mais les sources que nous allons décortiquer aujourd'hui, elles s'attaquent au moment où cette belle certitude s'effondre.

Intervenant 11:11

D'accord.

Intervenant 21:11

Que se passe-t-il quand on tente d'appliquer cette rigueur des nombres à des choses qui, par nature, n'ont aucune consistance physique ?

Intervenant 11:18

Mais comme l'intelligence ou la qualité d'une réflexion ?

Intervenant 21:21

Ou même la satisfaction d'une population entière.

Intervenant 11:23

Oui, voilà. C'est vraiment le cœur du problème.

Intervenant 21:26

Et c'est ce paradoxe qu'on va crever parce que la société moderne a vraiment une obsession, disons, absolue pour la quantification. Même quand l'outil de mesure déforme complètement la réalité.

Intervenant 11:36

Tout à fait. Donc pour reprendre ce traumatisme des notes scolaires avec l'expérience que je viens de citer, c'était où exactement et quand...

Intervenant 21:44

Alors, c'est l'expérience fondatrice de ce qu'on appelle la docimologie.

Intervenant 11:48

La docimologie ?

Intervenant 21:49

Oui, c'est-à-dire l'étude scientifique de la notation. C'est un terme qui a été forgé par Henri Pierron en 1922. D'accord.

Intervenant 11:54

Et

Intervenant 21:55

pour tester la fiabilité des notes, il y a un physiologiste qui s'appelle Henri Logier, qui a pris en 1930 166 véritables copies du concours de l'agrégation d'histoire.

Intervenant 12:05

166 copies de l'agrégation. C'est du sérieux.

Intervenant 22:08

Oui, c'est le haut niveau. Et il a demandé à deux professeurs extrêmement expérimentés de les corriger de manière totalement indépendante.

Intervenant 12:15

Et c'est là que le résultat donne un peu des sueurs froides à n'importe quel étudiant.

Intervenant 22:18

C'est ça. L'écart moyen entre les deux correcteurs était de 2 points sur 20. Ce qui est déjà pas mal.

Intervenant 12:24

Ouais.

Intervenant 22:24

Mais sur certaines copies, la différence grimpait à 9 points.

Intervenant 12:28

9 points d'écart sur la même copie.

Intervenant 22:30

Exactement. Et donc l'un des candidats recalés par le premier jury finissait effectivement sur le podium du second.

Intervenant 12:38

C'est fou.

Intervenant 22:39

Concrètement, la moitié des candidats qui auraient été admis par l'un étaient rejetés par l'autre.

Intervenant 12:44

C'est vraiment comme utiliser un thermomètre qui m'indiquerait la canicule et pour vous le gel alors qu'on est assis dans la même pièce. C'est une très

Intervenant 22:51

bonne image, oui.

Intervenant 12:53

Mais bon, après, on parle d'une dissertation d'histoire. Je veux dire, c'est de la rhétorique, du style, des opinions. C'est forcément subjectif. Est-ce que cette variabilité existe quand on corrige des sciences dites exactes ?

Intervenant 23:06

Eh bien oui, l'expérience a évidemment été reproduite en mathématiques et en physique.

Intervenant 13:10

Et alors ?

Intervenant 23:11

Les variations sont un tout petit peu moins spectaculaires, disons. Mais elles restent massives et elles modifient complètement les classements finaux.

Intervenant 13:18

Ah oui, même en

Intervenant 23:19

maths. Pief que ça, on a fait corriger des copies de bac par des élèves de terminale pour comparer avec des enseignants.

Intervenant 13:26

D'accord. Et le résultat ?

Intervenant 23:28

L'ampleur des écarts est quasiment identique. En fait, l'erreur ne vient pas de l'incompétence du correcteur.

Intervenant 13:33

Elle vient d'où alors ?

Intervenant 23:34

Elle est inhérente à l'acte même de transformer une pensée complexe en un chiffre unique.

Intervenant 13:39

Ah d'accord. Donc la note brute est fondamentalement instable.

Intervenant 23:42

Totalement.

Intervenant 13:43

Mais j'imagine que le système éducatif le sait ça. Et nos sources montrent qu'il utilise des méthodes mathématiques pour lisser un peu tout ça.

Intervenant 23:50

Oui, il y a des techniques pour compenser.

Intervenant 13:52

Il y a notamment cette fameuse méthode appelée la règle de l'élastique. Si je comprends bien, le but, c'est de s'assurer qu'une classe ou un groupe de candidats atteignent une moyenne, disons, acceptable, politiquement ou pédagogiquement.

Intervenant 24:04

C'est ça. Prenons les données fournies par l'une de nos sources pour vraiment comprendre la mécanique de ces lissages.

Intervenant 14:09

Allons-y.

Intervenant 24:10

Imaginez un jury face à quatre candidats.

Intervenant 14:12

OK.

Intervenant 24:13

Leurs moyennes générales de départ sont de 9... De 7,5, de 10,5 et de 13.

Intervenant 14:19

Donc 9, 7,5, 10,5 et 13. Ça fait une moyenne autour de 10, ça, non ?

Intervenant 24:25

Oui, c'est ça. La moyenne de ce groupe est exactement de 10.

Intervenant 14:28

D'accord.

Intervenant 24:29

Mais le jury trouve que la note de 7,5, c'est trop sévère. Et donc, il décide que la moins bonne copie de ce groupe, celle à 7,5, doit valoir un 10.

Intervenant 14:38

Ah, attendez, laissez-moi faire le calcul. Pour passer de 7,5 à 10, on doit multiplier par une fraction ? Oui. C'est du 4 tiers, ça. Environ 1,33.

Intervenant 24:52

Vous avez l'œil, c'est exactement 4 tiers.