Tests statistiques : l’enquête sur leurs pièges

Intervenant 10:00

Bienvenue à tous dans le podcast du magazine Tangente. Salut ! Alors, pour commencer ce décryptage, j'aimerais qu'on imagine une situation assez classique. Quelqu'un passe un test médical, un test d'une précision redoutable disons, estimé à 99%. D'accord, un

Intervenant 20:17

très bon test quoi.

Intervenant 10:18

Voilà, un excellent test. Le laboratoire remet les résultats et boum, le test est positif. D'instinct, l'angoisse monte. On se dit que les carottes sont cuites et qu'on est, j'ai envie de dire, presque certainement malade,

Intervenant 20:31

non ? C'est la réaction humaine logique,

Intervenant 10:33

oui. Eh bien, la réalité mathématique est tout outre. Dans certaines conditions, il y a de fortes chances, et je parle de parfois plus de 80% de chances, d'être en parfaite santé. Et c'est exactement le point de départ de notre exploration approfondie d'aujourd'hui.

Intervenant 20:47

C'est fou.

Intervenant 10:48

Ah, c'est complètement fou. C'est tiré d'un article absolument captivant de Tangente qui s'intitule « Tester sans se tromper ».

Intervenant 20:57

Ouais, et c'est un paradoxe qui frappe toujours les esprits pour le coup. C'est vraiment tout l'enjeu de notre discussion aujourd'hui. Parce que souvent, la simple évocation du mot « statistique », ça renvoie à l'image d'une vérité indiscutable. Ah bah oui, les chiffres ne mentent pas comme on dit. Exactement. C'est vu comme une machinerie froide, parfaite, qui produirait des pourcentages incontestables. Par exemple, une étude scientifique sort, elle annonce un risque d'erreur de 5%. Et l'intuition collective de notre public, ou même des experts, valide cette donnée comme une certitude absolue.

Intervenant 11:31

C'est rassurant, en fait.

Intervenant 21:33

C'est ça. Les chiffres possèdent ce pouvoir rassurant de mettre de l'ordre dans le chaos du monde, tu vois. De tout diviser proprement entre le vrai et le faux, le coupable et l'innocent.

Intervenant 11:44

Sauf que la réalité est infiniment plus nuancée. Et aujourd'hui, je suis hyper enthousiaste parce qu'on va explorer les profondeurs de ces tests statistiques. On va comprendre comment de redoutables illusions probabilistes peuvent tromper tout le monde.

Intervenant 21:58

Et quand on dit tout le monde,

Intervenant 11:59

Mais ça inclut vraiment les esprits les plus brillants, les chercheurs les plus rigoureux. Le but de notre mission aujourd'hui, c'est de décortiquer la mécanique de validation d'une hypothèse scientifique et surtout d'apprendre à esquiver ces biais d'interprétation qui faussent littéralement notre perception de la réalité.

Intervenant 22:16

Et je tiens à rassurer tout de suite ceux qui nous écoutent et qui redouteraient, je sais pas, une avalanche d'équations complexes.

Intervenant 12:22

Ah oui, pas de panique, on range les calculatrices graphiques.

Intervenant 22:26

Voilà, aucune inquiétude. On va manipuler des concepts très rigoureux, oui, comme les erreurs de première et de deuxième espèce, ou même les fameuses p-valeurs, mais on fera ça toujours en les ancrant dans le monde réel, avec des analogies vraiment limpides.

Intervenant 12:40

Génial.

Intervenant 22:40

Parce que derrière ce vocabulaire un peu technique, se cachent en fait des processus de prise de décision que le cerveau humain utilise tous les jours.

Intervenant 12:47

Mais écoute, c'est une excellente approche. Et pour poser des fondations solides, je pense qu'il faut d'abord comprendre d'où viennent ces règles du jeu. Avant d'analyser comment la science peut trébucher, examinons la méthode qui lui permet de s'approcher de la vérité.

Intervenant 22:59

Tout à fait.

Intervenant 13:00

D'où sortent tous ces outils d'évaluation, concrètement ?

Intervenant 23:03

Alors, il faut remonter à l'année 1931. D'accord, ça date un

Intervenant 13:07

peu.

Intervenant 23:09

Ouais, un peu. Il y a deux statisticiens de génie, Jerzy Neyman et Egon Scharpe-Pierson, qui ont posé les bases de ce domaine. C'est ce qu'on appelle l'étude des pestes d'hypothèses. Et ce qui est vraiment remarquable, c'est que leur architecture mathématique domine toujours massivement la recherche contemporaine aujourd'hui.

Intervenant 13:27

Même si, d'après notre article, elle fait l'objet de vifs débats, n'est-ce pas ?

Intervenant 23:31

C'est ça. Mais à la base, leur méthode essaie de résoudre un problème classique d'extrapolation.

Intervenant 13:38

Donc on est en plein cœur de la statistique inférentielle, c'est ça ?

Intervenant 23:41

Exactement.

Intervenant 13:42

L'idée, si je résume pour notre public, c'est d'essayer de comprendre la réalité d'une population gigantesque, mais en regardant seulement à travers le tout petit trou de serrure d'un échantillon limité.

Intervenant 23:53

C'est l'image parfaite, ouais. Prendre une décision sur une population globale, c'est matériellement impossible. C'est trop vaste, beaucoup trop coûteux à analyser dans son intégralité.

Intervenant 14:03

Bah oui, on ne peut pas tester chaque être humain sur Terre.

Intervenant 24:06

Voilà. Donc on va travailler sur un échantillon aléatoire qui est, par définition, imparfait. Et à partir de là, on formule une déduction. Et la méthode de Neyman et Pearson exige de poser en premier lieu une hypothèse de base. Une posture disons très conservatrice. On la nomme très sobrement H0.

Intervenant 14:24

H0, ok, on garde ça en tête.

Intervenant 24:26

Et face à elle, en opposition directe, on place l'hypothèse alternative, qu'on appelle tout simplement H1.

Intervenant 14:32

Alors, pour que cette mécanique devienne bien visuelle, moi j'aimerais qu'on utilise l'analogie du tribunal qui est développé dans nos sources parce que je la trouve particulièrement éclairante.

Intervenant 24:43

Ouais, elle marche très bien.

Intervenant 14:45

Imaginons que notre test statistique, ce soit un procès d'assises. L'hypothèse conservatrice, cette fameuse H0, c'est la présomption d'innocence. Par défaut, l'accusé est considéré comme innocent, c'est vraiment le point de départ de la justice. On ne modifie pas ce statut sans un faisceau de preuves irréfutable.

Intervenant 25:05

C'est tout à fait ça.

Intervenant 15:06

Donc l'hypothèse alternative H1, ça correspond logiquement à la culpabilité de l'accusé.

Intervenant 25:12

Voilà, c'est ce qu'on essaye de prouver.

Intervenant 15:14

Les juges examinent les preuves qui agissent ici comme notre échantillon de données. Et c'est là que surgissent les risques de commettre des erreurs fondamentales, non ?

Intervenant 25:22

Exactement. Et dans ce processus de décision, il y a principalement deux grandes erreurs à éviter.

Intervenant 15:28

Ok, lesquelles ?

Intervenant 25:30

La première, c'est ce que la discipline appelle l'erreur de première espèce. On la symbolise souvent par la lettre grecque alpha. Dans le monde de l'analyse, on l'appelle aussi le faux positif.

Intervenant 15:40

Le fameux faux positif, d'accord.

Intervenant 25:41

C'est ça. Et c'est la situation tragique où le test décide de rejeter l'hypothèse H0, alors qu'elle était en fait parfaitement vraie dans la réalité.

Intervenant 15:50

Ah, donc si je transpose ça dans notre tribunal, l'hypothèse H0 est vraie, donc l'accusé n'a rien fait de mal, il est bien innocent. Mais le tribunal se trompe et rejette cette innocence. C'est l'erreur judiciaire absolue, quoi.

Intervenant 26:06

Voilà.

Intervenant 16:06

On déclare coupable une personne, totalement innocente, et boum, on la prive de sa liberté. C'est terrible.

Intervenant 26:12

C'est terrible, oui. Et historiquement, c'est cette erreur spécifique que la communauté scientifique cherche à limiter de manière presque obsessionnelle.

Intervenant 16:19

D'accord.

Intervenant 26:20

Ce taux alpha, c'est ce qui définit ce qu'on nomme le seuil de risque. Si une étude fixe son alpha à 5%, ça signifie que les chercheurs acceptent volontairement de prendre le risque dans 5% des cas de rejeter l'hypothèse de basator. C'est

Intervenant 16:33

quand même un gros

Intervenant 26:35

pari ! À l'inverse, on a l'expression 1-alpha qui désigne le degré de significativité du test. Logiquement, plus on veut protéger l'innocent, plus on va écraser ce risque alpha vers le zéro. On veut un test super significatif.

Intervenant 16:49

Ouais, mais j'imagine qu'il y a un piège. Sauf qu'en baissant ce risque, on s'expose à la seconde erreur, c'est

Intervenant 26:53

ça ? Eh oui, tu as

Intervenant 16:55

deviné. L'erreur de deuxième espèce, qu'on note bêta, donc le faux négatif.