ChatGPT et examens de maths : l’enquête sur les +11 points

Intervenant 10:00

Bienvenue dans le podcast du magazine Tangente. Aujourd'hui, on aborde une question très actuelle. Un simple outil informatique peut-il vraiment garantir un bon spectaculaire de 11 points lors d'un examen de mathématiques ?

Intervenant 20:15

C'est sûr que présenter comme ça,

Intervenant 10:17

ça fait rêver. Grave. En fait, c'est ce que semblait promettre une étude tchèque récente. Et c'est exactement notre exploration du jour. Ils ont suivi 197 étudiants en mathématiques discrètes.

Intervenant 20:28

Oui, 197, c'est déjà un bon petit échantillon.

Intervenant 10:31

Exactement. Et le résultat, en apparence, il est foudroyant. Utiliser une intelligence artificielle, genre un grand modèle de langage, ça rapporterait en moyenne 11 points de plus. Mais bon, à ce stade, toute personne un peu habituée à manipuler des données a un énorme voyant rouge qui s'allume.

Intervenant 20:48

Le fameux « corrélation n'est pas causalité ».

Intervenant 10:52

Voilà. Pour illustrer, moi ça me fait penser à une piste d'athlétisme. Utiliser l'IA pour réviser, est-ce que c'est comme porter des chaussures de sprint professionnelles ?

Intervenant 21:03

Je vois tout à fait où tu veux en venir.

Intervenant 11:05

Bah oui ! Est-ce que c'est vraiment la chaussure qui rend l'athlète plus rapide ou est-ce que ce sont simplement les coureurs les plus dévoués et les plus performants, à la base, qui font la démarche d'acheter ce genre d'équipement ?

Intervenant 21:17

C'est une excellente analogie et ça illustre parfaitement ce qu'on appelle en statistique le piège de l'indépendance.

Intervenant 11:24

Le piège de l'indépendance, c'est-à-dire ?

Intervenant 21:25

Eh bien, la structure même de cette expérience est un peu particulière. En fait, chaque étudiant a passé deux examens partiels. Du coup, les deux notes obtenues par une seule et même personne ne sont absolument pas indépendantes.

Intervenant 11:37

Bah oui, vu que c'est le même cerveau qui passe l'examen.

Intervenant 21:39

C'est ça. Elle partage un facteur commun qui est invisible mais complètement déterminant. C'est le niveau inhérent de l'étudiant quoi. Ses facilités intrinsèques ou sa rigueur de base.

Intervenant 11:50

Donc en gros, si on se contente de mettre toutes les notes dans un immense tableau sans lier les épreuves à l'individu derrière, on traite des données connectées comme si elles étaient totalement isolées.

Intervenant 22:00

Voilà, c'est une erreur statistique assez classique.

Intervenant 12:03

Mais du coup, comment on contourne ce piège mathématiquement parlant ?

Intervenant 22:06

Alors pour ça, on utilise ce qu'on appelle un modèle linéaire à effet mixte avec intercept aléatoire.

Intervenant 12:11

Ouh là, modèle linéaire à effet mixte, rien que ça !

Intervenant 22:14

Oui, ça sonne un peu barbare, je sais. Mais concrètement, l'algorithme va isoler un niveau de base propre à chaque individu. Une sorte de signature personnelle, si on veut.

Intervenant 12:25

Ah d'accord. Et il soustrait ce niveau de base de l'équation globale, c'est ça ?

Intervenant 22:29

Tout à fait. Ce n'est qu'après avoir retiré le poids du talent naturel ou des lacunes de l'étudiant qu'il cherche à détecter si l'usage de l'intelligence artificielle a réellement eu un impact sur la variation qui reste.

Intervenant 12:42

C'est hyper élégant en théorie de soustraire mathématiquement cette signature personnelle. Mais en pratique, ça donne quoi en fait ? Parce que même après avoir appliqué ce filtre super rigoureux, l'étude met toujours en avant ces fameux 11 points d'avance.

Intervenant 22:57

Alors c'est justement là que le mirage se dissipe, quand on regarde les données brutes d'un peu plus près.

Intervenant 13:02

C'est-à-dire ?

Intervenant 23:03

Il y a un loup. Un gros loup. L'outil statistique révèle que ces 11 points, ce n'est qu'une moyenne incroyablement fragile. L'intervalle de confiance est en réalité immense. Il s'étire de 3,82 à 19,12.

Intervenant 13:17

Oh la vache, de 3 à 19 points. L'ironie est frappante. Les gros titres retiennent un bon miraculeux de 11 points, mais le gain mathématique réel pour un étudiant pourrait très bien se limiter à un très modeste 4 points en fait.

Intervenant 23:32

Exactement. Ça tempère tout de suite la portée prétendument révolutionnaire de l'outil.

Intervenant 13:36

C'est clair.

Intervenant 23:37

Et il y a un autre détail statistique qui change radicalement la donne. La présence même au second examen est massivement dictée par la réussite au premier, avec une taille d'effet de 0,97. Attends,

Intervenant 13:48

0,97 ? Ouais. Mais dans la vraie vie, qu'est-ce que ça implique concrètement un chiffre pareil ?

Intervenant 23:54

En statistique, une taille d'effet de 0,97, c'est absolument massif. En gros, ça veut dire que la bonne note au premier examen dicte presque à elle seule le fait que l'étudiant va se présenter à la deuxième épreuve.

Intervenant 14:05

Ah oui, donc l'usage de l'IA est relégué au rang de simples coïncidences presque.

Intervenant 24:10

C'est ça, c'est vraiment le profil de l'étudiant performant qui prime avant tout le reste.

Intervenant 14:15

Ce qui nous ramène direct à l'épinose question de la causalité. Comment prompter que c'est bien l'outil, l'IA, qui génère la réussite en réalité ?

Intervenant 24:26

C'est le vieux problème du groupe placebo en médecine. Pour prouver de manière irréfutable qu'une pilule guérit, il faut que le groupe traité et le groupe de contrôle soient parfaitement identiques au départ. Logique. Et le cadre théorique des résultats potentiels, celui de Paul Hollande en 1986, impose une logique assez cruelle. Pour prouver que l'IA donne 2 points en plus, il faudrait pouvoir observer le même étudiant exactement au même instant dans deux réalités parallèles.

Intervenant 14:52

Une réalité avec l'outil et une sans l'outil.

Intervenant 24:55

Exactement.

Intervenant 14:56

Ce qui est bien sûr physiquement impossible. Et vu qu'on ne peut pas cloner les étudiants, eh bien cette impossibilité laisse la porte grande ouverte à toutes les variables cachées possibles.

Intervenant 25:07

Tout à fait. Je veux dire, la motivation, le niveau d'anxiété face à la copie, la méthodologie de travail à la maison, enfin aucun modèle mathématique ne peut mesurer l'ambition d'un étudiant.

Intervenant 15:18

C'est sûr. Le groupe d'étudiants qui choisit d'utiliser l'IA est très probablement déjà biaisé dès le départ. Du coup, l'étude reste strictement observationnelle.

Intervenant 25:27

Donc au final, si on ne peut pas prouver scientifiquement que l'IA rend plus intelligent ou plus performant, que doivent faire les universités face à ces outils ? Faut-il simplement les interdire ? Non, pas du tout. La conclusion pratique reste quand même très utile. Les données indiquent que l'usage de l'IA ne pénalise absolument pas les étudiants dans des matières très structurées, dont les réponses sont formellement vérifiables. Comme

Intervenant 15:51

les maths discrètes, justement.

Intervenant 25:53

C'est ça. Même si le lien de causalité parfait n'existe pas, c'est une boussole précieuse. Ça prouve que dans un environnement logique, l'outil s'insère naturellement dans les stratégies d'apprentissage, sans pour autant détruire la performance.

Intervenant 16:04

C'est super rassurant et d'ailleurs, ce constat ouvre une perspective assez fascinante pour l'avenir de l'évaluation, je trouve.

Intervenant 26:11

Ah oui ? Comment ça ?

Intervenant 16:12

Bah, si les algorithmes deviennent les maîtres absolus dans la résolution des examens à réponse fermée, la véritable évaluation mathématique de demain devra peut-être changer totalement de forme.

Intervenant 26:22

C'est-à-dire ?

Intervenant 16:23

Ne plus noter le résultat final ? Voilà, il est intriguant d'imaginer un système complètement inversé où seules les ratures, les brouillons chaotiques et les fausses pistes seraient notées.

Intervenant 26:34

Ah, valoriser l'erreur et le tâtonnement en somme !

Intervenant 16:37

Exactement ! Car au final, ces hésitations imparfaites resteront peut-être les seules véritables preuves, indétectables et inimitables, d'un cheminement purement humain.