ChatGPT : comment les maths choisissent-elles le mot suivant ?

Intervenant 10:00

Bienvenue dans le podcast du magazine Tangente. Je suis vraiment ravi de retrouver tout le monde pour un sujet qui est incontournable aujourd'hui. On va parler de ChatGPT, l'outil d'open AI sorti fin 2022.

Intervenant 20:13

Salut Sam ! Oui, un sujet fascinant et surtout un sujet dont tout le monde parle. Mais on va l'aborder sous un angle très spécifique aujourd'hui.

Intervenant 10:20

Exactement. Parce qu'on entend beaucoup de choses sur la magie de l'IA ou même des scénarios de science-fiction. Mais pour notre auditoire, l'idée, c'est de révéler la vérité. Et la vérité, elle est vertigineuse. C'est avant tout une question de mathématiques pure.

Intervenant 20:36

Complètement. C'est pas de la conscience, c'est de l'algèbre. Et ça pose d'emblée un défi conceptuel majeur. Il faut déjà repartir de l'acronyme. GPT, ça veut dire transformeur génératif préentraîné en français.

Intervenant 10:49

D'accord. Donc on parle bien de réseau de neurones. C'est ce concept de fonction mathématique avec plein de couches où les paramètres s'ajustent avec des données.

Intervenant 20:58

C'est ça. Mais le saut technologique qui a sidéré tout le monde, même les scientifiques, ce n'est pas un algorithme magique sorti de nulle part, c'est un changement d'échelle d'une brutalité inouïe en

Intervenant 11:09

fait.

Intervenant 21:10

Un changement d'échelle à quel point ? Parce que je crois que j'ai un chiffre sous les yeux qui fait un peu tourner la tête.

Intervenant 11:15

Dis-le, je suis sûr que c'est le

Intervenant 21:16

bon. On est passé de 1,5 milliard de paramètres pour la version GPT-2 en 2019 à 175 milliards pour GPT-3. C'est démentiel, non ?

Intervenant 11:27

C'est exactement ce chiffre. 175 milliards de paramètres qui ont été estimés en ingérant 560 gigaoctets de texte brut. C'est presque tout internet, quoi. Wow. Et donc notre mission aujourd'hui, c'est de comprendre comment une simple fonction mathématique, même énorme, arrive à générer du texte qui nous bluffe autant.

Intervenant 21:47

Voilà, sans magie, juste avec une rigueur mathématique implacable.

Intervenant 11:52

Ok, décortiquons un peu tout ça. Parce que pour qu'une machine traite du texte, il faut bien qu'elle le transforme en maths, non ? Je veux dire, on ne peut pas multiplier une phrase de Victor Hugo par une matrice.

Intervenant 22:01

Non, ça c'est impossible. C'est pour ça qu'il y a une étape cruciale qu'on appelle la vectorisation ou le embedding en anglais.

Intervenant 12:09

L'embedding ? D'accord. Ça marche comment en fait ?

Intervenant 22:12

Eh bien, le texte est d'abord découpé en petites unités qu'on appelle des tokens. Ça peut être un mot entier ou juste une syllabe. Et ensuite, la magie mathématique commence. Chaque token est projeté dans un espace vectoriel.

Intervenant 12:25

Attends, donc chaque mot devient un vecteur ? Un peu comme des coordonnées géométriques ?

Intervenant 22:30

C'est exactement ça. Mais attention, on ne parle pas d'un espace en trois dimensions comme on a l'habitude de voir. Le réseau positionne chaque mot dans un espace qui peut posséder plusieurs milliers de dimensions.

Intervenant 12:41

Oh là là. Donc, si on essaie de visualiser, c'est comme si on prenait tout le dictionnaire et qu'on transformait en une gigantesque carte de coordonnées spatiales.

Intervenant 22:51

Oui, une immense galaxie de mots. Et ce qui est génial, c'est que la position de ces mots n'est pas arbitraire. Par exemple, si tu calcules la distance entre le vecteur de roi et celui de reine, eh bien c'est quasiment la même distance qu'entre homme et femme.

Intervenant 13:06

Ah ouais, d'accord. Donc la sémantique, le sens des mots, ça devient de la pure géométrie spatiale. C'est dingue ?

Intervenant 23:12

C'est ça. Mais il faut nuancer un peu. Avant, on utilisait des modèles classiques, comme les fameuses chaînes de Markov. D'ailleurs, Tangente Sup numéro 69 en avait fait une super analyse en 2013. Ah oui,

Intervenant 13:27

je m'en souviens, ça modélisait le passage d'un état à un autre, c'est ça ?

Intervenant 23:31

Tout à fait. Mais le problème des chaînes de Markov, c'est que ça dépendait uniquement du mot juste avant.