IA générative : comment le calcul devient réponse ?

Intervenant 10:00

Bonjour et bienvenue dans le podcast du magazine Tangente pour une nouvelle exploration en profondeur.

Intervenant 20:05

Bonjour, très heureuse d'être là pour décortiquer tout ça avec

Intervenant 10:09

vous. Avant d'entrer dans le vif du sujet, il faut vraiment qu'on parle d'un phénomène assez déroutant qu'on a observé récemment.

Intervenant 20:16

Ah oui, cette fameuse histoire des mots invisibles, c'est ça ?

Intervenant 10:18

Exactement. L'année dernière, lors de tests sur de nouveaux modèles d'IA, une intelligence artificielle a commencé à faire un truc complètement inattendu. Avant même d'afficher la moindre réponse à l'écran, elle s'est mise à générer des mots en secret, de façon invisible.

Intervenant 20:33

C'est fascinant quand on y pense.

Intervenant 10:34

Bah oui. Et pourquoi elle a fait ça ? Simplement parce qu'une équation mathématique lui a prouvé qu'en, disons, réfléchissant en silence, en prenant plus de temps de calcul interne, elle obtenait une meilleure note à la

Intervenant 20:45

fin.

Intervenant 10:46

C'est quand même troublant, non, de se dire que la machine invente d'elle-même le concept de tourner cette fois sa langue dans sa bouche uniquement pour satisfaire une formule mathématique.

Intervenant 20:54

En fait, cette anecdote illustre parfaitement le cœur de notre sujet d'aujourd'hui. L'intelligence artificielle générative donne une formidable illusion de conscience, de raisonnement. Oui, on a

Intervenant 11:04

vraiment l'impression de parler à

Intervenant 21:06

quelqu'un. Tout à fait. D'ailleurs, près d'un Français sur deux l'utilise déjà au quotidien et beaucoup ont la sensation de dialoguer avec une véritable entité qui les comprend.

Intervenant 11:14

C'est vrai.

Intervenant 21:15

Mais le but de notre analyse aujourd'hui, c'est de lever le voile sur cette prétendue magie. La thèse qu'on va décortiquer, elle est assez radicale, mais très pragmatique.

Intervenant 11:23

C'est-à-dire ?

Intervenant 21:25

Derrière cette interface hyper fluide, il n'y a en réalité qu'une immense suite de calculs. Des mathématiques dont le seul et unique but est d'accomplir une tâche hyper basique, à savoir prédire la suite logique d'une séquence.

Intervenant 11:37

Prédire la suite d'une séquence. Ça paraît presque trop trivial quand on voit les poèmes super complexes ou les lignes de codes informatiques impeccables que ces machines génèrent.

Intervenant 21:46

Oui, c'est le grand paradoxe en fait.

Intervenant 11:48

Mais du coup, si on veut comprendre comment un ordinateur, qui, on le rappelle, ne digère que des 0 et les 1, arrive à manipuler la langue de Molière, il faut se pencher sur la toute première étape.

Intervenant 21:56

La traduction, oui.

Intervenant 11:58

Voilà. Comment on passe d'un texte humain, avec des lettres, à une donnée calculable ?

Intervenant 22:02

Eh bien, il y a cette étape incontournable qu'on appelle la tokenisation. Parce que le modèle mathématique est totalement aveugle à notre alphabet.

Intervenant 12:09

Il ne voit pas les lettres A, B,

Intervenant 22:11

C. Exactement. Le texte brut, la question posée par l'utilisateur, est découpé en fragments. Ce sont les fameux tokens ou jetons textuels. Et à chacun de ces jetons, on associe un identifiant numérique unique.

Intervenant 12:24

D'accord.

Intervenant 22:25

L'ensemble de tous ces numéros, c'est ce qui constitue le dictionnaire du modèle.

Intervenant 12:29

Bon, décortiquons tout ça. Comment on décide de la taille de ce découpage ? Parce que si on coupait lettre par lettre, le dictionnaire serait minuscule, non ?

Intervenant 22:37

Bah oui, juste la taille de l'alphabet plus la ponctuation.

Intervenant 12:39

Et à l'inverse, si on faisait un jeton par mot entier du dictionnaire usuel ? Là, on aurait des millions d'entrées à gérer avec toutes les conjugaisons, les pluriels.

Intervenant 22:47

Ce qui serait beaucoup trop lourd à calculer, effectivement.

Intervenant 12:49

Du coup, comment ils font ?

Intervenant 22:50

L'approche moderne, c'est un compromis mathématique. On utilise généralement un algorithme de compression comme le BPE, ça veut dire « byte pair encoding ». Le principe, c'est de scanner des montagnes de textes et d'isoler les séquences de caractères qui apparaissent le plus souvent ensemble. Donc

Intervenant 13:05

les mots très communs, comme « bonjour » ou « le », deviennent

Intervenant 23:10

un seul token. C'est ça. Et les mots plus rares ou très complexes seront découpés en plusieurs tokens, parfois juste en syllabes.

Intervenant 13:16

Ce qui amène à un biais très concret en fait. Moi, j'aime bien voir ça un peu comme une partie de Scrabble, mais où les règles seraient un peu truquées pour avantager une langue.

Intervenant 23:24

C'est une bonne comparaison.

Intervenant 13:25

Parce que l'algorithme a été entraîné sur des corpus issus d'Internet qui sont massivement anglophones. Donc, il a créé un dictionnaire très optimisé pour l'anglais.

Intervenant 23:34

Oui, tout à fait.

Intervenant 13:35

Donc, le modèle est très économe quand il parle anglais. Mais s'il doit exprimer exactement la même idée en français, il va devoir utiliser beaucoup plus de jetons.

Intervenant 23:43

C'est ça.

Intervenant 13:43

La langue française coûte littéralement plus cher en puissance de calcul. C'est

Intervenant 23:47

fou, non ? Oui. L'analogie du Scrabble est super intéressante pour comprendre cette notion de coût. Mais il y a quand même une limite fondamentale à garder en tête.

Intervenant 13:54

Laquelle ?

Intervenant 23:55

Au Scrabble, une lettre comme le Z ou le W a une valeur en points qui est fixe, qui est immuable. Oui, ça

Intervenant 14:01

vaut 10 points.

Intervenant 24:02

Voilà. Dans notre dictionnaire de tokens, l'identifiant numérique attribué à un mot n'a aucune valeur de grandeur. Le numéro 402 n'est pas plus fort ou plus grand que le numéro 12.

Intervenant 14:12

Ce sont juste des étiquettes en fait, comme des numéros de dossards.

Intervenant 24:15

Exactement, de simples étiquettes de classement. Et c'est là que le véritable défi commence. Une fois qu'une phrase de quelques mots est traduite en, disons, huit variables mathématiques, il faut que la machine fasse interagir ces nombres pour créer du sens.

Intervenant 14:28

D'accord, donc on a nos huit variables d'entrée. Mais bon, une simple liste de nombres, ça ne suffit pas pour créer une réflexion mathématique. Comment l'ordinateur fait-il s'entrechoquer ces données ?

Intervenant 24:38

Là, on doit plonger dans la mécanique du neurone formel. C'est un concept qui date des années 40, avec McCulloch et Pitts.

Intervenant 14:44

Les années 40, oui.

Intervenant 24:45

L'idée fondatrice, c'est de réaliser une combinaison linéaire. Alors pour vulgariser un peu, imaginons chaque token d'entrée comme un membre d'un jury.

Intervenant 14:54

Ok, un jury au tribunal.