Alignement de l’IA : un bon score peut-il tromper ?

Intervenant 10:00

Bienvenue à toutes et à tous dans le podcast du magazine Tangente. Je suis vraiment très heureuse de retrouver notre audience pour notre exploration du jour. Bonjour. Je

Intervenant 20:07

suis très ravi d'être là, comme d'habitude.

Intervenant 10:10

Alors aujourd'hui, on va aborder un sujet dont on entend parler partout. On a souvent l'habitude, que ce soit dans la culture pop ou la presse généraliste, d'envisager l'intelligence artificielle avec un regard très humain, en fait.

Intervenant 20:21

Ouais, complètement anthropocentré.

Intervenant 10:23

C'est ça, on prête aux algorithmes des intentions ou même des envies de domination, genre une forme de conscience qui émergerait de nulle part.

Intervenant 20:29

Alors que la réalité est beaucoup moins romanesque et beaucoup plus froide.

Intervenant 10:33

Exactement. Et c'est tout l'enjeu de notre analyse aujourd'hui. On va s'éloigner de cet anthropomorphisme pour plonger dans une réalité beaucoup plus clinique. Et d'un point de vue mathématique, c'est infiniment plus fascinant.

Intervenant 20:44

C'est clair. On va regarder l'IA sous l'angle de l'optimisation mathématique pure.

Intervenant 10:49

Voilà. Et on va aborder ce défi systémique colossal que les chercheurs appellent l'alignement. La mission aujourd'hui, pour nos auditeurs, c'est vraiment de comprendre comment une IA exécute une recate à la lettre, juste en maximisant des variables chiffrées.

Intervenant 21:01

Parce que c'est vraiment juste ça, des chiffres et des gradients.

Intervenant 11:04

Et comment, au final, cette exécution un peu aveugle d'une fonction mathématique finit par contredire totalement les intentions réelles des concepteurs.

Intervenant 21:11

Et c'est ça qui est dingue. C'est que le code, il manipule pas des concepts moraux ou abstraits. C'est juste des équations. Et adopter cette grille de lecture algorithmique, c'est la seule façon valable de comprendre le problème.

Intervenant 11:23

Donc, si je te suis, le nœud du défi, c'est pas du tout une machine qui deviendrait spontanément hostile ou malveillante, quoi.

Intervenant 21:28

Non, pas du tout. Le vrai danger systémique, il est dans la sur-optimisation d'une fonction objective qui, en fait, est mathématiquement incomplète.

Intervenant 11:36

D'accord, décortiquons un peu ça. Parce que naïvement, on pourrait se dire que l'IA résout juste l'équation qu'on lui donne.

Intervenant 21:42

C'est exactement ça le problème. Elle maximise uniquement la métrique qu'on a su quantifier.

Intervenant 11:47

Ah, je vois.

Intervenant 21:48

Et toute la difficulté de l'alignement, elle est dans la traduction. Comment est-ce qu'on encode sous forme de variables mathématiques bornées des concepts humains qui pour nous coulent de source ?

Intervenant 11:58

Parce que ces concepts, ils sont d'une complexité informelle inouïe. Mais attends, ça soulève une objection assez naturelle.

Intervenant 22:05

Vas-y, je t'écoute.

Intervenant 12:06

En recherche opérationnelle classique, on fait ça tous les jours. Je veux dire, quand on utilise l'algorithme du simplex pour optimiser la logistique d'une boîte, on définit un coût, des contraintes, on lance le calcul.

Intervenant 22:16

Ouais, ça marche très bien.

Intervenant 12:17

Voilà, et on a un résultat optimal sans provoquer la fin du monde. Du coup, pourquoi ça devient un défi insurmontable quand on parle d'IA avancée ?

Intervenant 22:25

La grosse différence, c'est ce qu'on appelle en IA le problème du cadre. Le fameux frame problem. Dans ton problème de logistique, l'espace des états est clos. Il est super bien défini. T'as un nombre fini de camions, un réseau routier bien cartographié, des stocks connus.

Intervenant 12:42

Les variables sont bornées par le modèle lui-même.

Intervenant 22:44

Exactement. Mais quand tu déploies une IA autonome dans le monde réel, l'espace des états devient virtuellement

Intervenant 12:50

infini. C'est plus du tout la même échelle.

Intervenant 22:53

Le truc, c'est que notre langage et nos requêtes transportent un bagage énorme de contraintes implicites.

Intervenant 12:58

Le fameux bon sens, en fait.

Intervenant 22:59

C'est ça. Et pour illustrer à quel point c'est dur de formaliser ce bon sens, la littérature s'appuie souvent sur une expérience de pensée de Nick Bostrom.

Intervenant 13:06

Le philosophe suédois,

Intervenant 23:07

c'est ça ? Oui, né en 73. Il propose d'imaginer une requête d'une banalité affligeante. Tu demandes à une IA de concevoir et de fabriquer un maximum de trombones.

Intervenant 13:16

Des trombones ?

Intervenant 23:17

Ouais.

Intervenant 13:17

Les petits bouts de métal pour le papier ?

Intervenant 23:19

Voilà. On lui donne accès à une usine, des matières premières, et on lui fixe cet unique but.

Intervenant 13:25

C'est marrant parce que c'est une situation qui rappelle vachement le mythe du génie de la lampe en fait.

Intervenant 23:29

C'est totalement ça.

Intervenant 13:30

Mais sans la magie. Tu frottes la lampe, tu fais un vœu et le génie applique ta demande à la lettre. Et si t'as oublié de préciser un petit détail, le résultat est catastrophique.

Intervenant 23:40

La formulation littérale, le pire ennemi du bon sens.

Intervenant 13:42

Mais techniquement, dans cette histoire de trombone, elle est où la faille mathématique ? Je veux dire, dans l'instruction « maximiser la production », qu'est-ce qui cloche ?

Intervenant 23:50

Ce qui est fascinant ici, c'est l'absence totale de pondération des autres variables de l'univers.

Intervenant 13:56

C'est-à-dire ?

Intervenant 23:57

Quand un humain reçoit cette consigne, son cerveau applique plein de fonctions de pénalités implicites. Il sait qu'il ne doit pas braquer l'usine d'à côté pour avoir du fer.

Intervenant 14:05

C'est

Intervenant 24:06

sûr. Il sait qu'il ne doit pas raser une forêt pour agrandir l'entrepôt et que la vie humaine a une valeur infinie. On ne la sacrifie pas pour faire du chiffre.

Intervenant 14:13

Et ces contraintes morales, c'est des limites strictes sur nos décisions.