5 janv. 2018 · 17 min
Deux textes se ressemblent-ils ? Les comparer par vecteurs
Dans cet épisode, suivez les étapes qui transforment les mots en coordonnées, puis comparent les textes par vocabulaire, angle et fréquence.
Collections de cet épisode (3)
Un contenu original Tangente, adapté en podcast avec l’aide de l’IA et validé par notre rédaction. Comment ça marche ?
Transcription
Afficher la transcriptionMasquer la transcription
Transcription automatique
Intervenant 1
Bienvenue à toutes et à tous dans le podcast du magazine Tangente. Aujourd'hui, on se lance dans une exploration vraiment spéciale.
Intervenant 2
Ouais, un sujet qui mélange la littérature et de l'algèbre pur et dur.
Intervenant 1
C'est ça. En fait, on se penche sur un article fascinant intitulé « Les mots sont des vecteurs ». Et la mission de cette plongée, c'est de comprendre comment une machine, un ordinateur qui n'a ni cœur ni sensibilité artistique, arrive à lire et à comparer des
Intervenant 2
textes. Parce que si on donne un poème de Baudelaire à un processeur, il ne ressent rien du tout.
Intervenant 1
Absolument rien. C'est juste du code pour lui. Donc, pour qu'un ordinateur puisse comparer de romans ou de pièces de théâtre, il faut faire un genre de magie conceptuelle. Il faut transformer la littérature en géométrie. Ce
Intervenant 2
qui est fascinant ici, c'est vraiment cette nécessité de traduction. Pour qu'une machine juge si deux paragraphes se ressemblent, elle doit passer par l'abstraction numérique. Et c'est là que l'algèbre linéaire intervient.
Intervenant 1
D'accord. Donc en gros, la clé, c'est de définir une sorte de distance mathématique entre les mots.
Intervenant 2
Exactement. Tout l'enjeu, c'est de trouver comment projeter un texte dans un espace mathématique qu'on peut mesurer.
Intervenant 1
Bon, alors décortiquons tout ça. Si on veut comparer deux textes, concrètement, on fait comment pour transformer nos mots en données ? C'est quoi la méthode de base ?
Intervenant 2
L'approche la plus élémentaire, c'est de regarder la simple présence ou absence des mots. En fait, on dresse une liste exhaustive de tous les mots uniques des deux textes.
Intervenant 1
Notre dictionnaire global, en somme.
Intervenant 2
C'est ça, le vocabulaire global. Et à partir de là, on crée un vecteur pour chaque texte. Et un vecteur, ici, c'est juste une suite de chiffres.
Intervenant 1
Donc si le mot est là, on met un 1, et s'il n'y est pas, on met un 0.
Intervenant 2
Voilà, c'est un codage purement binaire, tout simplement.
Intervenant 1
Pour que ce soit bien tangible, reprenons l'exemple précis de l'article de Tangente. On a deux textes hyper courts. Le premier, on va l'appeler le texte S pour soleil. La phrase c'est « Le soleil dit, je suis le soleil ».
Intervenant 2
Très poétique.
Intervenant 1
Ouais, très simple. Et le texte L pour lune, c'est « Je suis le soleil, dit la lune ». À l'oreille, on capte tout de suite qu'ils se ressemblent énormément.
Intervenant 2
Ah bah carrément ! Et du coup, le modèle mathématique va chercher à objectiver cette intuition. La première étape, c'est d'extraire notre vocabulaire unique de ces deux phrases.
Intervenant 1
Alors attends, si on liste les mots sans les répéter, on a 10, je, la, le, lune, soleil et suis. Ça fait 7 mots au total.
Intervenant 2
Exactement, notre espace vectoriel possède donc 7 dimensions.
Intervenant 1
7 dimensions, juste pour deux petites phrases, c'est fou quand on y pense.
Intervenant 2
Ouais, et c'est là qu'on fait la projection. Pour le texte S, il contient 5 de ces mots uniques. Les mots la et lune n'y sont pas.
Intervenant 1
Ok, donc sans vecteur, ça va être des 1 partout, sauf pour la et lune où on met des zéros.
Intervenant 2
Tout à fait. Et pour le texte L, lui, il utilise les 7 mots de notre dictionnaire, donc son vecteur ne contient que des 1.
Intervenant 1
D'accord. Et une fois qu'on a ces deux suites de chiffres, comment on mesure la ressemblance ?
Intervenant 2
On utilise ce qu'on appelle l'indice de Jacquard.
Intervenant 1
L'indice de Jacquard. Ça sonne très chic, mais comment ça marche ?
Intervenant 2
C'est super direct, en fait. On calcule simplement la proportion du vocabulaire en commun par rapport au vocabulaire total.
Intervenant 1
Donc, nos textes S et L ont 5 mots en commun sur un total de 7 mots uniques.
Intervenant 2
Voilà. La similarité de Jacquard est donc de 5 divisé par 7. C'est aussi simple que ça.
Intervenant 1
D'accord, c'est très clair. Mais il y a une faille évidente là, non ? Cette méthode binaire, elle ignore complètement le volume ou le nombre de fois qu'un mot est
Intervenant 2
utilisé. Ah, tu mets le doigt en plein dessus !
Intervenant 1
Bah oui ! Imagine qu'on faine un moment de 1000 pages et qu'on le compare à un résumé d'une seule page qui utiliserait, par un hasard incroyable, exactement les mêmes mots, mais juste une seule fois chacun.
Intervenant 2
L'indice de Jacquard te donnerait un score parfait de 1. Ce qui est absurde ! Il conclurait que les deux textes sont identiques. C'est le gros point faible. Si on relie ça à une vision plus globale, le binaire est aveugle à la densité de l'œuvre. Donc, pour aller plus loin, il faut compter les occurrences. Au lieu d'écrire 1 ou 0, on note le nombre exact de fois que chaque mot apparaît.
Intervenant 1
Et c'est là qu'on utilise la fameuse distance euclidienne.
Intervenant 2
Exactement.
Intervenant 1
Mais la distance euclidienne, c'est pas le truc de Pythagore qu'on apprend au collège pour mesurer un segment sur un plan.
Intervenant 2
C'est le même principe de base, ouais, mais généralisé à notre espace à 7 dimensions. En gros, on prend le nombre d'occurrences d'un mot dans le texte S, on y soustrait le nombre d'occurrences dans le texte L, on élève cette différence au carré, on additionne tout et on prend la racine carré.
Intervenant 1
Ok, faisons le calcul sur notre exemple pour ne pas perdre le fil. Dans le texte S, le mot « le » est là deux fois. Et dans le texte L, une seule fois.
Intervenant 2
Donc la différence est 1, au carré, ça fait 1.
Intervenant 1
Pareil pour le mot « soleil ». Deux fois dans S, une fois dans L. La différence est 1, au carré, ça reste 1.
Intervenant 2
Ensuite, pour les mots « dit », « je » et « suit », ils sont présents une fois dans chaque texte.
Intervenant 1
Donc la différence est de zéro. Ça s'annule.
Intervenant 2
C'est ça. Et enfin, les mots « la » et « lune » apparaissent zéro fois dans « s » et une fois dans « l ».
Intervenant 1
Ça fait une différence de moins un, mais comme on les lève au carré, ça fait un aussi.
Intervenant 2
Voilà. Si on additionne tous nos carrés, on a un pour « le », un pour « soleil », un pour « la » et un pour « lune ». La somme fait quatre.
Intervenant 1
Et la racine carrée de 4, c'est 2. Donc la distance euclidienne entre nos deux textes, c'est 2.
Intervenant 2
T'as tout bon.
Intervenant 1
C'est concret. Mais en y réfléchissant, est-ce que ça règle vraiment notre problème de longueur de texte ? Imagine que je prenne un discours et que je le copie-colle 100 fois de suite.
Intervenant 2
Je vois où tu veux en
Intervenant 1
venir. Les occurrences vont exploser. La distance euclidienne entre le texte de base et le gros fichier copié-collé va être énorme, alors que c'est fondamentalement la même chose.
Intervenant 2
C'est une super déduction. C'est le paradoxe de cette géométrie. La distance euclidienne dépend de la norme du vecteur, en fait, sa longueur physique. Plus le texte est long, plus la pointe du vecteur s'éloigne de l'origine.
Intervenant 1
Donc deux textes frères, mais de tailles différentes, vont se retrouver super éloignés dans l'espace mathématique. Ça casse un peu le truc.
Intervenant 2
Carrément. C'est un obstacle majeur. Et c'est là qu'on introduit une solution beaucoup plus élégante, la similarité cosinus.
Intervenant 1
La similarité cosinus, ça me rappelle le lycée.
Intervenant 2
L'idée, c'est qu'on délaisse complètement la distance pour regarder la direction. Au lieu de regarder l'écart entre les pointes des vecteurs, on ignore leur longueur. On se concentre juste sur l'angle qu'ils forment entre eux, l'angle θ.
Intervenant 1
Ça c'est vraiment intéressant. Donc on remplace la longueur par une ouverture angulaire. Si je visualise deux flèches qui partent d'un même point, l'une c'est un écout d'un centimètre et l'autre un roman de 1000 pages qui fait un kilomètre de
Intervenant 2
long. L'algorithme s'en fiche de la taille, il regarde juste l'écart angulaire.
Intervenant 1
C'est brillant. Et comment ça se traduit en chiffres ?
Intervenant 2
Les propriétés du cosinus sont parfaites pour ça. Ça oscille entre 0 et 1. Si deux textes n'ont aucun mot en commun, les flèches partent dans des directions totalement différentes. Elles sont orthogonales.
Intervenant 1
Un angle droit de 90 degrés,
Intervenant 2
quoi. Voilà. Et le cosinus de 90 degrés vaut 0. Donc, similarité nulle.
Intervenant 1
Et pour mon texte copié-collé 100 fois ?
Intervenant 2
Là, les vecteurs pointent exactement dans la même direction. Ils sont sur le même axe, collinaire. L'angle est de 0° et le cosinus de 0 vaut
Intervenant 1
1. Score parfait ! La similarité est absolue, peu importe le volume. Et pour nos textes sur le Soleil et la Lune, le calcul donne quoi ?
Intervenant 2
L'application de la formule donne environ 0,8, un score très élevé qui valide l'intuition de départ.
Intervenant 1
C'est super efficace. Mais j'ai une autre approche en tête. Si on veut regarder le poids relatif d'un mot, plutôt que de juste regarder un angle, est-ce qu'on peut utiliser les probabilités ?
Intervenant 2
Absolument. C'est la troisième méthode détaillée dans l'article. On parle de fréquence relative. Au lieu de compter les occurrences brutes, on évalue la probabilité de tirer un mot au hasard dans le texte.
Intervenant 1
Donc on divise le nombre d'apparitions d'un mot par le nombre total de mots dans le texte.
Intervenant 2
Exactement. Prenons le texte S, il y a 7 mots au total en comptant les répétitions.
Intervenant 1
Donc le mot « le » qui est là deux fois a une fréquence relative de 2 sur 7.
Intervenant 2
Et c'est pareil pour « soleil ». Ensuite, « dit », « je » et « suit » apparaissent une fois, donc 1 sur 7. « La » et « lune » sont à zéro.
Intervenant 1
Et pour le texte L, qui a aussi 7 mots en tout, mais sans répétition. Chaque mot a une fréquence de 1 sur 7, c'est ça ?
Intervenant 2
Tout à fait. Et à partir de là, on utilise une autre formule qu'on appelle la distance intertextuelle, basée sur la norme L1.
Intervenant 1
Encore un nouveau non-savant. Comment on la calcule, cette norme L1 ?
Intervenant 2
Le principe, c'est de calculer l'écart absolu de fréquence pour chaque mot, de faire la somme de tout ça, et de diviser le résultat par deux.
Intervenant 1
Ok, on s'accroche et on y va. Pour le mot « le », on a 27 dans le texte « s » et 17 dans le texte « l ». L'écart absolu est de 17.
Intervenant 2
Pareil pour « soleil », l'écart est de 17. Les mots « dit », « je » et « suit » ont la même fréquence de 17 dans les deux, donc l'écart est zéro.
Intervenant 1
Et pour la et l'une, ils sont absents dans S, donc 0, mais à 17 dans L. Ça fait deux écarts supplémentaires de 17.
Intervenant 2
Super. Et si on additionne tous ces écarts ?
Intervenant 1
On a quatre écarts de 17, donc la somme fait 47. Et on divise par deux, ça donne 27. C'est
Intervenant 2
ça. Le résultat final de la norme L1 est de 27.
Intervenant 1
Et tu sais ce que j'adore avec ce chiffre de 27 ? C'est que c'est hyper concret. Ça veut littéralement dire qu'il faut modifier deux mots sur 7 pour transformer le texte S en texte L. C'est une vraie mesure de l'effort éditorial en fait.
Intervenant 2
C'est une interprétation très élégante. La norme L1 quantifie vraiment l'énergie de réécriture.
Intervenant 1
Mais bon, on s'emballe avec nos vecteurs et nos angles, mais on rate pas un éléphant dans la pièce, là.
Intervenant 2
Quel éléphant ?
Intervenant 1
L'ordre des mots ne règle pas. Ces méthodes découpent les phrases, comptent les fréquences, mais détruisent la syntaxe. Si je dis « le chien mort l'homme » ou « l'homme mort le chien », pour l'algorithme, c'est le même vecteur.
Intervenant 2
Ah oui, c'est ce qu'on appelle le modèle du sac de mots. Le système met tous les mots dans un sac, il les mélange et il les compte. Il est totalement aveugle à la chronologie du récit.
Intervenant 1
Et c'est pire que ça. Qu'est-ce qu'on fait avec les homonymes ? Dans notre texte « Je suis le soleil », le mot « s-u-i-s », c'est le verbe « être » ou le verbe « suivre ».
Intervenant 2
Ah bah oui, parce que si c'est la Lune qui parle, elle pourrait très bien dire « je suis le soleil » dans le sens de « le suivre dans le ciel ».
Intervenant 1
Et ça change tout le sens de la phrase. Mais pour l'ordinateur, S-U-I-S, c'est la même coordonnée mathématique.
Intervenant 2
C'est le cauchemar de l'analyse lexicale. Pense au mot « est », E-S-T. C'est le verbe « être » ou le point cardinal « est ». Et le mot « été », E-T-I. La saison ou le participe passé, E-T-I.
Intervenant 1
Si on laisse l'algorithme faire son calcul aveuglement, les résultats seront complètement corrompus.
Intervenant 2
Du coup, la parade, c'est qu'avant de faire des mathématiques, il faut faire de la linguistique. On applique ce qu'on appelle la lématisation et l'étiquetage morphosyntaxique.
Intervenant 1
Oula, l'étiquetage morphosyntaxique. Ça veut dire qu'on regarde le contexte pour donner une étiquette grammaticale à chaque mot ?
Intervenant 2
C'est exactement ça. On analyse les mots autour pour trouver la forme de dictionnaire, le lème et sa fonction. Le système ne va plus juste voir suit. Il va l'étiqueter suivre verbe ou être verbe selon la phrase.
Intervenant 1
Donc les différentes conjugaisons d'un verbe sont regroupées sur un seul axe vectoriel et les homonymes sont séparés sur des axes différents.
Intervenant 2
Voilà, ça demande énormément de ressources informatiques, mais c'est vital pour que les distances calculées aient un vrai sens.
Intervenant 1
Bon, on a vu la théorie, l'algèbre, la grammaire, mais concrètement, à quoi ça sert au quotidien ? Parce qu'on imagine bien que c'est pas juste pour amuser les mathématiciens le dimanche.
Intervenant 2
Eh bien, c'est le cœur nucléaire des moteurs de recherche.
Intervenant 1
Genre Google ou Bing ?
Intervenant 2
Ouais. Quand tu tapes une requête, l'algorithme ne cherche pas juste une suite de caractères identiques. Il transforme tes mots-clés en un vecteur mathématique.
Intervenant 1
Et comme le moteur a déjà vectorisé des milliards de pages web en amont,
Intervenant 2
il calcule la similarité cosinus entre ta requête et les documents de sa base de données dans un espace à des milliards de dimensions.
Intervenant 1
Et il nous affiche les pages dont l'angle est le plus proche de notre requête.
Intervenant 2
C'est vertigineux de se dire que notre navigation repose sur des calculs d'angle géométrique. C'est dingue, non ? Et cette logique permet aussi de filtrer les plagiat. Si deux articles web ont un cosinus trop proche de 1, l'algorithme comprend que c'est un copier-coller et n'en affiche qu'un.
Intervenant 1
Mais là où ça devient carrément sulfureux, d'après les sources de l'article, c'est quand on applique ça à la littérature, dans ce qu'on appelle la stylométrie.
Intervenant 2
Ah, la stylométrie. Un domaine passionnant, mais qui fait souvent polémique. L'idée de base, c'est que le style d'un auteur peut être quantifié mathématiquement.
Intervenant 1
Et on s'en sert pour quoi ?
Intervenant 2
Pour classifier des genres, étudier l'évolution du vocabulaire d'un écrivain, mais surtout pour résoudre des enquêtes de paternité littéraire.
Intervenant 1
L'attribution de textes sous pseudonyme. L'article mentionne l'affaire Romain Garry et Émile Ajor.
Intervenant 2
C'est un cas d'école. Romain Garry avait créé ce pseudonyme, Ajar, pour berner la critique littéraire. Et ça a tellement bien marché qu'il a gagné un deuxième prix Goncourt, ce qui est normalement impossible.
Intervenant 1
Et les vecteurs ont découvert le poteau rose ?
Intervenant 2
Bien avant qu'il n'avoue la supercherie, des chercheurs avaient mesuré les distances intertextuelles entre les romans de Garry et ceux d'Ajard. Et les algorithmes montraient une proximité géométrique anormale.
Intervenant 1
Une vraie signature lexicale qui le trahissait.
Intervenant 2
Exactement. L'empreinte de l'auteur était toujours là.
Intervenant 1
Mais le dossier qui fait vraiment trembler les universités, c'est la fameuse controverse entre Molière et Pierre Corneille, non ?
Intervenant 2
Oh là là, oui ! Des statisticiens ont appliqué ces méthodes aux œuvres de Molière et de Corneille. Mais attention, ils ne se sont pas focalisés sur les grands mots ou les thèmes poétiques.
Intervenant 1
Parce que ça, un bon auteur peut facilement les imiter ou les parodier.
Intervenant 2
Voilà. Ils ont vectorisé la fréquence des mots-outils.
Intervenant 1
Les mots-outils, c'est-à-dire les petits mots de liaison ?
Intervenant 2
Les conjonctions de coordination, les prépositions, les pronoms, les mots comme « de », « que », « et ». Ces mots-là, on les utilise de manière totalement inconsciente, ça forme une véritable empreinte digitale syntaxique. Et qu'est-ce
Intervenant 1
que les calculs de distance ont révélé sur Molière et Corneille ?
Intervenant 2
L'analyse a montré une distance intertextuelle extrêmement faible entre certains chefs-d'œuvre signés Molière et les textes de Corneille. Du coup, des chercheurs ont émis l'hypothèche que Corneille aurait écrit pour Molière.
Intervenant 1
J'imagine même pas la réaction des puristes de la littérature classique.
Intervenant 2
Une levée de bouclier féroce. Les critiques littéraires rappellent, à juste titre, que la stylométrie mathématique a du mal avec le contexte historique. Au XVIIe siècle, le théâtre était très collaboratif.
Intervenant 1
Et puis réduire le génie de Molière à un comptage de haies et de queues, ça efface l'ironie, le rythme comique, la mise en scène.
Intervenant 2
C'est toute la friction entre la science, des données et les sciences humaines. Le débat est toujours très vif.
Intervenant 1
C'est l'éternel combat entre la froideur du calcul et la magie de l'art. Si on résume un peu tout ça, on réalise que l'analyse de texte, aujourd'hui, c'est comme cartographier une galaxie littéraire. On prend un livre, on le convertit en un point, dans un espace à des milliers de dimensions, et en mesurant des angles, on devine quelles œuvres sont de la même famille, que ce soit pour une recherche Google ou pour traquer des fantômes d'auteurs.
Intervenant 2
C'est exactement ça. Et d'ailleurs, si on pousse cette logique jusqu'au bout, ça soulève une réflexion finale assez troublante.
Intervenant 1
Ah, je t'écoute.
Intervenant 2
On vient de voir qu'un auteur laisse, sans s'en rendre compte, une signature géométrique trahie par ses mots-outils. Mais imaginons un romancier moderne ou un lanceur d'alerte qui comprendrait parfaitement ces histoires de similarité cosinus et de distance intertextuelle.
Intervenant 1
Tu veux dire quelqu'un qui voudrait saboter son propre vecteur ?
Intervenant 2
Exactement. Il pourrait très bien utiliser un logiciel qui l'obligerait mathématiquement à changer ses probabilités lexicales, à placer des conjonctions bizarres, juste pour brouiller les pistes.
Intervenant 1
Un brouilleur de signal littéraire.
Intervenant 2
Il sculpterait artificiellement la géométrie de son texte pour publier sous pseudo de manière totalement indétectable. Même les algorithmes les plus puissants n'y verraient que du feu. C'est le crime parfait version intelligence artificielle.
Intervenant 1
L'idée d'une littérature furtive, d'un piratage conscient de sa propre syntaxe, c'est un vertige total. Je crois que c'est la réflexion parfaite pour clore ce sujet. Merci à tous d'avoir suivi cette plongée au cœur de la géométrie des mots.
Intervenant 2
Ouais, un grand merci.
Intervenant 1
C'est vraiment un privilège d'explorer ces frontières entre l'algèbre et la linguistique avec vous. Gardez l'œil ouvert sur les mots que vous lisez et à l'avenir, n'hésitez pas à en deviner les vecteurs. À bientôt pour de nouvelles découvertes.
À écouter ensuite
Des épisodes qui partagent une playlist, une figure ou un domaine avec celui-ci.
10 juin 2026 · 5 min
1 déc. 2025 · 14 min
13 oct. 2023 · 22 min
25 août 2023 · 24 min
17 mai 2023 · 12 min
23 févr. 2023 · 6 min