Comment fonctionnent les LLM ? Tokens, attention et génération de texte expliqués

Illustrated cat next to a neural network diagram showing how LLMs work

Vous saisissez une phrase dans ChatGPT, Claude ou Gemini, et un paragraphe revient avec l’allure d’un texte écrit par une personne. La question intéressante vient ensuite : comment les LLM fonctionnent-ils vraiment sous le capot ? La réponse honnête est qu’un grand modèle de langage est un immense moteur statistique entraîné à prédire le prochain fragment de texte, morceau après morceau. Ce seul procédé, suffisamment amplifié, produit du code, des essais, des traductions et des arguments. Ce guide parcourt toutes les étapes dans un langage simple : tokens, embeddings, attention, entraînement, inférence et raisons pour lesquelles ces systèmes se trompent encore. À la fin, vous comprendrez ce qui se passe entre votre instruction et la réponse, et aurez de meilleures raisons de la vérifier plutôt que de faire confiance à son ton.

Sommaire

Ce qu’est réellement un LLM

Un grand modèle de langage est un réseau neuronal entraîné à représenter des régularités du langage. Pour beaucoup de modèles génératifs, prédire le prochain token est au cœur du préentraînement. Le comportement conversationnel reflète aussi les entraînements ultérieurs et l’application entourant le modèle. Ce guide se concentre sur l’approche courante du transformer autorégressif, pas sur toutes les architectures possibles de modèles de langage.

Les informations apprises sont encodées dans des paramètres numériques plutôt que dans une table ordinaire de phrases consultable par recherche. Cela ne signifie pas que le modèle ne puisse pas mémoriser du texte : des recherches sur l’extraction de données d’entraînement ont démontré une récupération mot pour mot dans certaines conditions. Lors de la génération, le modèle calcule les scores des candidats au prochain token à partir du contexte disponible.

Publicité

Trois choses qu’un LLM n’est pas

Le modèle n’est pas une base de données conventionnelle. Sa réponse générée n’est pas automatiquement un enregistrement récupéré. Une application peut le connecter à une recherche ou à des bases de données, mais ce sont des mécanismes supplémentaires.

Une réponse fluide ne montre pas de façon transparente comment elle a été produite. Générer des étapes intermédiaires peut fournir davantage de calcul et aider certaines tâches, mais une explication dans la sortie n’est pas nécessairement un récit fidèle du processus interne.

Le produit dépasse un seul état sauvegardé du modèle. Les fournisseurs peuvent changer les modèles, les instructions, la recherche documentaire et les outils. Un comportement différent ne signifie pas forcément que seuls les poids sous-jacents ont changé.

Tokens et embeddings : comment les LLM voient le texte

Avant de faire quoi que ce soit avec votre instruction, un LLM doit convertir le texte en nombres. Cela se passe en deux étapes : tokenisation et représentation vectorielle, ou embedding. Elles sont plus simples qu’elles n’en ont l’air et façonnent davantage le comportement du modèle qu’on ne le pense souvent.

Tokenisation : découper le texte

Un tokeniseur divise le texte en unités appelées tokens. Selon le tokeniseur et le texte exact, un token peut représenter un fragment de mot, de la ponctuation, un espace ou une autre unité. « Tokenisation » peut être découpé en fragments, mais il faut le véritable tokeniseur pour savoir comment « Pudgy Cat » est encodé. Le chat n’a pas de nombre universel de tokens.

L’encodage par paires d’octets est une approche courante : il construit des unités réutilisables en fusionnant des paires fréquentes. D’autres méthodes existent, dont la tokenisation par unigrammes. SentencePiece prend en charge ces deux approches. Les méthodes par sous-mots et par octets peuvent représenter des chaînes inconnues à l’aide de petits fragments, mais les vocabulaires et le traitement des caractères inhabituels diffèrent.

Pour estimer les coûts et les longueurs, comptez les tokens avec le tokeniseur du modèle réellement utilisé. Prose anglaise, code, espaces et systèmes d’écriture différents peuvent être tokenisés différemment. Les règles empiriques fondées sur le nombre de mots sont des approximations, et une longueur identique en octets ne garantit pas qu’un fichier Python consomme plus de tokens que de la prose.

Embeddings : transformer les tokens en vecteurs

Les tokens sont associés à des vecteurs numériques appelés embeddings. Leurs dimensions dépendent de l’architecture. Il s’agit d’une représentation initiale, pas d’un contenant renfermant tout ce que le modèle sait d’un mot ; les couches ultérieures transforment ces représentations avec le contexte environnant.

Les représentations apprises peuvent saisir des ressemblances utiles, mais leur géométrie n’est pas un simple dictionnaire où chaque synonyme habite bien sagement à côté. Le contexte compte. Le mot anglais « bank » dans une phrase sur une rivière doit être traité différemment de « bank » dans une phrase sur un prêt, même si le token de départ est identique.

Le transformer et l’auto-attention

Le transformer a été présenté dans « Attention Is All You Need » en 2017 et est devenu très influent en modélisation du langage. Ce n’est pas la seule architecture : les recherches sur Mamba explorent une alternative à espace d’états. Les informations publiques ne justifient pas non plus d’affirmer connaître la conception interne exacte de chaque modèle propriétaire.

Ce que fait réellement l’attention

Pour chaque token de votre instruction, le modèle doit déterminer quels autres tokens comptent. Prenez la phrase « Le chat s’est assis sur le tapis parce qu’il était fatigué ». « Il » renvoie au chat, pas au tapis. Un humain le sait immédiatement. Le modèle doit le calculer.

L’attention calcule des combinaisons pondérées de vecteurs de valeurs à partir des relations entre requêtes et clés. Dans un générateur causal de texte, une position ne peut pas inspecter librement les tokens futurs. Dans l’exemple du chat et du tapis, le contexte peut aider à représenter la relation du pronom, mais aucun poids d’attention particulier ne doit être traité comme une explication grammaticale garantie.

Publicité

Attention multi-têtes et empilement

Plusieurs têtes d’attention emploient différentes projections apprises, ce qui permet de combiner l’information de diverses façons. Il est tentant de donner à chaque tête un métier bien défini, mais le comportement est plus distribué et variable. Le nombre de têtes est un choix d’architecture, pas une plage fixe valable pour tous les modèles modernes.

Les blocs transformer utilisent aussi des transformations feed-forward, de la normalisation et des connexions résiduelles. Leur répétition construit des représentations contextuelles. Le nombre et la disposition varient, et la partie feed-forward n’est pas forcément un petit ajout secondaire dans le calcul.

Comment les LLM sont entraînés

L’entraînement ajuste les paramètres du modèle. Une distinction générale utile sépare le préentraînement, qui apprend à partir de grandes collections de données, du post-entraînement, qui peut façonner le suivi d’instructions et d’autres comportements. Les chaînes réelles peuvent comprendre davantage d’étapes que cette division simplifiée.

Préentraînement : la grande collecte

Les données de préentraînement peuvent inclure du texte et du code issus de plusieurs sources, selon le modèle. Pour la prédiction du prochain token, le système calcule une perte à partir de ses prédictions ; la rétropropagation calcule des gradients, qu’un optimiseur utilise pour mettre à jour les paramètres. Ce n’est pas un simple interrupteur binaire « mauvaise réponse ». Composition, filtrage et ampleur des jeux de données varient.

Les grands entraînements exigent des ressources de calcul considérables. Leur coût dépend de la taille du modèle, des données, du matériel et des décisions d’entraînement : un prix unique sans fondement pour tous les modèles de pointe serait trompeur. Entraîner un petit modèle expérimental et entraîner un système de pointe sont deux projets très différents.

Ajustement fin et RLHF

Un modèle qui n’a fait que du préentraînement est un moteur fluide de complétion de texte. Posez-lui une question : il pourrait simplement la prolonger dans le style d’une discussion de forum. Pour le transformer en assistant utile, les fournisseurs ajoutent une seconde phase.

Une approche influente, décrite dans l’article InstructGPT de 2022, combine exemples supervisés, comparaisons de préférences et apprentissage par renforcement. Les comparaisons servent à entraîner un modèle de récompense qui guide l’optimisation suivante. D’autres méthodes de post-entraînement existent. Aucune technique n’explique à elle seule chaque formule polie, refus ou résumé produit par une application de chat.

Les chercheurs continuent d’étudier comment les objectifs d’entraînement et les architectures influencent les capacités. La leçon pratique consiste à distinguer la tâche de préentraînement du système complet qui vous répond. Un slogan sur la prédiction ne tranche pas toutes les questions de raisonnement ou de compréhension.

L’inférence : de l’instruction à la réponse

Pendant l’inférence ordinaire, les poids du modèle déployé sont généralement fixes. L’instruction et le contexte accumulé influencent la sortie sans exiger une nouvelle mise à jour des poids pour chaque conversation. La génération peut néanmoins être non déterministe, et la mémoire de l’application est distincte de l’entraînement.

La boucle de génération

Le système traite l’instruction, calcule les scores des prochains tokens possibles, choisit un token selon sa procédure de décodage et continue. La génération s’arrête à une condition de fin ou une limite. Cela décrit la boucle autorégressive de base ; un produit peut aussi s’interrompre pour utiliser des outils ou effectuer d’autres étapes autour d’elle.

Les implémentations évitent de refaire tout le travail depuis le début. Le cache de clés et de valeurs d’un transformer peut réutiliser des informations d’attention déjà calculées ; les recherches sur PagedAttention étudient la gestion efficace de ce cache. Les nouveaux tokens nécessitent toujours du calcul, mais ni « retraiter toute l’instruction à chaque fois » ni « activer chaque paramètre » ne décrivent universellement l’inférence.

Température et échantillonnage

Le décodage glouton choisit le prochain token au score le plus élevé. L’échantillonnage tire plutôt dans une distribution, souvent après ajustements. La méthode dépend du système et de la tâche ; tous les services n’échantillonnent pas systématiquement.

Publicité

La température modifie la concentration de la distribution d’échantillonnage. Les réglages bas concentrent généralement les choix, tandis que les réglages élevés répartissent plus largement les probabilités. Top-k et top-p réduisent les candidats de différentes manières. Une faible température ne promet pas la reproductibilité entre matériels ou implémentations, et une forte température ne garantit ni créativité ni qualité.

Pourquoi les LLM hallucinent

Un LLM peut générer un texte plausible mais faux. Une forme fluide ne garantit pas un fondement factuel, et une erreur peut survenir même lorsque l’information pertinente est présente. Les modèles peuvent apprendre à exprimer l’incertitude ou à s’abstenir, mais ces comportements restent imparfaits. La question utile est de savoir si la réponse précise est étayée, pas si elle paraît hésitante ou assurée.

Les formes courantes d’hallucination

Fausses références : lorsqu’on lui demande des sources, le modèle génère des chaînes ressemblant à de véritables références universitaires parce que ce schéma est extrêmement courant dans ses données d’entraînement. Le format est correct, les auteurs et les titres sont inventés.

Dates et quantités erronées : un modèle peut produire un nombre plausible qui ne correspond pas aux preuves. Vérifiez-le auprès d’une source appropriée plutôt que de supposer qu’une précision affirmée avec assurance résulte d’une recherche.

Fonctionnalités fantômes : demandez à un LLM comment faire quelque chose dans un logiciel, et il peut inventer un appel d’API plausible mais inexistant, parce que le schéma « la bibliothèque possède une méthode qui fait cela » est fort.

Comment réduire les hallucinations

Une manière d’améliorer l’ancrage documentaire consiste à récupérer des contenus pertinents et à les fournir au modèle. Les recherches sur la génération augmentée par récupération combinent recherche et génération. Cela peut aider, mais une mauvaise recherche ou une mauvaise utilisation d’un document peut encore produire des erreurs. Notre guide du RAG (en anglais) explique ce schéma d’application plus en détail.

Fenêtres de contexte, RAG et outils

Les applications peuvent fournir des documents, l’historique des échanges et des résultats d’outils en plus de vos mots. Ces ajouts peuvent compter autant que la question visible. Gestion du contexte, récupération documentaire et outils sont trois composantes utiles du système.

La fenêtre de contexte

Une fenêtre de contexte limite la quantité de matière tokenisée qu’un modèle peut traiter dans une configuration donnée. L’application décide quoi inclure, résumer ou récupérer. Les éléments extérieurs au contexte immédiat ne sont pas nécessairement supprimés du stockage du produit, mais le modèle ne peut compter les voir que si le système les lui fournit de nouveau.

Génération augmentée par récupération

Un système de recherche sélectionne du contenu dans une collection externe et le rend disponible pour la génération. Il peut utiliser la similarité vectorielle, la recherche par mots-clés ou une combinaison. Cela peut apporter des informations plus récentes ou propres à la tâche sans réentraîner le modèle. C’est une possibilité de conception utile, pas une exigence suivie par tout déploiement sérieux.

Utilisation d’outils et MCP

Une application dotée d’outils peut laisser un modèle demander une recherche, un calcul ou une opération de base de données, exécuter cette demande, puis renvoyer le résultat comme contexte. MCP a été présenté en novembre 2024 comme un protocole reliant des applications d’IA à des systèmes externes ; l’utilisation d’outils n’a pas commencé avec lui. Notre explication de MCP (en anglais) détaille cette couche de connexion.

Questions fréquentes

Comment fonctionnent les LLM, en une phrase ?

Un LLM est un gigantesque réseau neuronal entraîné à prédire le prochain token d’une séquence, et « discuter » consiste simplement à répéter cette boucle de prédiction avec votre instruction comme point de départ.

Quelle différence entre un LLM et l’IA ?

L’IA est le domaine plus large, incluant reconnaissance d’images, robotique, recherche et systèmes de jeu. Un LLM est un type précis d’IA : un grand modèle de langage entraîné sur du texte pour générer du texte. ChatGPT, Claude et Gemini sont des produits fondés sur des LLM.

Les LLM comprennent-ils réellement le langage ?

« Comprendre » peut signifier différentes choses, depuis l’emploi réussi du langage jusqu’à une expérience comparable à celle d’un humain. Les modèles apprennent des représentations permettant des comportements utiles, mais cela ne tranche pas la question philosophique. Certains systèmes traitent aussi des images ou du son : dire que tous sont dépourvus d’entrées sensorielles est donc trop général.

Pourquoi les LLM inventent-ils des choses ?

Générer une réponse bien formée et générer une réponse correcte sont deux exigences différentes. L’entraînement et l’ancrage dans des sources peuvent réduire les erreurs, sans garantir l’exactitude. Vérifiez les preuves des affirmations importantes, notamment les références, les chiffres et les instructions.

Puis-je entraîner mon propre LLM ?

Vous pouvez entraîner un petit modèle pour apprendre, ou adapter un modèle existant si votre matériel, vos données et votre méthode le permettent. L’ajustement fin n’est pas automatiquement bon marché dans toutes les configurations. Faire tourner un modèle localement est une autre tâche ; notre guide de l’IA locale (en anglais) est un point de départ.

Ce qu’il faut retenir

La représentation utile comporte plusieurs éléments : des entrées tokenisées, des représentations apprises, un processus de génération et une application pouvant ajouter recherche documentaire ou outils. La prédiction du prochain token explique un mécanisme important, pas tous les comportements du produit complet. Comprendre ces éléments aide à poser de meilleures questions et à vérifier les réponses. Un paragraphe plein d’assurance vous doit toujours des preuves, aussi joliment présenté soit-il.

Traduction française de l’article original en anglais du 2026-05-22. Traduction réalisée avec l’aide de l’IA le 1 novembre 2026 ; les références temporelles restent celles de l’original.

Publicité
Partager cet article