Architecture des grands modèles de langage (LLM)

Architecture Transformer : La base des LLM modernes

L'architecture Transformer représente une avancée fondamentale dans le domaine du traitement du langage naturel et constitue la base de tous les grands modèles de langage (LLM) modernes. Contrairement aux approches précédentes basées sur les réseaux neuronaux récurrents (RNN) ou convolutifs (CNN), les Transformers utilisent un mécanisme appelé attention, qui permet de capturer efficacement les dépendances à long terme dans le texte sans traitement séquentiel. Cette base architecturale est essentielle pour un processus efficace d'entraînement des modèles de langage.

Une caractéristique clé de l'architecture Transformer est sa parallélisabilité - tous les tokens de la séquence d'entrée peuvent être traités simultanément, ce qui accélère considérablement l'entraînement et l'inférence. Un Transformer standard se compose d'un encodeur (partie codage) et d'un décodeur (partie décodage), les LLM modernes comme GPT utilisant principalement une architecture de type décodeur seul, tandis que des modèles comme BERT sont de type encodeur seul. Les modèles de type T5 ou BART utilisent une architecture complète encodeur-décodeur.

Spécifications techniques des modèles Transformer

Les LLM modernes tels que GPT-4, Claude ou Llama 2 implémentent des architectures Transformer profondes avec des dizaines voire des centaines de couches. Chaque couche (layer) traite les informations via des mécanismes d'attention multi-têtes et des réseaux neuronaux feed-forward. La performance du modèle est largement déterminée par le nombre de paramètres (poids), qui varie de quelques milliards pour les petits modèles à des centaines de milliards, voire des billions, pour les plus grands systèmes.

Mécanismes d'auto-attention et leur implémentation

L'auto-attention (parfois appelée attention par produit scalaire pondéré) représente le composant clé de l'architecture Transformer. Ce mécanisme permet au modèle d'évaluer les relations et les dépendances entre tous les tokens d'une séquence et de déterminer dynamiquement sur quelles parties du texte se concentrer lors de l'interprétation d'un mot ou d'une phrase spécifique.

D'un point de vue technique, l'auto-attention transforme chaque token en trois vecteurs différents : query (Q), key (K) et value (V). Le calcul d'attention ultérieur implique la multiplication des matrices Q et K, la mise à l'échelle du résultat, l'application de la fonction softmax pour obtenir les poids d'attention, et enfin la multiplication avec la matrice V pour obtenir une représentation enrichie contextuellement. Mathématiquement, ce processus peut être exprimé par l'équation :

Attention(Q, K, V) = softmax(QK^T / √d_k)V

Attention multi-têtes

Les LLM modernes utilisent ce qu'on appelle l'attention multi-têtes, ce qui permet au modèle de suivre simultanément différents types de relations dans le texte. Par exemple, une tête d'attention peut suivre les relations syntaxiques, tandis qu'une autre se concentre sur la similarité sémantique ou les relations de coréférence. Le nombre de têtes d'attention est un hyperparamètre important, variant généralement de 12 pour les petits modèles à 96 ou plus pour les plus grands systèmes. Chaque tête opère dans une dimension inférieure à celle du vecteur d'embedding original, assurant ainsi l'efficacité computationnelle tout en préservant la capacité expressive du modèle.

Dimension d'embedding et représentation des tokens

La dimension d'embedding représente un hyperparamètre clé qui détermine la taille de la représentation vectorielle des tokens individuels dans le modèle de langage. Dans les LLM modernes, cette valeur varie généralement de 768 pour les petits modèles à 12288 ou plus pour les plus grands systèmes. Une dimension d'embedding plus grande permet de capturer des nuances sémantiques plus fines et des relations linguistiques plus complexes, mais augmente également la charge de calcul et le nombre de paramètres du modèle.

Le processus de conversion des tokens en embeddings implique une table de consultation (lookup table), où chaque token possible correspond à un vecteur d'embedding unique. Ces embeddings initiaux sont ensuite enrichis d'informations positionnelles via des embeddings positionnels, qui peuvent être implémentés soit comme des paramètres apprenables, soit à l'aide de fonctions sinusoïdales déterministes.

Capacité contextuelle des embeddings

Un aspect important des embeddings dans les LLM est leur capacité contextuelle, c'est-à-dire leur aptitude à conserver des informations sur les relations entre les tokens sur de longues séquences. Les modèles modernes comme GPT-4 ou Claude 3 Opus atteignent des fenêtres contextuelles de 32K à 128K tokens, permettant le traitement de longs documents, de conversations complexes ou d'instructions sophistiquées. Une implémentation correcte des embeddings positionnels est essentielle pour une mise à l'échelle efficace de la fenêtre contextuelle, les modèles avancés utilisant des techniques telles que RoPE (Rotary Position Embedding) ou ALiBi (Attention with Linear Biases) pour améliorer les performances sur les longues séquences.

Réseaux neuronaux feed-forward dans les LLM

Les réseaux neuronaux feed-forward (FFN) constituent le deuxième composant principal de chaque couche Transformer, suivant le mécanisme d'auto-attention. Alors que l'attention capture les relations entre les tokens, le FFN traite les informations pour chaque token individuellement et applique des transformations non linéaires qui sont essentielles à la capacité expressive du modèle.

Une implémentation typique du FFN dans un Transformer comprend deux transformations linéaires avec une fonction d'activation (le plus souvent ReLU ou GELU) entre elles. Mathématiquement, ce processus peut être exprimé comme suit :

FFN(x) = Linéaire₂(Activation(Linéaire₁(x)))

Paramétrisation et optimisation des FFN

Du point de vue de l'architecture, le paramètre clé du FFN est la dimension cachée (hidden dimension), qui détermine la taille du résultat intermédiaire après la première transformation linéaire. Cette valeur est généralement 4 fois supérieure à la dimension d'embedding, assurant une capacité suffisante pour capturer des motifs complexes. Dans les architectures modernes comme PaLM ou Chinchilla, on expérimente des configurations alternatives, y compris les activations SwiGLU ou GeGLU et les approches de mélanges d'experts (mixtures-of-experts), qui augmentent encore l'efficacité des composants FFN.

Un aspect intéressant des composants FFN est qu'ils constituent la majorité des paramètres des LLM modernes - généralement 60 à 70 % de tous les poids. Cela en fait des candidats de choix pour les techniques d'optimisation telles que l'élagage (pruning - suppression des poids inutiles), la quantification ou l'approximation de bas rang dans les cas où il est nécessaire de réduire l'empreinte mémoire du modèle.

Quantification et autres techniques d'optimisation

La quantification représente une technique d'optimisation clé qui permet de réduire l'empreinte mémoire des LLM tout en préservant la plupart de leurs capacités. Le principe consiste à convertir les paramètres du modèle d'une haute précision (généralement des valeurs flottantes 32 bits) à une précision inférieure (représentation 16 bits, 8 bits, voire 4 bits). Une quantification correctement implémentée peut réduire la taille du modèle jusqu'à 8 fois avec un impact minimal sur la qualité des réponses.

Les approches modernes telles que GPTQ, AWQ ou QLoRA implémentent des algorithmes de quantification sophistiqués qui optimisent le processus en fonction des propriétés statistiques des poids et de leur importance pour la précision du modèle. La quantification post-entraînement (PTQ) applique la compression à un modèle déjà entraîné, tandis que l'entraînement conscient de la quantification (QAT) intègre les aspects de quantification directement dans le processus d'entraînement.

Autres techniques d'optimisation

Outre la quantification, les LLM modernes utilisent une série d'autres techniques d'optimisation :

Élagage de modèle (Model pruning) - suppression systématique des poids moins importants ou de composants entiers du modèle en fonction de leur influence sur les performances finales

Distillation des connaissances (Knowledge distillation) - entraînement d'un modèle "étudiant" plus petit pour imiter le comportement d'un modèle "enseignant" plus grand

Adaptation de bas rang (Low-rank adaptation) - modification de composants sélectionnés du modèle à l'aide de matrices de bas rang, permettant un ajustement fin (fine-tuning) efficace avec une empreinte mémoire minimale

Attention clairsemée (Sparse attention) - implémentation de mécanismes d'attention qui n'ont pas besoin d'évaluer les relations entre tous les tokens, mais se concentrent uniquement sur les paires potentiellement pertinentes

Sharding de modèle et traitement distribué

Le sharding de modèle représente une technique de distribution des paramètres et des calculs des grands modèles de langage sur plusieurs dispositifs de calcul (GPU/TPU), permettant l'entraînement et le déploiement efficaces de modèles trop volumineux pour tenir dans la mémoire d'un seul accélérateur. Il existe quatre approches principales du sharding, chacune avec ses propres avantages et limitations.

Parallélisme tensoriel (Tensor Parallelism) divise les matrices et tenseurs individuels en segments qui sont traités simultanément sur différents appareils. Cette approche minimise la surcharge de communication, mais nécessite une interconnexion à haut débit entre les accélérateurs.

Parallélisme en pipeline (Pipeline Parallelism) distribue des couches entières du modèle sur différents appareils, qui traitent les données séquentiellement comme dans un pipeline. Cette approche utilise efficacement la mémoire, mais peut entraîner une charge déséquilibrée des appareils.

Stratégies de distribution avancées

Parallélisme 3D (3D Parallelism) combine le parallélisme tensoriel et le parallélisme en pipeline avec le parallélisme de données (traitement de différents lots d'échantillons sur différents appareils), permettant une utilisation maximale des ressources de calcul disponibles lors de l'entraînement de modèles extrêmement volumineux.

ZeRO (Zero Redundancy Optimizer) élimine la redondance dans le stockage des états de l'optimiseur, des gradients et des paramètres du modèle sur les GPU. ZeRO-3, la variante la plus avancée, divise les paramètres individuels du modèle de sorte que chaque GPU ne stocke qu'une petite partie du modèle global, permettant l'entraînement de modèles de plusieurs milliards de paramètres même sur des systèmes matériels relativement limités.

L'implémentation de stratégies de sharding efficaces nécessite des frameworks spécialisés tels que DeepSpeed, Megatron-LM ou Mesh TensorFlow, qui automatisent les aspects complexes de la distribution et de la synchronisation. Ces frameworks implémentent souvent des optimisations supplémentaires telles que le gradient checkpointing, l'entraînement en précision mixte ou la recalculation des activations pour améliorer davantage l'efficacité et réduire l'empreinte mémoire.

Comparaison des architectures des modèles de langage modernes

Les différences architecturales entre les LLM modernes jouent un rôle clé dans leurs capacités, leur efficacité et leur adéquation à diverses applications. Bien qu'ils utilisent tous une base Transformer, il existe des variations significatives dans l'implémentation des composants individuels qui influencent leurs performances et leurs caractéristiques.

Architecture GPT (Generative Pre-trained Transformer) utilise une approche décodeur seul avec génération de texte autorégressive, ce qui la rend idéale pour les tâches génératives. Les versions plus récentes comme GPT-4 implémentent des techniques avancées tant au niveau de l'architecture (fenêtre contextuelle plus grande, entrées multimodales) qu'au niveau de l'entraînement (RLHF, approches constitutionnelles).

Architecture PaLM (Pathways Language Model) de Google a introduit des innovations telles que l'activation SwiGLU, l'attention multi-requêtes et le RoPE mis à l'échelle, permettant une mise à l'échelle plus efficace vers des centaines de milliards de paramètres. Gemini, le successeur de PaLM, a en outre intégré des capacités multimodales directement dans l'architecture du modèle.

Architectures spécialisées et nouvelles approches

Mélanges d'experts (MoE) comme Mixtral représentent une approche hybride où chaque token n'est traité que par un sous-ensemble de réseaux "experts" spécialisés. Cette technique permet d'augmenter considérablement le nombre de paramètres du modèle tout en maintenant une charge de calcul similaire pendant l'inférence.

Modèles d'espace d'états (State-space models) comme Mamba représentent une alternative potentielle aux Transformers, combinant les avantages des approches récurrentes et convolutives avec une scalabilité linéaire par rapport à la longueur de la séquence. Ces modèles sont particulièrement prometteurs pour le traitement de contextes très longs (plus de 100K tokens).

Lors du choix d'une architecture pour une application spécifique, il faut considérer les compromis entre la précision, l'efficacité computationnelle, l'empreinte mémoire et les capacités spécifiques telles que la mémoire à long terme ou le traitement multimodal. Les recherches les plus récentes se concentrent sur des approches hybrides combinant les forces de différentes architectures et des techniques telles que la génération augmentée par récupération (retrieval-augmented generation), qui étendent les capacités des modèles par un accès explicite aux connaissances externes.