Arkitekturen af store sprogmodeller (LLM'er)

Transformer-arkitektur: Grundlaget for moderne LLM'er

Transformer-arkitekturen repræsenterer et fundamentalt gennembrud inden for naturlig sprogbehandling og udgør grundlaget for alle moderne store sprogmodeller (LLM'er). I modsætning til tidligere tilgange baseret på rekurrent neuralt netværk (RNN) eller konvolutionelt neuralt netværk (CNN), bruger transformere en såkaldt attention-mekanisme, som gør det muligt effektivt at fange langsigtede afhængigheder i teksten uden sekventiel behandling. Dette arkitektoniske grundlag er afgørende for en effektiv træningsproces for sprogmodeller.

Nøgleegenskaben ved transformer-arkitekturen er dens paralleliserbarhed - alle tokens i inputsekvensen kan behandles samtidigt, hvilket dramatisk fremskynder både træning og inferens. En standard transformer består af en encoder (kodningsdel) og en decoder (dekodningsdel), hvor moderne LLM'er som GPT primært bruger en decoder-only arkitektur, mens modeller som BERT er encoder-only. Modeller som T5 eller BART bruger den komplette encoder-decoder arkitektur.

Tekniske specifikationer for transformer-modeller

Moderne LLM'er som GPT-4, Claude eller Llama 2 implementerer dybe transformer-arkitekturer med ti til hundreder af lag. Hvert lag (layer) behandler information gennem multi-head attention mekanismer og feed-forward neurale netværk. Modellens ydeevne bestemmes i høj grad af antallet af parametre (vægte), som spænder fra få milliarder i mindre modeller til hundreder af milliarder eller endda billioner i de største systemer.

Self-attention mekanismer og deres implementering

Self-attention (også kaldet scaled dot-product attention) udgør en nøglekomponent i transformer-arkitekturen. Denne mekanisme gør det muligt for modellen at evaluere relationer og afhængigheder mellem alle tokens i en sekvens og dynamisk bestemme, hvilke dele af teksten der skal fokuseres på ved fortolkning af et specifikt ord eller en frase.

Fra et teknisk synspunkt transformerer self-attention hvert token til tre forskellige vektorer: query (Q), key (K) og value (V). Den efterfølgende attention-beregning involverer multiplikation af Q- og K-matricer, skalering af resultatet, anvendelse af softmax-funktionen for at opnå attention-vægte og til sidst multiplikation med V-matricen for at opnå en kontekstuelt beriget repræsentation. Matematisk kan denne proces udtrykkes med ligningen:

Attention(Q, K, V) = softmax(QK^T / √d_k)V

Multi-head attention

Moderne LLM'er bruger såkaldt multi-head attention, hvilket gør det muligt for modellen samtidigt at spore forskellige typer relationer i teksten. For eksempel kan ét attention-hoved spore syntaktiske relationer, mens et andet fokuserer på semantisk lighed eller koreferensrelationer. Antallet af attention-hoveder er en vigtig hyperparameter, som typisk varierer fra 12 i mindre modeller til 96 eller flere i de største systemer. Hvert hoved opererer i en lavere dimension end den oprindelige embedding-vektor, hvilket sikrer beregningseffektivitet, samtidig med at modellens udtryksfulde evne bevares.

Embedding-dimensioner og token-repræsentation

Embedding-dimensionen repræsenterer en nøglehyperparameter, der bestemmer størrelsen af vektorrepræsentationen af individuelle tokens i sprogmodellen. I moderne LLM'er ligger denne værdi typisk fra 768 i mindre modeller til 12288 eller mere i de største systemer. En større embedding-dimension gør det muligt at fange finere semantiske nuancer og mere komplekse lingvistiske relationer, men øger samtidig modellens beregningsmæssige krav og antallet af parametre.

Processen med at konvertere tokens til embeddings involverer en opslagstabel (lookup table), hvor hvert muligt token svarer til en unik embedding-vektor. Disse indledende embeddings beriges yderligere med positionsinformation gennem såkaldte positionelle embeddings, som kan implementeres enten som lærbar parametre eller ved hjælp af deterministiske sinusoidale funktioner.

Embeddings' kontekstuelle kapacitet

Et vigtigt aspekt ved embeddings i LLM'er er deres kontekstuelle kapacitet, dvs. evnen til at bevare information om relationer mellem tokens på tværs af lange sekvenser. Moderne modeller som GPT-4 eller Claude 3 Opus opnår kontekstvinduer på 32K til 128K tokens, hvilket muliggør behandling af lange dokumenter, komplekse samtaler eller sofistikerede instruktioner. Korrekt implementering af positionelle embeddings er kritisk for effektiv skalering af kontekstvinduet, idet avancerede modeller bruger teknikker som RoPE (Rotary Position Embedding) eller ALiBi (Attention with Linear Biases) for at forbedre ydeevnen på lange sekvenser.

Feed-forward neurale netværk i LLM'er

Feed-forward neurale netværk (FFN) udgør den anden hovedkomponent i hvert transformer-lag, efterfulgt af self-attention mekanismen. Mens attention fanger relationer mellem tokens, behandler FFN information for hvert token separat og anvender ikke-lineære transformationer, som er afgørende for modellens udtryksfulde evne.

En typisk implementering af FFN i en transformer inkluderer to lineære transformationer med en aktiveringsfunktion (oftest ReLU eller GELU) imellem dem. Matematisk kan denne proces udtrykkes som:

FFN(x) = Linear₂(Activation(Linear₁(x)))

Parametrisering og optimering af FFN

Fra et arkitektonisk synspunkt er nøgleparameteren for FFN den såkaldte hidden dimension, som bestemmer størrelsen af mellemresultatet efter den første lineære transformation. Denne værdi er typisk 4 gange større end embedding-dimensionen, hvilket sikrer tilstrækkelig kapacitet til at fange komplekse mønstre. I moderne arkitekturer som PaLM eller Chinchilla eksperimenteres der med alternative konfigurationer, herunder SwiGLU eller GeGLU aktiveringer og mixtures-of-experts tilgange, som yderligere øger effektiviteten af FFN-komponenter.

Et interessant aspekt ved FFN-komponenter er, at de udgør størstedelen af parametrene i moderne LLM'er - typisk 60-70% af alle vægte. Dette gør dem til primære kandidater for optimeringsteknikker som pruning (fjernelse af unødvendige vægte), kvantisering eller low-rank approksimation i tilfælde, hvor det er nødvendigt at reducere modellens hukommelseskrav.

Kvantisering og andre optimeringsteknikker

Kvantisering repræsenterer en nøgleoptimeringsteknik, der gør det muligt at reducere hukommelseskravene for LLM'er, mens de fleste af deres evner bevares. Princippet består i at konvertere modellens parametre fra høj præcision (typisk 32-bit float-værdier) til lavere præcision (16-bit, 8-bit eller endda 4-bit repræsentationer). Korrekt implementeret kvantisering kan reducere modelstørrelsen op til 8 gange med minimal indvirkning på svarkvaliteten.

Moderne tilgange som GPTQ, AWQ eller QLoRA implementerer sofistikerede kvantiseringsalgoritmer, der optimerer processen baseret på de statistiske egenskaber af vægtene og deres betydning for modellens nøjagtighed. Post-training quantization (PTQ) anvender kompression på en allerede trænet model, mens quantization-aware training (QAT) integrerer kvantiseringsaspekter direkte i træningsprocessen.

Andre optimeringsteknikker

Udover kvantisering bruger moderne LLM'er en række andre optimeringsteknikker:

Model pruning - systematisk fjernelse af mindre vigtige vægte eller hele modelkomponenter baseret på deres indflydelse på den endelige ydeevne

Knowledge distillation - træning af en mindre "studerende" model, så den efterligner adfærden hos en større "lærer" model

Low-rank adaptation - tilpasning af udvalgte modelkomponenter ved hjælp af lav-rang matricer, hvilket muliggør effektiv finjustering (fine-tuning) ved minimale hukommelseskrav

Sparse attention - implementering af attention-mekanismer, der ikke behøver at evaluere relationer mellem alle tokens, men kun fokuserer på potentielt relevante par

Model sharding og distribueret behandling

Model sharding repræsenterer en teknik til distribution af parametre og beregninger af store sprogmodeller på tværs af flere beregningsenheder (GPU'er/TPU'er), hvilket muliggør effektiv træning og implementering af modeller, der er for store til at passe ind i hukommelsen på en enkelt accelerator. Der findes fire hovedtilgange til sharding, hver med sine egne fordele og begrænsninger.

Tensor Parallelism opdeler individuelle matricer og tensorer i segmenter, som behandles samtidigt på forskellige enheder. Denne tilgang minimerer kommunikationsoverhead, men kræver højhastighedsforbindelser mellem acceleratorerne.

Pipeline Parallelism distribuerer hele lag af modellen til forskellige enheder, som behandler data sekventielt som en pipeline. Denne tilgang udnytter hukommelsen effektivt, men kan føre til ubalanceret belastning af enhederne.

Avancerede distributionsstrategier

3D Parallelism kombinerer tensor og pipeline parallelism med data parallelism (behandling af forskellige batch-prøver på forskellige enheder), hvilket muliggør maksimal udnyttelse af tilgængelige beregningsressourcer ved træning af ekstremt store modeller.

ZeRO (Zero Redundancy Optimizer) eliminerer redundans i lagringen af optimizer-tilstande, gradienter og modelparametre på tværs af GPU'er. ZeRO-3, den mest avancerede variant, opdeler de enkelte modelparametre, så hver GPU kun lagrer en lille del af den samlede model, hvilket muliggør træning af multi-milliard-parametermodeller selv på relativt begrænsede hardwaresystemer.

Implementering af effektive sharding-strategier kræver specialiserede frameworks som DeepSpeed, Megatron-LM eller Mesh TensorFlow, som automatiserer de komplekse aspekter af distribution og synkronisering. Disse frameworks implementerer ofte yderligere optimeringer som gradient checkpointing, mixed-precision training eller activation recomputation for yderligere at forbedre effektiviteten og reducere hukommelseskravene.

Sammenligning af arkitekturer for moderne sprogmodeller

Arkitektoniske forskelle mellem moderne LLM'er spiller en nøglerolle i deres evner, effektivitet og egnethed til forskellige anvendelser. Selvom alle bruger transformer-grundlaget, findes der betydelige variationer i implementeringen af de enkelte komponenter, som påvirker deres ydeevne og karakteristika.

GPT-arkitektur (Generative Pre-trained Transformer) bruger en decoder-only tilgang med autoregressiv tekstgenerering, hvilket gør den ideel til generative opgaver. Nyere versioner som GPT-4 implementerer avancerede teknikker både på arkitekturniveau (større kontekstvindue, multimodale input) og på træningsniveau (RLHF, konstitutionelle tilgange).

PaLM-arkitektur (Pathways Language Model) fra Google introducerede innovationer som SwiGLU-aktiveringer, multi-query attention og skaleret RoPE, hvilket muliggjorde mere effektiv skalering til hundreder af milliarder af parametre. Gemini, efterfølgeren til PaLM, integrerede yderligere multimodale evner direkte i modelarkitekturen.

Specialiserede arkitekturer og nye tilgange

Mixtures of Experts (MoE) som Mixtral repræsenterer en hybrid tilgang, hvor hvert token kun behandles af en undergruppe af specialiserede "ekspert"-netværk. Denne teknik gør det muligt at øge antallet af modelparametre dramatisk, samtidig med at en lignende beregningsmæssig kompleksitet under inferens bevares.

State-space modeller som Mamba repræsenterer et potentielt alternativ til transformere, der kombinerer fordelene ved rekurrent og konvolutionelle tilgange med lineær skalerbarhed i forhold til sekvenslængden. Disse modeller er særligt lovende til behandling af meget lange kontekster (100K+ tokens).

Ved valg af arkitektur til en specifik applikation skal man overveje kompromiser mellem nøjagtighed, beregningseffektivitet, hukommelseskrav og specifikke evner som langtidshukommelse eller multimodal behandling. Den nyeste forskning fokuserer på hybride tilgange, der kombinerer styrkerne fra forskellige arkitekturer og teknikker som retrieval-augmented generation, der udvider modellernes evner med eksplicit adgang til ekstern viden.