Architektúra veľkých jazykových modelov (LLM)

Transformerová architektúra: Základ moderných LLM

Transformerová architektúra predstavuje fundamentálny prelom v oblasti spracovania prirodzeného jazyka a tvorí základ všetkých moderných veľkých jazykových modelov (LLM). Na rozdiel od predchádzajúcich prístupov založených na rekurentných (RNN) alebo konvolučných (CNN) neurónových sieťach, transformery využívajú tzv. mechanizmus attention (pozornosti), ktorý umožňuje efektívne zachytiť dlhodobé závislosti v texte bez sekvenčného spracovania. Tento architektonický základ je kľúčový pre efektívny proces tréningu jazykových modelov.

Kľúčovou vlastnosťou transformerovej architektúry je jej paralelizovateľnosť - všetky tokeny vstupnej sekvencie môžu byť spracované súčasne, čo dramaticky zrýchľuje tréning aj inferenciu. Štandardný transformer sa skladá z encodera (kódovacej časti) a decodera (dekódovacej časti), pričom moderné LLM ako GPT využívajú primárne decoder-only architektúru, zatiaľ čo modely ako BERT sú encoder-only. Modely typu T5 alebo BART využívajú kompletnú encoder-decoder architektúru.

Technické špecifikácie transformerových modelov

Moderné LLM ako sú GPT-4, Claude alebo Llama 2 implementujú hlboké transformerové architektúry s desiatkami až stovkami vrstiev. Každá vrstva (layer) spracováva informácie prostredníctvom multi-head attention mechanizmov a feed-forward neurónových sietí. Výkonnosť modelu je do značnej miery určená počtom parametrov (váh), ktorý sa pohybuje od jednotiek miliárd pri menších modeloch až po stovky miliárd alebo dokonca bilióny pri najväčších systémoch.

Self-attention mechanizmy a ich implementácia

Self-attention (niekedy nazývaný aj scaled dot-product attention) predstavuje kľúčovú komponentu transformerovej architektúry. Tento mechanizmus umožňuje modelu vyhodnotiť vzťahy a závislosti medzi všetkými tokenmi v sekvencii a dynamicky určiť, na ktoré časti textu sa zamerať pri interpretácii konkrétneho slova alebo frázy.

Z technického hľadiska self-attention transformuje každý token do troch rôznych vektorov: query (Q), key (K) a value (V). Následný attention výpočet zahŕňa násobenie matíc Q a K, škálovanie výsledku, aplikáciu softmax funkcie pre získanie attention váh a nakoniec násobenie s maticou V pre získanie kontextovo obohatenej reprezentácie. Matematicky možno tento proces vyjadriť rovnicou:

Attention(Q, K, V) = softmax(QK^T / √d_k)V

Multi-head attention

Moderné LLM využívajú tzv. multi-head attention, čo umožňuje modelu súčasne sledovať rôzne typy vzťahov v texte. Napríklad jeden attention head môže sledovať syntaktické vzťahy, zatiaľ čo iný sa zameriava na sémantickú podobnosť alebo koreferenčné vzťahy. Počet attention heads je dôležitým hyperparametrom, ktorý sa typicky pohybuje od 12 pri menších modeloch až po 96 alebo viac pri najväčších systémoch. Každý head operuje v nižšej dimenzii než pôvodný embedding vektor, čo zaisťuje výpočtovú efektivitu pri zachovaní expresívnej schopnosti modelu.

Embedding dimenzie a reprezentácia tokenov

Embedding dimenzia predstavuje kľúčový hyperparameter, ktorý určuje veľkosť vektorovej reprezentácie jednotlivých tokenov v jazykovom modeli. V moderných LLM sa táto hodnota typicky pohybuje od 768 pri menších modeloch po 12288 alebo viac pri najväčších systémoch. Väčšia embedding dimenzia umožňuje zachytiť jemnejšie sémantické nuansy a komplexnejšie lingvistické vzťahy, ale zároveň zvyšuje výpočtovú náročnosť a množstvo parametrov modelu.

Proces konverzie tokenov na embeddingy zahŕňa vyhľadávaciu tabuľku (lookup table), kde každému možnému tokenu zodpovedá unikátny embedding vektor. Tieto počiatočné embeddingy sú ďalej obohatené o pozičné informácie prostredníctvom tzv. pozičných embeddingov, ktoré môžu byť implementované buď ako naučiteľné parametre alebo pomocou deterministických sínusoidálnych funkcií.

Kontextová kapacita embeddingov

Dôležitým aspektom embeddingov v LLM je ich kontextová kapacita, teda schopnosť uchovať informácie o vzťahoch medzi tokenmi naprieč dlhými sekvenciami. Moderné modely ako GPT-4 alebo Claude 3 Opus dosahujú kontextové okná s veľkosťou 32K až 128K tokenov, čo umožňuje spracovanie dlhých dokumentov, komplexných konverzácií alebo sofistikovaných inštrukcií. Správna implementácia pozičných embeddingov je kritická pre efektívne škálovanie kontextového okna, pričom pokročilé modely využívajú techniky ako RoPE (Rotary Position Embedding) alebo ALiBi (Attention with Linear Biases) na zlepšenie výkonu na dlhých sekvenciách.

Feed-forward neurónové siete v LLM

Feed-forward neurónové siete (FFN) tvoria druhú hlavnú komponentu každej transformerovej vrstvy, nasledujúcu po self-attention mechanizme. Zatiaľ čo attention zachytáva vzťahy medzi tokenmi, FFN spracováva informácie pre každý token samostatne a aplikuje nelineárne transformácie, ktoré sú kľúčové pre expresívnu schopnosť modelu.

Typická implementácia FFN v transformeri zahŕňa dve lineárne transformácie s aktivačnou funkciou (najčastejšie ReLU alebo GELU) medzi nimi. Matematicky možno tento proces vyjadriť ako:

FFN(x) = Linear₂(Activation(Linear₁(x)))

Parametrizácia a optimalizácia FFN

Z hľadiska architektúry je kľúčovým parametrom FFN tzv. hidden dimension, ktorá určuje veľkosť medzivýsledku po prvej lineárnej transformácii. Táto hodnota je typicky 4x väčšia než embedding dimenzia, čo zaisťuje dostatočnú kapacitu na zachytenie komplexných vzorcov. V moderných architektúrach ako PaLM alebo Chinchilla sa experimentuje s alternatívnymi konfiguráciami, vrátane SwiGLU alebo GeGLU aktivácií a mixtures-of-experts prístupov, ktoré ďalej zvyšujú efektivitu FFN komponentov.

Zaujímavý aspekt FFN komponentov je, že tvoria väčšinu parametrov moderných LLM - typicky 60-70% všetkých váh. To z nich robí primárnych kandidátov pre optimalizačné techniky ako pruning (odstránenie nepotrebných váh), kvantizácia alebo low-rank aproximácia v prípadoch, keď je potrebné redukovať pamäťové nároky modelu.

Kvantizácia a ďalšie optimalizačné techniky

Kvantizácia predstavuje kľúčovú optimalizačnú techniku, ktorá umožňuje redukovať pamäťové nároky LLM pri zachovaní väčšiny ich schopností. Princíp spočíva v prevode parametrov modelu z vysokej presnosti (typicky 32-bitových float hodnôt) na nižšiu presnosť (16-bit, 8-bit alebo dokonca 4-bit reprezentácie). Správne implementovaná kvantizácia môže redukovať veľkosť modelu až 8x pri minimálnom dopade na kvalitu odpovedí.

Moderné prístupy ako GPTQ, AWQ alebo QLoRA implementujú sofistikované kvantizačné algoritmy, ktoré optimalizujú proces na základe štatistických vlastností váh a ich dôležitosti pre presnosť modelu. Post-training kvantizácia (PTQ) aplikuje kompresiu na už natrénovaný model, zatiaľ čo quantization-aware training (QAT) integruje kvantizačné aspekty priamo do tréningového procesu.

Ďalšie optimalizačné techniky

Okrem kvantizácie využívajú moderné LLM rad ďalších optimalizačných techník:

Model pruning - systematické odstránenie menej dôležitých váh alebo celých komponentov modelu na základe ich vplyvu na výsledný výkon

Knowledge distillation - tréning menšieho "študent" modelu tak, aby napodobňoval správanie väčšieho "učiteľ" modelu

Low-rank adaptácia - úprava vybraných komponentov modelu pomocou nízkohodnostných matíc, čo umožňuje efektívne dolaďovanie (fine-tuning) pri minimálnych pamäťových nárokoch

Sparse attention - implementácia attention mechanizmov, ktoré nemusia vyhodnocovať vzťahy medzi všetkými tokenmi, ale zameriavajú sa iba na potenciálne relevantné dvojice

Model sharding a distribuované spracovanie

Model sharding predstavuje techniku distribúcie parametrov a výpočtov veľkých jazykových modelov na viacero výpočtových zariadení (GPU/TPU), čo umožňuje efektívny tréning a nasadenie modelov, ktoré sú príliš veľké na umiestnenie do pamäte jedného akcelerátora. Existujú štyri hlavné prístupy k shardingu, každý s vlastnými výhodami a obmedzeniami.

Tensor Parallelism rozdeľuje jednotlivé matice a tenzory na segmenty, ktoré sú spracované súčasne na rôznych zariadeniach. Tento prístup minimalizuje komunikačný overhead, ale vyžaduje vysokorýchlostné prepojenie medzi akcelerátormi.

Pipeline Parallelism distribuuje celé vrstvy modelu na rôzne zariadenia, ktoré spracovávajú dáta sekvenčne ako pipeline. Tento prístup efektívne využíva pamäť, ale môže viesť k nevyváženému vyťaženiu zariadení.

Pokročilé stratégie distribúcie

3D Parallelism kombinuje tensor a pipeline parallelism s data parallelism (spracovanie rôznych batch vzoriek na rôznych zariadeniach), čo umožňuje maximálne využitie dostupných výpočtových zdrojov pri tréningu extrémne veľkých modelov.

ZeRO (Zero Redundancy Optimizer) eliminuje redundanciu v ukladaní optimizerových stavov, gradientov a parametrov modelu naprieč GPU. ZeRO-3, najpokročilejší variant, rozdeľuje jednotlivé parametre modelu tak, že každý GPU ukladá iba malú časť celkového modelu, čo umožňuje tréning multi-miliardových modelov aj na relatívne obmedzených hardvérových systémoch.

Implementácia efektívnych sharding stratégií vyžaduje špecializované frameworky ako DeepSpeed, Megatron-LM alebo Mesh TensorFlow, ktoré automatizujú komplexné aspekty distribúcie a synchronizácie. Tieto frameworky často implementujú ďalšie optimalizácie ako gradient checkpointing, mixed-precision training alebo activation recomputation pre ďalšie zlepšenie efektivity a redukciu pamäťových nárokov.

Porovnanie architektúr moderných jazykových modelov

Architektonické rozdiely medzi modernými LLM hrajú kľúčovú úlohu v ich schopnostiach, efektivite a vhodnosti pre rôzne aplikácie. Zatiaľ čo všetky využívajú transformerový základ, existujú významné variácie v implementácii jednotlivých komponentov, ktoré ovplyvňujú ich výkon a charakteristiky.

GPT architektúra (Generative Pre-trained Transformer) využíva decoder-only prístup s autoregresívnym generovaním textu, čo ju robí ideálnou pre generatívne úlohy. Novšie verzie ako GPT-4 implementujú pokročilé techniky ako na úrovni architektúry (väčšie kontextové okno, multi-modálne vstupy), tak na úrovni tréningu (RLHF, konštitučné prístupy).

PaLM architektúra (Pathways Language Model) od Google zaviedla inovácie ako SwiGLU aktivácie, multi-query attention a škálované RoPE, čo umožnilo efektívnejšie škálovanie na stovky miliárd parametrov. Gemini, nasledovník PaLM, ďalej integroval multimodálne schopnosti priamo do architektúry modelu.

Špecializované architektúry a nové prístupy

Mixtúry expertov (MoE) ako Mixtral predstavujú hybridný prístup, kde každý token je spracovaný iba podmnožinou špecializovaných "expertných" sietí. Táto technika umožňuje dramaticky zvýšiť počet parametrov modelu pri zachovaní podobnej výpočtovej náročnosti počas inferencie.

State-space modely ako Mamba predstavujú potenciálnu alternatívu k transformerom, ktorá kombinuje výhody rekurentných a konvolučných prístupov s lineárnou škálovateľnosťou vzhľadom na dĺžku sekvencie. Tieto modely sú obzvlášť sľubné pre spracovanie veľmi dlhých kontextov (100K+ tokenov).

Pri výbere architektúry pre konkrétnu aplikáciu je potrebné zvážiť kompromisy medzi presnosťou, výpočtovou eficienciou, pamäťovými nárokmi a špecifickými schopnosťami ako je dlhodobá pamäť alebo multimodálne spracovanie. Najnovší výskum sa zameriava na hybridné prístupy kombinujúce silné stránky rôznych architektúr a techniky ako retrieval-augmented generation, ktoré rozširujú schopnosti modelov o explicitný prístup k externým znalostiam.