Nagy nyelvi modellek (LLM) architektúrája

Transzformer architektúra: A modern LLM-ek alapja

A transzformer architektúra alapvető áttörést jelent a természetes nyelvi feldolgozás területén, és minden modern nagy nyelvi modell (LLM) alapját képezi. A korábbi, rekurrens (RNN) vagy konvolúciós (CNN) neurális hálózatokon alapuló megközelítésekkel ellentétben a transzformerek az úgynevezett attention mechanizmust használják, amely lehetővé teszi a szövegben lévő hosszú távú függőségek hatékony rögzítését szekvenciális feldolgozás nélkül. Ez az architekturális alap kulcsfontosságú a nyelvi modellek hatékony tanítási folyamatához.

A transzformer architektúra kulcsfontosságú tulajdonsága a párhuzamosíthatósága - a bemeneti szekvencia összes tokenje egyszerre feldolgozható, ami drámaian felgyorsítja a tanítást és az inferenciát is. A standard transzformer egy kódolóból (encoder) és egy dekódolóból (decoder) áll, míg a modern LLM-ek, mint a GPT, elsősorban csak dekódoló architektúrát használnak, míg a BERT-hez hasonló modellek csak kódolót. A T5 vagy BART típusú modellek teljes kódoló-dekódoló architektúrát használnak.

A transzformer modellek műszaki specifikációi

A modern LLM-ek, mint a GPT-4, Claude vagy Llama 2, mély transzformer architektúrákat implementálnak, amelyek több tíz vagy akár több száz rétegből állnak. Minden réteg (layer) multi-head attention mechanizmusok és feed-forward neurális hálózatok segítségével dolgozza fel az információkat. A modell teljesítményét nagymértékben meghatározza a paraméterek (súlyok) száma, amely a kisebb modellek esetében néhány milliárdtól a legnagyobb rendszerek esetében több száz milliárdig vagy akár billióig terjed.

Self-attention mechanizmusok és implementációjuk

A self-attention (néha scaled dot-product attention-nek is nevezik) a transzformer architektúra kulcsfontosságú összetevője. Ez a mechanizmus lehetővé teszi a modell számára, hogy kiértékelje a szekvenciában lévő összes token közötti kapcsolatokat és függőségeket, és dinamikusan meghatározza, hogy a szöveg mely részeire összpontosítson egy adott szó vagy kifejezés értelmezésekor.

Technikai szempontból a self-attention minden tokent három különböző vektorrá alakít: query (Q), key (K) és value (V). Az ezt követő attention számítás magában foglalja a Q és K mátrixok szorzását, az eredmény skálázását, a softmax függvény alkalmazását az attention súlyok megszerzéséhez, végül pedig a V mátrixszal való szorzást a kontextuálisan gazdagított reprezentáció megszerzéséhez. Matematikailag ez a folyamat a következő egyenlettel fejezhető ki:

Attention(Q, K, V) = softmax(QK^T / √d_k)V

Multi-head attention

A modern LLM-ek úgynevezett multi-head attention-t használnak, amely lehetővé teszi a modell számára, hogy egyszerre kövesse nyomon a szövegben lévő különböző típusú kapcsolatokat. Például egy attention head követheti a szintaktikai kapcsolatokat, míg egy másik a szemantikai hasonlóságra vagy a koreferenciai kapcsolatokra összpontosít. Az attention head-ek száma fontos hiperparaméter, amely általában 12-től (kisebb modelleknél) 96-ig vagy még többig (a legnagyobb rendszereknél) terjed. Minden head az eredeti beágyazási vektornál alacsonyabb dimenzióban működik, ami biztosítja a számítási hatékonyságot a modell kifejezőképességének megőrzése mellett.

Beágyazási dimenziók és token reprezentációk

A beágyazási dimenzió kulcsfontosságú hiperparaméter, amely meghatározza az egyes tokenek vektoriális reprezentációjának méretét a nyelvi modellben. A modern LLM-ekben ez az érték általában 768-tól (kisebb modelleknél) 12288-ig vagy még többig (a legnagyobb rendszereknél) terjed. A nagyobb beágyazási dimenzió lehetővé teszi a finomabb szemantikai árnyalatok és a komplexebb nyelvi kapcsolatok rögzítését, de ugyanakkor növeli a számítási igényt és a modell paramétereinek számát.

A tokenek beágyazásokká alakításának folyamata egy keresőtáblát (lookup table) foglal magában, ahol minden lehetséges tokenhez egyedi beágyazási vektor tartozik. Ezeket a kezdeti beágyazásokat tovább gazdagítják pozícióinformációkkal az úgynevezett pozíciós beágyazások segítségével, amelyeket vagy tanítható paraméterekként, vagy determinisztikus szinuszoidális függvényekkel lehet implementálni.

A beágyazások kontextuális kapacitása

Az LLM-ek beágyazásainak fontos szempontja a kontextuális kapacitásuk, azaz a képességük, hogy megőrizzék a tokenek közötti kapcsolatokra vonatkozó információkat hosszú szekvenciákon keresztül. A modern modellek, mint a GPT-4 vagy a Claude 3 Opus, 32K-tól 128K tokenig terjedő kontextusablakokat érnek el, ami lehetővé teszi hosszú dokumentumok, komplex beszélgetések vagy kifinomult utasítások feldolgozását. A pozíciós beágyazások helyes implementálása kritikus a kontextusablak hatékony skálázásához, és a fejlett modellek olyan technikákat használnak, mint a RoPE (Rotary Position Embedding) vagy az ALiBi (Attention with Linear Biases) a hosszú szekvenciákon nyújtott teljesítmény javítására.

Feed-forward neurális hálózatok az LLM-ekben

A feed-forward neurális hálózatok (FFN) minden transzformer réteg második fő komponensét alkotják, a self-attention mechanizmust követve. Míg az attention a tokenek közötti kapcsolatokat rögzíti, az FFN minden tokent külön-külön dolgoz fel, és nemlineáris transzformációkat alkalmaz, amelyek kulcsfontosságúak a modell kifejezőképessége szempontjából.

Az FFN tipikus implementációja a transzformerben két lineáris transzformációt foglal magában, közöttük egy aktivációs függvénnyel (leggyakrabban ReLU vagy GELU). Matematikailag ez a folyamat a következőképpen fejezhető ki:

FFN(x) = Linear₂(Activation(Linear₁(x)))

Az FFN parametrizálása és optimalizálása

Architekturális szempontból az FFN kulcsfontosságú paramétere az úgynevezett rejtett dimenzió (hidden dimension), amely meghatározza az első lineáris transzformáció utáni köztes eredmény méretét. Ez az érték általában 4x nagyobb, mint a beágyazási dimenzió, ami elegendő kapacitást biztosít a komplex mintázatok rögzítéséhez. A modern architektúrákban, mint a PaLM vagy a Chinchilla, alternatív konfigurációkkal kísérleteznek, beleértve a SwiGLU vagy GeGLU aktivációkat és a mixtures-of-experts (szakértői keverékek) megközelítéseket, amelyek tovább növelik az FFN komponensek hatékonyságát.

Az FFN komponensek érdekes aspektusa, hogy a modern LLM-ek paramétereinek többségét teszik ki - általában az összes súly 60-70%-át. Ezáltal elsődleges jelöltekké válnak az olyan optimalizálási technikákhoz, mint a pruning (felesleges súlyok eltávolítása), a kvantálás vagy a low-rank approximáció azokban az esetekben, amikor csökkenteni kell a modell memóriakövetelményeit.

Kvantálás és egyéb optimalizálási technikák

A kvantálás kulcsfontosságú optimalizálási technika, amely lehetővé teszi az LLM-ek memóriakövetelményeinek csökkentését, miközben képességeik nagy részét megőrzik. Az elv a modell paramétereinek nagy pontosságú (általában 32 bites lebegőpontos értékek) alacsonyabb pontosságú (16 bites, 8 bites vagy akár 4 bites reprezentáció) átalakításán alapul. A helyesen implementált kvantálás akár 8x-osára is csökkentheti a modell méretét, minimális hatással a válaszok minőségére.

A modern megközelítések, mint a GPTQ, AWQ vagy QLoRA, kifinomult kvantálási algoritmusokat implementálnak, amelyek optimalizálják a folyamatot a súlyok statisztikai tulajdonságai és a modell pontossága szempontjából betöltött fontosságuk alapján. A post-training kvantálás (PTQ) a tömörítést egy már betanított modellre alkalmazza, míg a quantization-aware training (QAT) a kvantálási szempontokat közvetlenül a tanítási folyamatba integrálja.

További optimalizálási technikák

A kvantáláson kívül a modern LLM-ek számos egyéb optimalizálási technikát alkalmaznak:

Modell pruning - a kevésbé fontos súlyok vagy egész modellkomponensek szisztematikus eltávolítása a végső teljesítményre gyakorolt hatásuk alapján

Knowledge distillation - egy kisebb "tanuló" modell betanítása úgy, hogy utánozza egy nagyobb "tanár" modell viselkedését

Low-rank adaptáció - a modell kiválasztott komponenseinek módosítása alacsony rangú mátrixok segítségével, ami lehetővé teszi a hatékony finomhangolást (fine-tuning) minimális memóriakövetelmények mellett

Sparse attention - olyan attention mechanizmusok implementálása, amelyeknek nem kell minden token közötti kapcsolatot kiértékelniük, hanem csak a potenciálisan releváns párokra összpontosítanak

Modell sharding és elosztott feldolgozás

A modell sharding egy olyan technika, amely a nagy nyelvi modellek paramétereit és számításait több számítási eszközre (GPU/TPU) osztja szét, lehetővé téve azoknak a modelleknek a hatékony betanítását és telepítését, amelyek túl nagyok ahhoz, hogy egyetlen gyorsító memóriájában elférjenek. A shardingnak négy fő megközelítése létezik, mindegyiknek megvannak a maga előnyei és korlátai.

A Tensor Parallelism az egyes mátrixokat és tenzorokat szegmensekre osztja, amelyeket egyidejűleg dolgoznak fel különböző eszközökön. Ez a megközelítés minimalizálja a kommunikációs többletköltséget, de nagy sebességű kapcsolatot igényel a gyorsítók között.

A Pipeline Parallelism a modell teljes rétegeit osztja szét különböző eszközökre, amelyek az adatokat szekvenciálisan, futószalagszerűen (pipeline) dolgozzák fel. Ez a megközelítés hatékonyan használja a memóriát, de az eszközök kiegyensúlyozatlan terheléséhez vezethet.

Fejlett elosztási stratégiák

A 3D Parallelism kombinálja a tensor és a pipeline parallelizmust az adat parallelizmussal (különböző batch minták feldolgozása különböző eszközökön), ami lehetővé teszi a rendelkezésre álló számítási erőforrások maximális kihasználását rendkívül nagy modellek betanításakor.

A ZeRO (Zero Redundancy Optimizer) kiküszöböli a redundanciát az optimalizáló állapotok, gradiensek és modellparaméterek tárolásában a GPU-k között. A ZeRO-3, a legfejlettebb változat, úgy osztja fel az egyes modellparamétereket, hogy minden GPU csak a teljes modell egy kis részét tárolja, ami lehetővé teszi a több milliárd paraméteres modellek betanítását még viszonylag korlátozott hardverrendszereken is.

A hatékony sharding stratégiák implementálása speciális keretrendszereket igényel, mint például a DeepSpeed, Megatron-LM vagy Mesh TensorFlow, amelyek automatizálják az elosztás és szinkronizálás komplex aspektusait. Ezek a keretrendszerek gyakran további optimalizálásokat is implementálnak, mint például a gradient checkpointing, a mixed-precision training vagy az activation recomputation a hatékonyság további javítása és a memóriakövetelmények csökkentése érdekében.

Modern nyelvi modellek architektúráinak összehasonlítása

A modern LLM-ek közötti architekturális különbségek kulcsszerepet játszanak képességeikben, hatékonyságukban és különböző alkalmazásokhoz való alkalmasságukban. Bár mindegyik a transzformer alapot használja, jelentős eltérések vannak az egyes komponensek implementációjában, amelyek befolyásolják teljesítményüket és jellemzőiket.

A GPT architektúra (Generative Pre-trained Transformer) csak dekódoló megközelítést használ autoregresszív szöveggenerálással, ami ideálissá teszi generatív feladatokhoz. Az újabb verziók, mint a GPT-4, fejlett technikákat implementálnak mind az architektúra szintjén (nagyobb kontextusablak, multi-modális bemenetek), mind a tanítás szintjén (RLHF, konstitucionális megközelítések).

A PaLM architektúra (Pathways Language Model) a Google-tól olyan innovációkat vezetett be, mint a SwiGLU aktivációk, a multi-query attention és a skálázott RoPE, ami lehetővé tette a hatékonyabb skálázást több száz milliárd paraméterre. A Gemini, a PaLM utódja, tovább integrálta a multimodális képességeket közvetlenül a modell architektúrájába.

Speciális architektúrák és új megközelítések

A szakértői keverékek (MoE), mint a Mixtral, hibrid megközelítést képviselnek, ahol minden tokent csak a specializált "szakértői" hálózatok egy részhalmaza dolgoz fel. Ez a technika lehetővé teszi a modell paramétereinek drámai növelését, miközben az inferencia során hasonló számítási igényt tart fenn.

Az állapottér modellek, mint a Mamba, potenciális alternatívát jelentenek a transzformerekkel szemben, amelyek kombinálják a rekurrens és konvolúciós megközelítések előnyeit a szekvencia hosszához képest lineáris skálázhatósággal. Ezek a modellek különösen ígéretesek nagyon hosszú kontextusok (100K+ token) feldolgozására.

Egy adott alkalmazáshoz megfelelő architektúra kiválasztásakor figyelembe kell venni a pontosság, a számítási hatékonyság, a memóriakövetelmények és az olyan specifikus képességek közötti kompromisszumokat, mint a hosszú távú memória vagy a multimodális feldolgozás. A legújabb kutatások a különböző architektúrák erősségeit kombináló hibrid megközelítésekre és az olyan technikákra összpontosítanak, mint a retrieval-augmented generation, amelyek explicit hozzáféréssel bővítik a modellek képességeit külső tudásbázisokhoz.