Natūralios kalbos apdorojimas DI pokalbiuose

Tokenizacija ir jos įgyvendinimas LLM

Tokenizacija yra pagrindinis NLP procesas, kurio metu įvesties tekstas yra padalijamas į pagrindinius vienetus (tokenus), kuriuos apdoroja kalbos modelis. Priešingai intuityviam lūkesčiui, tokenai nebūtinai yra ištisi žodžiai, bet gali būti žodžių dalys (subword), pavieniai simboliai ar net baitų dalys. Šis lankstumas leidžia efektyviai reprezentuoti platų kalbų ir specialiųjų simbolių spektrą, išlaikant pagrįstą žodyno dydį.

Šiuolaikiniai LLM pirmiausia įgyvendina tris tokenizacijos algoritmų tipus:

Byte-Pair Encoding (BPE) – iteracinis algoritmas, kuris pradeda nuo pavienių simbolių ir palaipsniui sujungia dažniausiai pasitaikančias poras į naujus tokenus, taip sukuriant statistiškai optimalų žodyną, apimantį tiek dažnus ištisus žodžius, tiek komponentus rečiau pasitaikantiems terminams

Tokenizacijos įgyvendinimas realiose sistemose

WordPiece – BPE variantas, naudojamas, pavyzdžiui, BERT modeliuose, kuris teikia pirmenybę dažnesniems žodžių dalių vienetams ir įgyvendina specialią priešdėlių sistemą (paprastai ##), skirtą žodžių tęsiniams žymėti

SentencePiece – „end-to-end“ tokenizacijos sistema, kuri pašalina išankstinį teksto apdorojimą, pvz., žodžių segmentavimą ar normalizavimą, todėl ji idealiai tinka daugiakalbiams modeliams ir kalboms be aiškių žodžių ribų

Šiuolaikinių pokalbių robotų kontekste tokenizacija turi didelę įtaką jų praktiniam naudojimui. GPT-4 ir Claude naudoja patentuotus BPE įgyvendinimus su dydžiu žodyno 100 000+ tokenų, kas leidžia efektyviai suspausti įprastą tekstą (paprastai 4-5 simboliai vienam tokenui). Techniniu iššūkiu išlieka efektyvi tokenizacija daugiakalbių tekstų, kodo ir specializuotų žymėjimų, tokių kaip matematiniai simboliai ar cheminės formulės. Naujausi modeliai, tokie kaip Gemini ar BLOOM, įgyvendina pažangius tokenizatorius, optimizuotus šiems mišraus modalumo įvestims.

Įterpimai ir semantikos reprezentacija

Įterpimai (Embeddings) yra pagrindinė šiuolaikinių NLP sistemų sudedamoji dalis – tai tankios vektorinės žodžių, frazių ar ištisų dokumentų reprezentacijos n-matėje erdvėje, kur semantiškai panašūs elementai yra išdėstyti arti vienas kito. Šios skaitmeninės reprezentacijos leidžia kalbos modeliams efektyviai dirbti su reikšme ir ryšiais tekste.

LLM kontekste skiriame kelis įterpimų tipus:

Tokenų įterpimai – pagrindinė pavienių tokenų reprezentacija, paprastai vektorių pavidalu, kurių dydis svyruoja nuo 768 iki 8192 dimensijų, priklausomai nuo modelio dydžio

Pozicijų įterpimai – vektoriai, koduojantys tokeno poziciją sekoje, kritiškai svarbūs sintaksiniams ryšiams išsaugoti

Segmento/tipo įterpimai – papildomos reprezentacijos, nurodančios tokeno vaidmenį ar kilmę (pvz., ar jis kilęs iš vartotojo įvesties, ar iš modelio atsakymo)

Šiuolaikinės įterpimų sistemos ir jų taikymai

Be vidinių įterpimų LLM, egzistuoja specializuoti įterpimų modeliai, tokie kaip text-embedding-ada-002 (OpenAI) ar E5 (Microsoft), kurie yra optimizuoti specifinėms užduotims, pvz., paieškai, klasterizavimui ar informacijos išgavimui (retrieval). Šie modeliai įgyvendina pažangias technikas, tokias kaip kontrastingasis mokymasis (contrastive learning), kur įterpimai yra mokomi taip, kad maksimaliai padidintų susijusių porų panašumą ir sumažintų nesusijusių tekstų panašumą.

Kritinis įterpimų technologijų taikymas šiuolaikiniuose pokalbių robotuose yra RAG (Retrieval-Augmented Generation), kur vartotojo užklausos įterpimai naudojami semantinei susijusių dokumentų ar žinių paieškai, kurios vėliau praturtina kontekstą atsakymo generavimui. Šis metodas dramatiškai pagerina faktinį tikslumą ir aktualumą informacijos, teikiamos DI sistemų.

Naujausi tyrimai sutelkti į daugiarūšius įterpimus (multi-modal embeddings), kurie integruoja tekstinius, vaizdinius ir kitus modalumus į vieningą vektorinę erdvę, leidžiančią atlikti sudėtingą kryžminio modalumo paiešką ir samprotavimą. Sistemos, tokios kaip CLIP ar Flamingo, demonstruoja, kaip šios vieningos reprezentacijos gali efektyviai susieti sąvokas tarp skirtingų tipų duomenų.

Konteksto supratimas ir analizė

Konteksto supratimas yra pagrindinis šiuolaikinių kalbos modelių gebėjimas, leidžiantis interpretuoti ir analizuoti tekstą atsižvelgiant į jo platesnes sąsajas. Skirtingai nuo klasikinių NLP metodų, kurie paprastai apdorodavo tekstą sakiniais ar trumpomis atkarpomis, šiuolaikiniai LLM dirba su išplėstu kontekstu, apimančiu tūkstančius ar net dešimtis tūkstančių tokenų.

Šis procesas apima kelis pagrindinius analizės lygius:

Sintaksinė analizė – numanomas teksto gramatinės struktūros supratimas, įskaitant priklausomybių tarp žodžių, frazių ir sakinių identifikavimą

Semantinė analizė – teksto reikšmės interpretacija, įskaitant daugiareikšmių terminų dviprasmybių šalinimą remiantis kontekstu ir numanomų ryšių tarp sąvokų identifikavimą

Diskurso analizė – ilgesnių teksto sekų struktūros ir rišlumo supratimas, įskaitant argumentacinių modelių, naratyvinių elementų ir teminių perėjimų identifikavimą

Konteksto supratimo įgyvendinimas pokalbių robotuose

Šiuolaikinių pokalbių robotų kontekste kritinis aspektas yra gebėjimas palaikyti ir nuolat atnaujinti vadinamąją „pokalbio būseną“ (conversation state) – dialogo eigos reprezentaciją, apimančią pagrindinę informaciją, vartotojo nuostatas ir svarbias detales iš ankstesnių sąveikų. Nors senesnės sistemos įgyvendino aiškius būsenos sekimo komponentus, šiuolaikiniai „end-to-end“ LLM naudoja vadinamąjį mokymąsi kontekste (in-context learning), kur visa pokalbio istorija pateikiama kaip įvesties dalis.

Šis metodas leidžia pasiekti sudėtingų reiškinių, tokių kaip „zero/few-shot learning“, kai modelis gali pritaikyti savo elgesį remdamasis keliais pavyzdžiais, pateiktais kaip konteksto dalis. Kritiniu iššūkiu išlieka efektyvus ilgų kontekstų valdymas, ypač realaus laiko programose. Metodai, tokie kaip slankieji langai (sliding windows) ar hierarchinis pokalbių istorijos suspaudimas, yra įgyvendinami siekiant subalansuoti supratimo tikslumą ir skaičiavimo efektyvumą.

Naujausi modeliai, tokie kaip Claude ar GPT-4, demonstruoja pažangius konteksto gebėjimus, įskaitant meta-supratimą (gebėjimą apmąstyti ir komentuoti savo interpretacijas), kryžminį dokumentų samprotavimą (sąsajų tarp skirtingų dokumentų kontekste kūrimą) ir išplėstą atmintį (nuoseklumo palaikymą labai ilgose sąveikose). Šie gebėjimai yra labai svarbūs sudėtingoms programoms, tokioms kaip bendradarbiavimu pagrįstas rašymas, išplėstinis trikčių šalinimas ar daugiapakopė tyrimų pagalba.

Ketinimų atpažinimas ir esybių išskyrimas

Ketinimų atpažinimas (Intent recognition) ir esybių išskyrimas (entity extraction) yra pagrindiniai komponentai vartotojo įvesties apdorojimo grandinėje šiuolaikiniuose DI pokalbių robotuose. Šie metodai leidžia transformuoti nestruktūrizuotą tekstą į struktūrizuotus duomenis, kuriuos galima efektyviai panaudoti generuojant tikslius ir kontekstui tinkamus atsakymus.

Ketinimų atpažinimas yra procesas, skirtas identifikuoti pagrindinį vartotojo įvesties ketinimą ar tikslą. Nors tradiciniai pokalbių robotai naudojo taisyklėmis pagrįstas sistemas ar specializuotus klasifikatorius, šiuolaikiniai LLM įgyvendina numanomą ketinimų aptikimą kaip savo „end-to-end“ apdorojimo dalį. Šios sistemos gali atpažinti dešimtis ar net šimtus skirtingų ketinimų, nuo informacinių užklausų iki instrumentinių prašymų ar emocinių bei socialinių sąveikų.

Pažangus struktūrizuotų duomenų išskyrimas

Esybių išskyrimas (kartais vadinamas vardinių esybių atpažinimu – Named Entity Recognition, NER) yra procesas, skirtas identifikuoti ir klasifikuoti pagrindinius informacinius elementus tekste, tokius kaip:

- Asmenys, organizacijos ir vietovės

- Laiko duomenys ir datos

- Matavimai, vertės ir specifiniai identifikatoriai

- Srities specifinės esybės (pvz., simptomai medicininiame kontekste ar techninės specifikacijos IT palaikyme)

Šiuolaikiniai šios technologijos įgyvendinimai peržengia paprastą esybių identifikavimą ir apima sudėtingus gebėjimus, tokius kaip:

Esybių susiejimas (Entity linking) – identifikuotų esybių susiejimas su konkrečiais įrašais žinių bazėje

Koreferencijų sprendimas (Coreference resolution) – skirtingų nuorodų į tą pačią esybę identifikavimas visame tekste

Atributų išskyrimas (Attribute extraction) – su esybėmis susijusių savybių ir charakteristikų identifikavimas

Ryšių išskyrimas (Relation extraction) – ryšių tarp skirtingų esybių tekste identifikavimas

Pažangiausiuose įgyvendinimuose, tokiuose kaip GPT-4 ar Claude, šie gebėjimai yra integruoti į vieningą samprotavimo sistemą, kuri gali lanksčiai pereiti tarp numanomo ir aiškaus struktūrizuoto apdorojimo pagal užduoties poreikį. Ši integracija leidžia derinti struktūrizuoto apdorojimo tikslumą su „end-to-end“ generatyvinių metodų lankstumu ir apibendrinimu.

Atsakymų generavimas ir dekodavimas

Atsakymų generavimas yra galutinis ir galbūt kritiškiausias kalbos apdorojimo etapas DI pokalbių robotuose. Šis procesas transformuoja vidines modelio reprezentacijas į rišlų, naudingą ir kontekstui tinkamą tekstą. Šio proceso pagrindas yra vadinamasis dekodavimas – algoritmas, kuris palaipsniui konstruoja išvesties seką tokenas po tokeno, naudodamas išmoktus kalbos modelio tikimybinius pasiskirstymus.

Pagrindiniai dekodavimo metodai apima:

Godusis dekodavimas (Greedy decoding) – paprastas metodas, kuris kiekviename žingsnyje pasirenka tokeną su didžiausia tikimybe, kas lemia deterministinius, bet dažnai monotoniškus ar nuspėjamus atsakymus

Spindulinė paieška (Beam search) – algoritmas, kuris palaiko kelias tikėtiniausias kandidatines sekas (spindulius) ir kiekviename žingsnyje išplečia visas galimybes, leidžiantis globaliau optimizuoti atsakymą

Pažangūs atrankos metodai atsakymų generavimui

Šiuolaikiniai LLM įgyvendina sudėtingesnes dekodavimo strategijas, kurios balansuoja tarp determinizmo ir kūrybiškumo:

Temperatūros atranka (Temperature sampling) – metodas, kuris koreguoja tikimybių pasiskirstymo „drąsumą“, kur aukštesnė temperatūra lemia įvairesnius ir kūrybiškesnius atsakymus, o žemesnė temperatūra teikia pirmenybę nuspėjamumui ir faktiniam tikslumui

Top-k atranka – metodas, kuris apriboja pasirinkimą iki k tikėtiniausių tokenų, taip pašalinant mažai tikėtinas trajektorijas, išlaikant tam tikrą variabilumą

Branduolio (top-p) atranka (Nucleus sampling) – sudėtingas metodas, kuris dinamiškai koreguoja kandidatinių tokenų skaičių taip, kad jų kumuliacinė tikimybė pasiektų p slenkstį, efektyviai pritaikant atrankos imties dydį pagal modelio pasitikėjimą

Kritinis generavimo aspektas taip pat yra post-apdorojimas, kuris gali apimti:

- Gramatinių klaidų ar nepageidaujamų artefaktų aptikimą ir taisymą

- Saugumo filtrų taikymą potencialiai problemiškam turiniui pašalinti

- Atsakymų formatavimą ir struktūrizavimą pagal pageidaujamą išvestį (pvz., JSON, markdown, HTML)

- Atsakymų papildymą papildoma informacija ar metaduomenimis

Realaus laiko programose įgyvendinamas srautinis dekodavimas (stream-based decoding), kur tokenai vartotojui pristatomi palaipsniui, kai tik jie sugeneruojami, kas žymiai pagerina suvokiamą sistemos reakciją, ypač esant ilgesniems atsakymams.

Atrankos metodai ir atsakymų įvairovė

Atrankos metodai (Sampling techniques) yra sudėtingi algoritmai, kurie transformuoja kalbos modelių generuojamus tikimybinius pasiskirstymus į konkrečias sekas tokenų su pageidaujamomis savybėmis. Jų įgyvendinimas iš esmės veikia generuojamų atsakymų pobūdį ir yra kritinis vartotojo patirties su DI pokalbių robotais aspektas.

Nors deterministiniai metodai, tokie kaip godusis dekodavimas ar spindulinė paieška, yra optimalūs užduotims, reikalaujančioms tikslumo ir nuoseklumo (pvz., faktiniams atsakymams ar formaliai komunikacijai), atrankos metodai yra būtini kūrybinėms programoms, natūraliam pokalbiui ir situacijoms, kur pageidaujamas tam tikras nenuspėjamumo lygis.

Pažangūs parametrizuoti atrankos metodai

Šiuolaikiniai įgyvendinimai naudoja įvairių atrankos strategijų ir jų parametrizavimo derinius:

Daugiapakopė atranka (Multi-stage sampling) – kaskadinis metodas, kuris taiko skirtingus atrankos metodus skirtinguose generavimo etapuose, pavyzdžiui, branduolio atranką kūrybinėms dalims ir labiau deterministinius metodus faktinei informacijai

Tipinė atranka (Typical sampling) – metodas, kuris teikia pirmenybę tokenams su tipine (vidutine) netikėtumo (surprisal) verte, taip pašalinant tiek pernelyg įprastas, tiek pernelyg mažai tikėtinas trajektorijas

Mirostat – adaptyvus algoritmas, kuris dinamiškai koreguoja atrankos parametrus siekdamas išlaikyti pastovią generuojamo teksto perpleksiją, kas lemia stabilesnę kokybę skirtinguose kontekstuose

Kontrastingoji paieška (Contrastive search) – metodas, kuris balansuoja tarp tikimybės ir įvairovės naudojant degeneracijos baudą, baudžiančią už kartojimąsi panašių kontekstų

Kritinis šių metodų įgyvendinimo aspektas yra jų dinaminis pritaikymas pagal kontekstą, sritį ir vartotojo nuostatas. Pažangiausios sistemos, tokios kaip Claude ar GPT-4, įgyvendina meta-atrankos strategijas, kurios automatiškai koreguoja atrankos parametrus pagal aptiktą turinio tipą, reikalaujamą formalumą ar kūrybinę vs. faktinę užduoties orientaciją.

Vartotojui orientuotoms programoms taip pat svarbi galimybė aiškiai kontroliuoti atrankos parametrus, kas leidžia pritaikyti generavimą pagal specifinius reikalavimus. Tokių valdiklių įgyvendinimas reikalauja balanso tarp lankstumo ir sąsajos sudėtingumo, dažniausiai realizuojamo per aukšto lygio abstrakcijas, tokias kaip „kūrybiškumas“, vietoj tiesioginio techninių parametrų, tokių kaip temperatūra ar top-p, manipuliavimo.

Pragmatiniai komunikacijos aspektai

Komunikacijos pragmatika – tyrimas, kaip kontekstas veikia reikšmę ir kalbos interpretaciją – yra viena sudėtingiausių NLP sričių. Šiuolaikiniai pokalbių robotai įgyvendina sudėtingus mechanizmus pragmatiniams aspektams užfiksuoti, kas leidžia jiems generuoti socialiai tinkamus, kontekstui jautrius ir komunikaciškai efektyvius atsakymus.

Pagrindiniai pragmatiniai reiškiniai, įgyvendinti pažangiose sistemose, apima:

Diskurso valdymas (Discourse management) – gebėjimas palaikyti rišlumą ir progresą ilguose pokalbiuose, įskaitant tinkamus perėjimus tarp temų, dialogo krypties pasikeitimų signalizavimą ir tinkamas pradžios/pabaigos sekas

Registro jautrumas (Register sensitivity) – formalumo lygio, techninio sudėtingumo ir stilistinių atsakymų aspektų pritaikymas pagal kontekstą, sritį ir vartotojo charakteristikas

Implikatūrų tvarkymas (Implicature handling) – gebėjimas daryti išvadas apie neišsakytas reikšmes ir ketinimus, kurie peržengia tiesioginę teksto interpretaciją (pvz., retorinių klausimų, ironijos ar netiesioginių prašymų atpažinimas)

Socialiniai ir kultūriniai komunikacijos aspektai

Pažangūs pragmatinių gebėjimų įgyvendinimai taip pat apima:

Mandagumo modeliavimas (Politeness modeling) – specifinių mandagumo strategijų įgyvendinimas, įskaitant „veido išsaugojimo“ mechanizmus (face-saving), pozityvumo šališkumą (positivity bias) ir tinkamą tiesmukumo lygį, pagrįstą kultūrinėmis ir socialinėmis normomis

Kultūrinė adaptacija (Cultural adaptation) – gebėjimas koreguoti komunikacijos stilių, nuorodas ir pavyzdžius pagal kultūrinį kontekstą, įskaitant lokalizuotus idiomus, kultūriškai svarbias analogijas ir pagarbą specifiniams tabu ar jautrumams

Tono ir nuotaikos derinimas (Tone and sentiment alignment) – dinaminis emocinio atsakymų tono pritaikymas siekiant sukurti tinkamą socialinę dinamiką, įskaitant empatiją emociškai įkrautose situacijose ar entuziazmą teigiamų sąveikų metu

Šių gebėjimų įgyvendinimas paprastai derina numanomą mokymąsi iš mokymo duomenų su aiškiomis derinimo technikomis, tokiomis kaip RLHF. Kritiniu iššūkiu išlieka balansas tarp universalių komunikacijos principų ir specifinių kultūrinių ar individualių nuostatų, kas reikalauja sudėtingų meta-pragmatinių gebėjimų – suvokimo, kada ir kaip pritaikyti komunikacijos strategijas pagal konkretų kontekstą.

Pažangiausios sistemos, tokios kaip Claude ar GPT-4, demonstruoja kylančius pragmatinius gebėjimus, kurie peržengia aiškų mokymą, įskaitant daugelio šalių dialogo valdymą, vidutinės trukmės ar ilgalaikę personalizaciją ir adaptyvias komunikacijos strategijas, kurios vystosi sąveikos metu remiantis tiek aiškiu, tiek numanomu grįžtamuoju ryšiu.