Kaip difuzijos modeliai triukšmą paverčia įspūdingais AI vaizdais

Kaip tiksliai veikia AI nuotraukų generavimo procesas žingsnis po žingsnio

Nuo atsitiktinio triukšmo iki struktūrizuoto vaizdo

Pagrindinis difuzijos modelių principas yra procesas, kurį galima apibūdinti kaip „atvirkštinį laiką“. Kol realiame pasaulyje struktūra palaipsniui suyra į chaosą (entropija auga), difuzijos modeliai veikia priešingai:

1. Atsitiktinio triukšmo inicializavimas: Procesas prasideda nuo gryno triukšmo – atsitiktinių pikselių be jokios struktūros ar prasmės.
2. Palaipsnis triukšmo šalinimas: Modelis kelių žingsnių serijoje sistemingai transformuoja šį triukšmą į vis labiau struktūrizuotą vaizdą.
3. Valdomas procesas: Kiekvienos iteracijos metu modelis įvertina, kaip turėtų atrodyti „mažiau triukšmingas“ vaizdas, remdamasis mokymo metu įgytomis žiniomis.
4. Sąlyginis generavimas: Visą procesą galima valdyti tekstine užklausa (angl. prompt), kuri nurodo, ką turi vaizduoti galutinis vaizdas.

Procesas „tiesioginė difuzija“ (angl. forward diffusion) vs. „atvirkštinė difuzija“ (angl. reverse diffusion)

Mokant difuzijos modelius vyksta du tarpusavyje susiję procesai:

1. Tiesioginė difuzija (angl. Forward diffusion): Mokomieji vaizdai palaipsniui užtriukšminami, kol tampa grynu triukšmu. Modelis mokosi, kaip vyksta šis procesas.
2. Atvirkštinė difuzija (angl. Reverse diffusion): Tikrasis stebuklas įvyksta generuojant, kai modelis taiko išmoktas žinias priešinga kryptimi – palaipsniui šalina triukšmą, kol susidaro aiškus vaizdas.

                    Originalus vaizdas → Triukšmo pridėjimas → Daugiau triukšmo → ... → Grynas triukšmas
                    ↓                                                     ↑
                    Modelio mokymas                                       ↑
                    ↓                                                     ↑
                    Sugeneruotas vaizdas ← Mažiau triukšmo ← Mažiau triukšmo ← ... ← Grynas triukšmas
                

Mėginių ėmimas (angl. sampling) ir generavimo žingsnių skaičius

Galutinio vaizdo kokybė dažnai priklauso nuo generavimo žingsnių skaičiaus (vadinamųjų mėginių ėmimo žingsnių, angl. sampling steps):

• Mažas žingsnių skaičius (pvz., 20–30): Greitesnis generavimas, bet galimi artefaktai ir prastesnė detalių kokybė.
• Didelis žingsnių skaičius (pvz., 50–100): Aukštesnė kokybė ir detalių nuoseklumas, bet ilgesnė generavimo trukmė.

Praktikoje dažnai naudojami pažangūs mėginių ėmimo metodai, tokie kaip DDIM, PLMS ar DPM-Solver, kurie leidžia pasiekti kokybiškų rezultatų net ir su mažesniu žingsnių skaičiumi.

Kas yra latentiniai difuzijos modeliai ir kodėl jie sukėlė revoliuciją AI vaizdų kūrime

Nuo pikselių erdvės iki latentinės erdvės

Lūžio taškas difuzijos modelių kūrime buvo perėjimas nuo darbo pikselių erdvėje prie vadinamosios latentinės erdvės:

• Pikselių erdvė: Tiesioginis darbas su atskirų pikselių RGB reikšmėmis – reikalauja daug skaičiavimo išteklių ir didžiulio atminties kiekio.
• Latentinė erdvė: Suspaustas vaizdo atvaizdavimas, kuriame išsaugomos tik svarbiausios savybės – žymiai efektyvesnis.

Latentiniai difuzijos modeliai (LDM)

2022 metais pristatyti latentiniai difuzijos modeliai lėmė esminį proveržį:

1. Dimensijos suspaudimas: Įvesties vaizdas pirmiausia koduotuvo (angl. encoder) pagalba paverčiamas į daug mažesnės dimensijos latentinę erdvę.
2. Difuzija latentinėje erdvėje: Difuzijos procesas vyksta šiame suspaustame atvaizdavime, o tai dramatiškai sumažina skaičiavimo reikalavimus.
3. Rezultato dekodavimas: Galutinis latentinis atvaizdavimas dekoderio (angl. decoder) pagalba paverčiamas atgal į pikselių erdvę kaip galutinis vaizdas.

Kodėl LDM sukėlė revoliuciją

• Skaičiavimo efektyvumas: Atminties poreikio sumažinimas iki 95 %, palyginti su pikselių difuzijos modeliais.
• Greitesnis mokymas: Galimybė mokyti naudojant daug didesnius duomenų rinkinius su turimais ištekliais.
• Moduliškumas: Suspaudimo proceso atskyrimas nuo pačios difuzijos leido sukurti lankstesnę architektūrą.
• Technologijos demokratizavimas: Dėl mažesnių reikalavimų galėjo atsirasti plačiajai visuomenei prieinami įrankiai („Stable Diffusion“).

Būtent „Stable Diffusion“, pagrįstas LDM architektūra, 2022 metais pradėjo masinį generatyvinių AI įrankių plitimą dėl savo atvirumo ir palyginti nedidelių aparatinės įrangos reikalavimų.

Kokie matematiniai principai slypi už AI generatorių gebėjimo kurti fotorealistinį turinį

Stochastinės diferencialinės lygtys

Difuzijos modelių pagrindą sudaro sudėtingas matematinis aparatas:

• SDE (Stochastinės diferencialinės lygtys): Aprašo laipsniško triukšmo pridėjimo prie vaizdo procesą kaip nenutrūkstamą procesą.
• Fokerio-Planko lygtis: Matematinis įrankis, aprašantis tikimybinių pasiskirstymų raidą laike.

U-Net architektūra

Pagrindinis daugumos difuzijos modelių elementas yra U-Net tipo neuroninis tinklas:

• Koduotuvas-dekoderis su praleidžiamaisiais ryšiais (angl. skip connections): Leidžia išsaugoti informaciją apie struktūrą suspaudimo ir vėlesnės rekonstrukcijos metu.
• Dėmesio mechanizmai (angl. Attention mechanisms): Leidžia modeliui sutelkti dėmesį į svarbias vaizdo dalis ir užfiksuoti tolimas priklausomybes.

Valdymo mechanizmai ir sąlyginis generavimas

Gebėjimui generuoti vaizdus pagal tekstinę užklausą reikalingi papildomi komponentai:

• Kryžminis dėmesys (angl. Cross-attention): Mechanizmas, kuris susieja tekstinius įterpinius (angl. embeddings) su vizualiniais elementais latentinėje erdvėje.
• CLIP įterpiniai: Iš anksto apmokytų modelių (pvz., OpenAI CLIP) naudojimas, kurie gali susieti tekstinę ir vizualinę erdves.

Variacinė išvada (angl. Variational inference)

Difuzijos modelius galima suprasti kaip variacinės išvados būdą:

• A posteriori tikimybės maksimizavimas: Modelis siekia maksimizuoti tikimybę, kad sugeneruotas vaizdas priklauso tam pačiam pasiskirstymui kaip ir mokymo duomenys.
• Įvertinimu pagrįstas generatyvinis modeliavimas (angl. Score-based generative modeling): Modernus požiūris, kuris modeliuoja duomenų pasiskirstymo logaritminės tikimybės gradientą.

Matematiškai atvirkštinės difuzijos procesą galima išreikšti kaip lygties sprendimą:

                    dx = [f(x,t) - g(t)²∇ₓlog p(x,t)] dt + g(t) dw
                

kur f ir g yra laiko funkcijos, ∇ₓlog p(x,t) yra vadinamoji įvertinimo funkcija (angl. score function), o dw reiškia Wienerio procesą.

Kuo skiriasi įvairūs difuzijos modelių tipai, naudojami populiariuose AI grafikos kūrimo įrankiuose

Pikselių erdvės vs. Latentiniai difuzijos modeliai

• DALL-E (pirmoji versija): Naudojo difuziją pikselių erdvėje, o tai reikalavo didžiulių skaičiavimo išteklių ir ribojo skiriamąją gebą.
• Stable Diffusion: Latentinės difuzijos pradininkas, dramatiškai sumažino reikalavimus ir leido naudoti viešai.
• DALL-E 2 ir 3: Hibridiniai metodai, derinantys latentinės difuzijos principus su kitomis technikomis.

Architektūros ir optimizavimo skirtumai

• Midjourney: Patentuota architektūra, pabrėžianti estetinę kokybę, tikėtina, naudoja labai optimizuotą difuzijos modelių versiją.
• Imagen (Google): Naudoja kaskadinius difuzijos modelius su laipsnišku skiriamosios gebos didinimu.
• Stable Diffusion XL: Išplėsta klasikinio SD versija su didesniais modeliais ir daugiapakopiu procesu.

Specializuoti difuzijos modeliai

Difuzijos modelių ekosistemoje taip pat randame specializuotų variantų:

• ControlNet: Plėtinys, leidžiantis tiksliau valdyti generuojamą turinį naudojant įvesties sąlygas, tokias kaip eskizai, gylio žemėlapiai ar pozos.
• InstructPix2Pix: Specializacija esamų vaizdų redagavimui pagal tekstines instrukcijas.
• DreamBooth: Difuzijos modelių personalizavimas konkrečiam tapatumui ar objektui su minimaliu mokymo duomenų kiekiu.

Mokymo metodai

• Tekstas į vaizdą (angl. Text-to-Image): Klasikiniai modeliai, mokyti naudojant suporuotų vaizdų ir jų aprašymų duomenų rinkinį.
• Vaizdas į vaizdą (angl. Image-to-Image): Modeliai, specializuoti įvesties vaizdo transformavimui pagal užklausą.
• Savarankiškai prižiūrimas (angl. Self-supervised): Naujesni metodai, naudojantys mokymąsi be aiškių etikečių.

Difuzijos modelių ateitis vaizdų generavime

Difuzijos modeliai sparčiai vystosi, ir galime tikėtis tolesnės pažangos keliomis kryptimis:

• Didesnis efektyvumas: Tolesnis optimizavimas leis generuoti didesne skiriamąja geba ir su mažiau žingsnių.
• Tikslesnė kontrolė: Plėtra krypsta link subtilesnės kiekvieno generuojamo vaizdo aspekto kontrolės.
• Daugiamodaliai modeliai: Integracija su kitomis modalumomis, tokiomis kaip vaizdo įrašai, 3D ar garsas.
• Išvadų darymas įrenginyje (angl. On-device inference): Optimizavimas veikimui mobiliuosiuose įrenginiuose ir įprastuose kompiuteriuose.

Išvada

Difuzijos modeliai yra žavinga dirbtinio intelekto sritis, kuri pranoko daugelį lūkesčių dėl mašininio mokymosi galimybių. Jų gebėjimas paversti triukšmą struktūrizuotais, fotorealistiniais vaizdais atvėrė naujas kūrybinės raiškos ir vizualinės komunikacijos galimybes. Tęsiantis tyrimams ir plėtrai, galime tikėtis, kad šios technologijos vaidins vis svarbesnį vaidmenį skaitmeniniame pasaulyje. Išnagrinėkite kitus AI vaizdų generatorių technologinius aspektus mūsų išsamioje apžvalgoje.

Latentiniai difuzijos modeliai tapo esminiu lūžiu, kuris demokratizavo prieigą prie šios technologijos ir leido jai masiškai paplisti. Matematiniai principai, kuriais jie pagrįsti, yra elegantiškas pažangių tikimybių ir statistikos koncepcijų pritaikymas praktiniame įrankyje, prieinamame plačiajai visuomenei.

Nesvarbu, ar esate menininkas, dizaineris, rinkodaros specialistas, ar tiesiog naujų technologijų entuziastas, supratimas, kaip veikia difuzijos modeliai, leis jums geriau išnaudoti jų potencialą ir galbūt net prisidėti prie jų tolesnio vystymo.