Hur diffusionsmodeller förvandlar brus till fantastiska AI-bilder

Hur exakt fungerar processen för att generera AI-foton steg för steg

Från slumpmässigt brus till strukturerad bild

Grundprincipen för diffusionsmodeller är en process som kan beskrivas som "omvänd tid". Medan struktur i den verkliga världen gradvis bryts ner till kaos (entropin ökar), fungerar diffusionsmodeller tvärtom:

1. Initialisering av slumpmässigt brus: Processen börjar med rent brus - slumpmässiga pixlar utan någon struktur eller mening.
2. Gradvis brusreducering: Modellen transformerar systematiskt detta brus till en alltmer strukturerad bild i en serie steg.
3. Styrd process: Under varje iteration uppskattar modellen hur en "mindre brusig" bild borde se ut, baserat på kunskap som förvärvats under träningen.
4. Villkorad generering: Hela processen kan styras med en textinmatning (prompt) som specificerar vad den resulterande bilden ska innehålla.

Processen "forward diffusion" vs. "reverse diffusion"

Vid träning av diffusionsmodeller sker två sammanlänkade processer:

1. Forward diffusion (framåtdiffusion): Träningsbilder brusläggs gradvis tills de blir rent brus. Modellen lär sig hur denna process fungerar.
2. Reverse diffusion (bakåtdiffusion): Den verkliga magin sker vid generering, när modellen tillämpar den inlärda kunskapen i motsatt riktning - gradvis tar bort bruset tills en ren bild uppstår.

                    Originalbild → Lägg till brus → Mer brus → ... → Rent brus
                    ↓                                                     ↑
                    Träning av modell                                     ↑
                    ↓                                                     ↑
                    Genererad bild ← Mindre brus ← Mindre brus ← ... ← Rent brus
                

Sampling och antal genereringssteg

Kvaliteten på den resulterande bilden beror ofta på antalet genereringssteg (s.k. sampling steps):

• Lågt antal steg (t.ex. 20-30): Snabbare generering, men möjliga artefakter och lägre detaljkvalitet.
• Högt antal steg (t.ex. 50-100): Högre kvalitet och detaljkonsistens, men längre genereringstid.

I praktiken används ofta avancerade samplingsmetoder som DDIM, PLMS eller DPM-Solver, vilka kan uppnå högkvalitativa resultat även med ett lägre antal steg.

Vad är latenta diffusionsmodeller och varför revolutionerade de skapandet av AI-bilder

Från pixelrymd till latent rymd

Ett genombrott i utvecklingen av diffusionsmodeller var övergången från att arbeta i pixelrymden till den så kallade latenta rymden:

• Pixelrymd: Direkt arbete med RGB-värden för enskilda pixlar - beräkningsmässigt krävande, kräver enorma mängder minne.
• Latent rymd: Komprimerad representation av bilden där endast de viktigaste egenskaperna bevaras - betydligt effektivare.

Latent Diffusion Models (LDM)

Latenta diffusionsmodeller, som introducerades 2022, innebar ett avgörande genombrott:

1. Dimensionskomprimering: Indatabilden omvandlas först med hjälp av en kodare till en latent rymd med mycket lägre dimensionalitet.
2. Diffusion i latent rymd: Diffusionsprocessen sker i denna komprimerade representation, vilket dramatiskt minskar beräkningskraven.
3. Avkodning av resultatet: Den slutliga latenta representationen omvandlas tillbaka till pixelrymden som den resulterande bilden med hjälp av en avkodare.

Varför LDM innebar en revolution

• Beräkningseffektivitet: Minskade minneskrav med upp till 95% jämfört med pixelbaserade diffusionsmodeller.
• Snabbare träning: Möjlighet att träna på mycket större dataset med tillgängliga resurser.
• Modularitet: Separationen av komprimeringsprocessen från själva diffusionen möjliggjorde en mer flexibel arkitektur.
• Demokratisering av tekniken: Tack vare lägre krav kunde verktyg som är tillgängliga för allmänheten (Stable Diffusion) skapas.

Just Stable Diffusion, baserad på LDM-arkitekturen, startade 2022 den massiva spridningen av generativa AI-verktyg tack vare sin öppenhet och relativt låga hårdvarukrav.

Vilka matematiska principer ligger bakom AI-generatorers förmåga att skapa fotorealistiskt innehåll

Stokastiska differentialekvationer

Kärnan i diffusionsmodeller utgörs av en sofistikerad matematisk apparat:

• SDE (Stokastiska differentialekvationer): Beskriver processen att gradvis lägga till brus till en bild som en kontinuerlig process.
• Fokker-Planck-ekvationen: Ett matematiskt verktyg som beskriver utvecklingen av sannolikhetsfördelningar över tid.

U-Net-arkitektur

En nyckelkomponent i de flesta diffusionsmodeller är ett neuralt nätverk av typen U-Net:

• Kodare-avkodare med skip-connections: Möjliggör bevarande av strukturinformation under komprimering och efterföljande rekonstruktion.
• Attention-mekanismer: Gör det möjligt för modellen att fokusera på relevanta delar av bilden och fånga upp långväga beroenden.

Styrmekanismer och villkorad generering

Förmågan att generera bilder baserat på textinmatning kräver ytterligare komponenter:

• Cross-attention: En mekanism som kopplar samman text-embeddings med visuella element i den latenta rymden.
• CLIP embeddings: Användning av förtränade modeller (som CLIP från OpenAI) som kan koppla samman text- och bildrymder.

Variationsinferens

Diffusionsmodeller kan ses som en metod för variationsinferens:

• Maximering av a posteriori-sannolikhet: Modellen strävar efter att maximera sannolikheten att den genererade bilden kommer från samma fördelning som träningsdatan.
• Score-based generative modeling: Ett modernt tillvägagångssätt som modellerar gradienten av log-sannolikheten för datafördelningen.

Matematiskt kan processen för reverse diffusion uttryckas som lösningen på ekvationen:

                    dx = [f(x,t) - g(t)²∇ₓlog p(x,t)] dt + g(t) dw
                

där f och g är funktioner av tid, ∇ₓlog p(x,t) är den så kallade score-funktionen och dw representerar Wienerprocessen.

Hur skiljer sig olika typer av diffusionsmodeller som används i populära verktyg för att skapa AI-grafik

Pixel-space vs. Latent Diffusion Models

• DALL-E (första versionen): Använde diffusion i pixelrymden, vilket krävde enorma beräkningsresurser och begränsade upplösningen.
• Stable Diffusion: Pionjär inom latent diffusion, minskade kraven dramatiskt och möjliggjorde offentlig användning.
• DALL-E 2 och 3: Hybridmetoder som kombinerar principerna för latent diffusion med andra tekniker.

Skillnader i arkitektur och optimering

• Midjourney: Proprietär arkitektur med betoning på estetisk kvalitet, använder troligen en högt optimerad version av diffusionsmodeller.
• Imagen (Google): Använder kaskadkopplade diffusionsmodeller med gradvis ökande upplösning.
• Stable Diffusion XL: Utökad version av klassisk SD med större modeller och en flerstegsprocess.

Specialiserade diffusionsmodeller

I ekosystemet för diffusionsmodeller hittar vi också specialiserade varianter:

• ControlNet: Tillägg som möjliggör mer exakt kontroll över det genererade innehållet med hjälp av indatavillkor som skisser, djupkartor eller poser.
• InstructPix2Pix: Specialiserad på att redigera befintliga bilder enligt textinstruktioner.
• DreamBooth: Anpassning av diffusionsmodeller till en specifik identitet eller objekt med minimal träningsdata.

Träningsmetoder

• Text-till-bild: Klassiska modeller tränade på parade dataset av bilder och deras beskrivningar.
• Bild-till-bild: Modeller specialiserade på att transformera en indatabild enligt instruktioner.
• Self-supervised: Nyare metoder som använder inlärning utan explicita etiketter.

Framtiden för diffusionsmodeller inom bildgenerering

Diffusionsmodeller genomgår en stormig utveckling och vi kan förvänta oss ytterligare framsteg inom flera områden:

• Högre effektivitet: Ytterligare optimeringar kommer att möjliggöra generering i högre upplösning och med färre steg.
• Mer exakt kontroll: Utvecklingen går mot finare kontroll över varje aspekt av den genererade bilden.
• Multimodala modeller: Integration med andra modaliteter som video, 3D eller ljud.
• On-device inference: Optimering för körning på mobila enheter och vanliga datorer.

Slutsats

Diffusionsmodeller representerar ett fascinerande område inom artificiell intelligens som har överträffat många förväntningar gällande maskininlärningens kapacitet. Deras förmåga att omvandla brus till strukturerade, fotorealistiska bilder har öppnat nya möjligheter för kreativt skapande och visuell kommunikation. Med fortsatt forskning och utveckling kan vi förvänta oss att dessa teknologier kommer att spela en allt viktigare roll i den digitala världen. Utforska fler tekniska aspekter av AI-bildgeneratorer i vår omfattande översikt.

Latenta diffusionsmodeller innebar sedan ett avgörande genombrott som demokratiserade tillgången till denna teknologi och möjliggjorde dess masspridning. De matematiska principer som de bygger på representerar en elegant tillämpning av avancerade koncept inom sannolikhet och statistik i ett praktiskt verktyg tillgängligt för allmänheten.

Oavsett om du är konstnär, designer, marknadsförare eller bara en entusiast för ny teknik, kommer en förståelse för hur diffusionsmodeller fungerar att göra det möjligt för dig att bättre utnyttja deras potential och kanske till och med bidra till deras fortsatta utveckling.