Hvordan diffusionsmodeller forvandler støj til betagende AI-billeder

Hvordan processen med at generere AI-fotos fungerer præcist trin for trin

Fra tilfældig støj til struktureret billede

Det grundlæggende princip bag diffusionsmodeller er en proces, der kan beskrives som "omvendt tid". Mens struktur i den virkelige verden gradvist nedbrydes til kaos (entropien stiger), fungerer diffusionsmodeller omvendt:

1. Initialisering af tilfældig støj: Processen begynder med ren støj - tilfældige pixels uden nogen struktur eller mening.
2. Gradvis afstøjning: Modellen transformerer systematisk denne støj til et stadig mere struktureret billede i en række trin.
3. Styret proces: Under hver iteration estimerer modellen, hvordan et "mindre støjende" billede skal se ud, baseret på viden opnået under træningen.
4. Betinget generering: Hele processen kan styres af en tekstprompt, der specificerer, hvad det endelige billede skal indeholde.

Processen "forward diffusion" vs. "reverse diffusion"

Under træningen af diffusionsmodeller foregår der to indbyrdes forbundne processer:

1. Forward diffusion (fremadrettet diffusion): Træningsbilleder tilføjes gradvist støj, indtil de bliver ren støj. Modellen lærer, hvordan denne proces forløber.
2. Reverse diffusion (omvendt diffusion): Den virkelige magi sker under genereringen, hvor modellen anvender den lærte viden i modsat retning - gradvist fjerner støj, indtil et rent billede opstår.

                    Originalbillede → Tilføjelse af støj → Mere støj → ... → Ren støj
                    ↓                                                     ↑
                    Træning af model                                      ↑
                    ↓                                                     ↑
                    Genereret billede ← Mindre støj ← Mindre støj ← ... ← Ren støj
                

Sampling og antal genereringstrin

Kvaliteten af det resulterende billede afhænger ofte af antallet af genereringstrin (såkaldte sampling steps):

• Lavt antal trin (f.eks. 20-30): Hurtigere generering, men mulige artefakter og lavere detaljekvalitet.
• Højt antal trin (f.eks. 50-100): Højere kvalitet og konsistens i detaljer, men længere genereringstid.

I praksis anvendes ofte avancerede samplingmetoder som DDIM, PLMS eller DPM-Solver, som kan opnå kvalitetsresultater selv med et lavere antal trin.

Hvad er latente diffusionsmodeller, og hvorfor revolutionerede de skabelsen af AI-billeder

Fra pixelrum til latent rum

Et banebrydende øjeblik i udviklingen af diffusionsmodeller var overgangen fra at arbejde i pixelrummet til det såkaldte latente rum:

• Pixelrum: Direkte arbejde med RGB-værdierne for individuelle pixels - beregningsmæssigt krævende, kræver enorm hukommelse.
• Latent rum: Komprimeret repræsentation af billedet, hvor kun de vigtigste egenskaber bevares - væsentligt mere effektivt.

Latent Diffusion Models (LDM)

Latente diffusionsmodeller, introduceret i 2022, bragte et afgørende gennembrud:

1. Dimensionalitetskompression: Inputbilledet konverteres først ved hjælp af en encoder til et latent rum med meget lavere dimensionalitet.
2. Diffusion i det latente rum: Diffusionsprocessen foregår i denne komprimerede repræsentation, hvilket dramatisk reducerer beregningskravene.
3. Afkodning af resultatet: Den endelige latente repræsentation konverteres tilbage til pixelrummet som det resulterende billede ved hjælp af en dekoder.

Hvorfor LDM betød en revolution

• Beregningsmæssig effektivitet: Reduktion af hukommelseskrav med op til 95% sammenlignet med pixelbaserede diffusionsmodeller.
• Hurtigere træning: Mulighed for at træne på meget større datasæt med tilgængelige ressourcer.
• Modularitet: Adskillelsen af kompressionsprocessen fra selve diffusionen muliggjorde en mere fleksibel arkitektur.
• Demokratisering af teknologien: Takket være lavere krav kunne værktøjer gøres tilgængelige for offentligheden (Stable Diffusion).

Netop Stable Diffusion, baseret på LDM-arkitekturen, startede i 2022 den massive udbredelse af generative AI-værktøjer takket være sin åbenhed og relativt lave hardwarekrav.

Hvilke matematiske principper ligger bag AI-generatorers evne til at skabe fotorealistisk indhold

Stokastiske differentialligninger

Kernen i diffusionsmodeller er et sofistikeret matematisk apparat:

• SDE (Stokastiske differentialligninger): Beskriver processen med gradvis tilføjelse af støj til et billede som en kontinuerlig proces.
• Fokker-Planck-ligningen: Et matematisk værktøj, der beskriver udviklingen af sandsynlighedsfordelinger over tid.

U-Net arkitektur

Et nøgleelement i de fleste diffusionsmodeller er et neuralt netværk af typen U-Net:

• Encoder-decoder med skip-connections: Gør det muligt at bevare strukturel information under kompression og efterfølgende rekonstruktion.
• Attention-mekanismer: Giver modellen mulighed for at fokusere på relevante dele af billedet og fange langdistanceafhængigheder.

Styringsmekanismer og betinget generering

Evnen til at generere billeder baseret på tekstprompter kræver yderligere komponenter:

• Cross-attention: En mekanisme, der forbinder tekst-embeddings med visuelle elementer i det latente rum.
• CLIP embeddings: Brug af fortrænede modeller (som CLIP fra OpenAI), der kan forbinde tekst- og visuelle rum.

Variationsinferens

Diffusionsmodeller kan forstås som en form for variationsinferens:

• Maksimering af a posteriori-sandsynlighed: Modellen forsøger at maksimere sandsynligheden for, at det genererede billede stammer fra den samme fordeling som træningsdataene.
• Score-based generative modeling: En moderne tilgang, der modellerer gradienten af log-sandsynligheden for datafordelingen.

Matematisk kan processen med reverse diffusion udtrykkes som løsningen på ligningen:

                    dx = [f(x,t) - g(t)²∇ₓlog p(x,t)] dt + g(t) dw
                

hvor f og g er funktioner af tiden, ∇ₓlog p(x,t) er den såkaldte score function, og dw repræsenterer Wiener-processen.

Hvordan adskiller forskellige typer af diffusionsmodeller, der bruges i populære værktøjer til AI-grafikskabelse, sig fra hinanden

Pixel-space vs. Latent Diffusion Models

• DALL-E (første version): Anvendte diffusion i pixelrummet, hvilket krævede enorme beregningsressourcer og begrænsede opløsningen.
• Stable Diffusion: Pioner inden for latent diffusion, reducerede dramatisk kravene og muliggjorde offentlig brug.
• DALL-E 2 og 3: Hybride tilgange, der kombinerer principperne for latent diffusion med andre teknikker.

Forskelle i arkitektur og optimering

• Midjourney: Proprietær arkitektur med fokus på æstetisk kvalitet, bruger sandsynligvis en højt optimeret version af diffusionsmodeller.
• Imagen (Google): Anvender kaskade-diffusionsmodeller med gradvis forøgelse af opløsningen.
• Stable Diffusion XL: Udvidet version af klassisk SD med større modeller og en flertrinsproces.

Specialiserede diffusionsmodeller

I økosystemet af diffusionsmodeller finder vi også specialiserede varianter:

• ControlNet: En udvidelse, der muliggør mere præcis kontrol over det genererede indhold ved hjælp af inputbetingelser som skitser, dybdekort eller positurer.
• InstructPix2Pix: Specialiseret i redigering af eksisterende billeder baseret på tekstinstruktioner.
• DreamBooth: Personalisering af diffusionsmodeller til en specifik identitet eller objekt med et minimum af træningsdata.

Tilgange til træning

• Text-to-Image: Klassiske modeller trænet på parrede datasæt af billeder og deres beskrivelser.
• Image-to-Image: Modeller specialiseret i transformation af et inputbillede baseret på en prompt.
• Self-supervised: Nyere tilgange, der anvender læring uden eksplicitte beskrivelser.

Fremtiden for diffusionsmodeller inden for billedgenerering

Diffusionsmodeller oplever en rivende udvikling, og vi kan forvente yderligere fremskridt på flere områder:

• Højere effektivitet: Yderligere optimeringer vil muliggøre generering i højere opløsning og med færre trin.
• Mere præcis kontrol: Udviklingen går mod finere kontrol over alle aspekter af det genererede billede.
• Multimodale modeller: Integration med andre modaliteter som video, 3D eller lyd.
• On-device inference: Optimering til kørsel på mobile enheder og almindelige computere.

Konklusion

Diffusionsmodeller repræsenterer et fascinerende område inden for kunstig intelligens, der har formået at overgå mange forventninger til maskinlæringens evner. Deres evne til at transformere støj til strukturerede, fotorealistiske billeder har åbnet nye muligheder for kreativ skabelse og visuel kommunikation. Med fortsat forskning og udvikling kan vi forvente, at disse teknologier vil spille en stadig vigtigere rolle i den digitale verden. Udforsk yderligere teknologiske aspekter af AI-billedgeneratorer i vores omfattende oversigt.

Latente diffusionsmodeller markerede derefter et afgørende vendepunkt, der demokratiserede adgangen til denne teknologi og muliggjorde dens massive udbredelse. De matematiske principper, de er baseret på, repræsenterer en elegant anvendelse af avancerede sandsynligheds- og statistikkoncepter i et praktisk værktøj, der er tilgængeligt for offentligheden.

Uanset om du er kunstner, designer, marketingmedarbejder eller blot entusiastisk omkring nye teknologier, vil en forståelse af, hvordan diffusionsmodeller fungerer, give dig mulighed for bedre at udnytte deres potentiale og måske endda bidrage til deres videre udvikling.