头几天，OpenAI在Arxiv上挂出来了他们最新最强的文本-图象生成GLIDE[1]，如头图所示，GLIDE能生成非常可靠的成绩。GLIDE并非基于对立生成网络或是VQ-VAE类模子所安排，而是采纳了一种新的图象生成范式-散布模子（DiffusionModel）。

做为一种新的生成模子范式，散布模子有着和GAN不同且意思的良多特点。这篇条记梳理了往昔一年多在散布模子方位的一些重要劳动，期盼也许辅助读者更好的懂得散布模子以及GLIDE。在散布模子干系论文中广大有良多公式推导，条记中基础省略了推导，读者若感意思的话依旧保举赏玩原文，有助于增加懂得。条记中如有写错的场合，烦请匡正。

01

散布模子与DDPM如图所示，散布模子常常包罗两个历程，从记号逐渐到噪声的正向历程/散布历程（forward/diffusionprocess）和从噪声逐渐到记号的逆向历程（reverseprocess）。这边重要讲解Google的DDPM[2](DenoisingDiffusionProbabilisticModel)，这两年后续的散布模子多数是基于DDPM的框架所安排。

逆向历程

逆向历程从一张随机高斯噪声图片起头，经过逐渐去噪生成终究的成绩。这个历程是一个MarkovChain，也许被界说为：这个历程也许懂得为，咱们依照做为输入，推断高斯散布的均值和方差，再基于推断的散布施行随机采样赢得。经过不休的推断和采样历程，终究生成一张可靠的图片。

正向/散布历程

正向历程也许说是散布历程，采纳的是一个停止的Markovchain形状，即逐渐地向图片增加高斯噪声：在DDPM中，是预先配置的定值参数。散布历程有一个重大的个性，咱们也许直接采样大肆功夫t下的加噪成绩。将，则咱们也许赢得：这个closedform公式使得咱们也许直接赢得大肆水平的加噪图片，便利后续的磨练。

磨练模子

为了实行基于散布模子的生成，DDPM采纳了一个U-Net布局的Autoencoder来对t功夫的噪声施行推断，即。网络磨练时采纳的磨练目的非常简捷：此处是高斯噪声。这边，噪声推断网络以加噪图片做为输入，目的是推断所增加的噪声。此磨练目的即期盼推断的噪声和可靠的噪声一致。终究在DDPM中，均值的界说为：在DDPM中，逆向历程中高斯散布的方差项采纳的是一个常数项，后续也有劳动[3]用其余的网络分支去独自推断方差项，来赢得更好的生功成果。

02

GuidedDiffusion-基于种别领导的散布模子常常而言，关于通用图象生成职责，参预种别前提也许比无种别前提生成赢得更好的成果，这是由于参预种别前提的功夫，本质上是大大减小了生成时的百般性。OpenAI的GuidedDiffusion[4]就提议了一种简捷有用的种别领导的散布模子生成方法。GuidedDiffusion的中央思绪是在逆向历程的每一步，用一个分类网络对生成的图片施行分类，再基于分类分数和目的种别之间的穿插熵损失策算梯度，用梯度领导下一步的生成采样。这个法子一个很大的长处是，不需求从新磨练散布模子，只要要在前馈时参预领导既能实行响应的生功成果。

基于前提的逆向历程

在DDPM中，无前提的逆向历程也许用来形色，在参预种别前提后，逆向历程也许示意为这边是常量。这个公式示意的意义是，基于种别前提的逆向历程，也许由无前提的逆向历程贯串生成成绩的分类损失来度量，此处讲明的便是一个独自磨练的分类模子。这边省略详细的推导，终究在guideddiffusion中采纳的每一步逆向历程也许用如下款式形色：这边也是一个常量。即在每一步历程中，在打算高斯散布的均值时加之方差和分类梯度项的乘积。基于如此的改良，不需求从新磨练散布模子，只要要额外磨练一个分类器，就也许有用地在增加种别领导。当然，如此的布局也存在一点小题目，即是会引入比较多的额外打算工夫（每一步都要过头类模子并求梯度）。这个题目在本文第四节讲解的no-classifierguidence中有所改良。但总的来讲，散布模子由于每一次逆向历程都要过最少一遍网络，以是整体生成速率常常依旧比较慢的。

散布模子布局改良

guideddiffusion中，还对DDPM中采纳的U-Net布局的Autoencoder施行了一些布局上的改良。包罗加深网络、增添attentionhead数目、增添增加attentionlayer的法式数目、采纳BigGAN的残差模块布局。其他，在这篇劳动中还采纳了一种称为AdaptiveGroupNormalization（AdaGN）的归一化模块。

03

SemanticGuidenceDiffusion-更多的散布领导形状（图片/文本）在GuidedDiffusion中，每一步逆向历程里经过引入朝向目的类其它梯度音信，来实行针对性的生成。这个历程原本和基于优化（Optimization）的图象生成算法（即停止网络，直接对图片自己施行优化）有很大的类似之处。这就象征着以前良多基于优化的图象生成算法均也许转移到散布模子上。换一句话说，咱们也许等闲地经过批改GuidedDiffusion中的前提类别，来实行愈加丰饶、意思的散布生功成果。在SemanticGuidenceDiffusion（SGD）[5]中，做家就将种别领导改为了基于参考图领导以及基于文本领导两种形状，经过安排对应的梯度项，实行对应的领导成果，实行了不错的成果。首先，在SGD中，做家将guideddiffusion的历程写稿：此处为领导函数（GuidenceFunction），接下来简捷讲解一下本文提议的几种不同的领导函数。

文本领导

基于文本前提的图象生成，即期盼生成的图象契合文本的形色。而何如度量一张图片能否和文本形色契合呢？当然的主意当然是采纳本年很火爆的CLIP模子，CLIP模子包罗一个图象编码网络和文本编码网络，两个编码网络也许各自将文本和图片编码为1*巨细的向量，而后咱们也许经过余弦间隔来度量两者之间的类似度。要将CLIP模子用于散布模子的逆向历程，做家注意到了一个题目，即CLIP的图象编码网络是没有见过加噪图象的，这会使得度量成果不睬想，进而不能供给有用的梯度。因而，做家将在加噪图象赶上行了必要的finetune，赢得了适应加噪图象的。进而，文本领导函数也许界说为：即每一步中都基于生成图象与文本之间的类似度来打算梯度。基于这个战术，SGD能生成有用的成绩。

图片领导

图片领导是指期盼生成的图片与一张参考图片类似。咱们将参考图记为，依照前述DDPM中的公式，咱们也许依照暂时逆向历程的赢得对应水平的加噪图片。经过比较与领导生成。此处做家提议了三种不同的图片领导函数。图片体例领导：期盼图片的体例体例与参考图类似图片布局领导：进一步的，咱们期盼参预更强的领导，即在空间布局上的类似性。这边比较的是encoder的spatialfeaturemap图片品质领导：基于Gram矩阵，期盼生成图片的品质契合参考图片第j层特点的grammatrix。

混杂领导

将上述的领导函数以必要的比例加起来，就也许同时基于多种领导前提施行生成，赢得丰饶的编纂成果。好比上图中贯串文本领导和图象领导的生成。总的来讲，这篇劳动将GuidedDiffusion施行了很意思的拓展，使得咱们也许经过调换领导的方法生成不同的成绩。

04

Classifier-FreeDiffusionGuidence-无分类器的散布领导上述的各样领导函数，基础都是额外的网络前向+梯度打算的形状，这类形状固然有着成本低，成效快的长处。也存在着一些题目：（1）额外的打算量比较多；（2）领导函数和散布模子离别施行磨练，不利于进一步扩增模子范围，不也许经过贯串磨练赢得更好的成果。DDPM的做家，google的JonathanHo等人在本年NIPS的workshop上对GuidedDiffusion施行了一波改良，提议了无需额外分类器的散布领导法子。如前方DDPM讲解部份所述，DDPM模子重要经过噪声忖度模子的成绩来打算高斯散布的均值。在这个劳动中，做家额外给噪声忖度模子参预了额外的前提输入。磨练散布模子时，贯串有前提和无前提两种磨练方法，无前提时，将前提配置为。进而赢得一个同时撑持有前提和无前提噪声忖度的模子。在逆行历程中，该法子经过如下方法，贯串有前提和无前提噪声忖度赢得成绩（相当于时模仿了梯度）：这个款式，重要收到implicitclassifier隐式分类器的启迪，其梯度也许示意为基于这个款式，在逆向生成历程的每一步，只要要过两次噪声忖度网络，便可施行散布领导。当然，即使采纳这类形状，关于每一种不同的领导类别，都需求从新磨练散布模子，成本+++

05

GLIDE-基于散布模子的文本图象生成大模子上一节说到no-classiferguidence也许更好的将前提音信参预到散布模子的磨练中去以赢得更好的磨练成果，但同时也会增添磨练成本。财大气粗的OpenAI就基于no-classifierguidence的心思，整了一个超大范围的基于散布模子的文本图象生成模子GLIDE。个中算法的中央马上前方的种别前提革新为了文本前提：其他部份在法子上并没有甚么非常新的东西，说的上是鼎力稀奇妙了。这边简捷讲解一些重大的点：更大的模子：算法采纳了GuidedDiffusion法子中不异的Autoencoder布局，然则进一步增添了通道数目，使得终究的网络参数数目抵达了3.5billion；更多的数据：采纳了和DALLE[7]不异的大范围文本-图象对数据集很高的磨练成本：这边做家没有细说，只说了采纳batchsize，磨练了万轮，整体成本逼近Dalle。在年Google发布DDPM后，这两年散布模子有成为一个新的协商热门的趋向，除了上头讲解的几篇论文除外，再有不少基于散布模子所安排的卓越的生成模子，运用于多种不同的职责，好比超分、inpainting等。除了在视觉职责上的运用，也有劳动针对DDPM的速率施行优化[8]，加快生成时的采样历程。其他，也有将散布模子与VQ-VAE贯串起来实行文本图象生成的算法[9]。其简直七八月份的功夫，就曾经看了一些DDPM的干系劳动，不过由于各种原由那时没有follow下去，依旧比较惋惜。众人若对散布模子感意思，也招待私函我商议调换～

参考文件

[1]GLIDE:TowardsPhotorealisticImageGenerationandEditingwithText-GuidedDiffusionModels

[2]DenoisingDiffusionProbabilisticModels

[3]Improveddenoisingdiffusionprobabilisticmodels

[4]DiffusionModelsBeatGANsonImageSynthesis

[5]MoreControlforFree!ImageSynthesiswithSemanticDiffusionGuidance

[6]Classifier-FreeDiffusionGuidance

[7]Zero-ShotText-to-ImageGeneration

[8]OnFastSamplingofDiffusionProbabilisticModels

[9]VectorQuantizedDiffusionModelforText-to-ImageSynthesis

泉源：知乎做家：林天威

｜深延科技｜

深延科技建立于年，是深兰科技（DeepBlue）旗下的子公司，以“人为智能赋能企业与行业”为任务，助力配合同伙低沉成本、晋升效率并发掘更多贸易时机，进一步开垦商场，效劳民生。公司推出四款平台产物——深延智能数据标注平台、深延AI开辟平台、深延主动化机械研习平台、深延AI盛开平台，涵盖从数据标注及处分，到模子建设，再到行业运用妥协决计划的全过程效劳，一站式助力企业“AI”化。

预览时标签不成点收录于合集#个

转载请注明:http://www.aideyishus.com/lkgx/1121.html