当前位置： 扩散器 >> 扩散器资源 >> 使用扩散模型生成高保真图像
自然图像合成是一类广泛的机器学习(ML)任务，具有广泛的应用，带来了许多设计挑战。一个例子是图像超分辨率，其中训练模型将低分辨率图像转换为详细的高分辨率图像（例如，RAISR）。超分辨率有许多应用，从恢复旧的全家福到改进医学成像系统。另一个这样的图像合成任务是类条件图像生成，其中训练模型以从输入类标签生成样本图像。生成的样本图像可用于提高下游模型的图像分类、分割等性能。
通常，这些图像合成任务由深度生成模型执行，例如GAN、VAE和自回归模型。然而，当经过训练以在困难的高分辨率数据集上合成高质量样本时，这些生成模型中的每一个都有其缺点。例如，GAN经常受到训练不稳定和模式崩溃的影响，而自回归模型通常会受到合成速度缓慢的影响。
或者，最初于年提出的扩散模型由于其训练稳定性和在图像和音频生成方面的有希望的样本质量结果，最近引起了人们的兴趣。因此，与其他类型的深度生成模型相比，它们提供了潜在的有利权衡。扩散模型通过逐步添加高斯噪声来破坏训练数据，慢慢消除数据中的细节直到它变成纯噪声，然后训练神经网络来扭转这种破坏过程。运行这个反向损坏过程通过逐渐去噪直到产生干净的样本从纯噪声合成数据。这个合成程序可以解释作为一种优化算法，它遵循数据密度的梯度来生成可能的样本。
今天，我们提出了两种相互关联的方法，它们推动了扩散模型的图像合成质量的界限——通过重复细化(SR3)的超分辨率和一种称为级联扩散模型(CDM)的类条件合成模型。我们表明，通过扩大扩散模型和精心挑选的数据增强技术，我们可以胜过现有的方法。具体来说，SR3在人类评估中获得了超过GAN的强大图像超分辨率结果。CDM生成的高保真ImageNet样本在FID分数和分类准确度分数上均大大超过BigGAN-deep和VQ-VAE2。
SR3：ImageSuper-ResolutionSR3是一种超分辨率扩散模型，它以低分辨率图像作为输入，并从纯噪声中构建相应的高分辨率图像。该模型在图像损坏过程中进行训练，在该过程中，噪声会逐渐添加到高分辨率图像中，直到只剩下纯噪声为止。然后它学习逆转这个过程，从纯噪声开始，并通过输入低分辨率图像的引导逐步去除噪声以达到目标分布。
通过大规模训练，当缩放到输入低分辨率图像的4倍到8倍的分辨率时，SR3在人脸和自然图像的超分辨率任务上取得了强大的基准测试结果。这些超分辨率模型可以进一步级联在一起以增加有效的超分辨率比例因子，例如，将64x64→x和x→x的面超分辨率模型堆叠在一起，以执行64x64→x的超分辨率任务.
我们使用人类评估研究将SR3与现有方法进行比较。我们进行了一个两种可选的强制选择实验，其中要求受试者在参考高分辨率图像和模型输出之间进行选择，当被问及“你猜哪个图像来自相机？”我们通过混淆率来衡量模型的性能（评估者选择模型输出而不是参考图像的时间百分比，其中完美的算法将实现50%的混淆率）。这项研究的结果如下图所示。
CDM:Class-ConditionalImageNetGeneration在展示了SR3在执行自然图像超分辨率方面的有效性之后，我们更进一步，使用这些SR3模型来生成类条件图像。清洁发展机制是在ImageNet数据上训练以生成高分辨率自然图像的类条件扩散模型。由于ImageNet是一个困难的高熵数据集，我们将CDM构建为多个扩散模型的级联。这种级联方法涉及将多个空间分辨率的多个生成模型链接在一起：一个以低分辨率生成数据的扩散模型，然后是一系列SR3超分辨率扩散模型，逐渐将生成图像的分辨率提高到最高分辨率。众所周知，级联可以提高高分辨率数据的质量和训练速度，如先前的研究（例如在自回归模型和VQ-VAE-2中）和并发工作所示对于扩散模型。正如我们下面的定量结果所证明的那样，CDM进一步突出了扩散模型中级联对样本质量和下游任务（例如图像分类）有用性的有效性。
除了在级联管道中包含SR3模型外，我们还引入了一种新的数据增强技术，我们称之为条件增强，这进一步提高了CDM的样本质量结果。虽然CDM中的超分辨率模型是在数据集的原始图像上训练的，但在生成过程中，它们需要对低分辨率基础模型生成的图像执行超分辨率，与原始图像。这导致超分辨率模型的训练测试不匹配。条件增强是指将数据增强应用于级联管道中每个超分辨率模型的低分辨率输入图像。这些增强（在我们的案例中包括高斯噪声和高斯模糊）可防止每个超分辨率模型过度拟合其较低分辨率的调节输入，最终为CDM带来更好的高分辨率样本质量。
总之，CDM生成的高保真样本在类条件ImageNet生成的FID分数和分类准确度分数方面均优于BigGAN-deep和VQ-VAE-2。CDM是一种纯生成模型，与ADM和VQ-VAE-2等其他模型不同，它不使用分类器来提高样本质量。有关样品质量的定量结果，请参见下文。
结论借助SR3和CDM，我们已将扩散模型的性能提升到超分辨率和类条件ImageNet生成基准的最新技术水平。
预览时标签不可点收录于话题#个上一篇下一篇