Skip to content

扩散模型体系

约 397 个字 预计阅读时间 1 分钟

简介

扩散模型的开山之作是 DDPM，它的正向过程是一个不断加噪的过程，正向过程最终会得到纯的高斯噪声，逆向的过程是去噪的过程，这个过程需要不断采样还原图像，会用到神经网络（原始论文是 UNet），最终还原得到生成的图片，正向可以证明一步就能算出来，但是逆向一开始是必须一步一步迭代采样的，它的主要问题就是慢，迭代大约要 1000步，围绕如何加速后续提出了诸多想法：

  • DDIM：逆向采样可以跳步
  • DDPM ODE/SDE：DDPM 逆向求解等价于求解 SDE，进一步等价于求解 ODE
  • DPM Solver：观察到扩散 ODE 的半线性性质从而针对提出求解方案
  • Flowing Matching：旨在学习如何将一个简单的概率分布（例如，高斯噪声）连续地转化为更复杂的目标数据分布（例如图像）

具体发展过程可以参考知乎上的这篇文章

并行

并行的想法一开始是不太可能的，因为马尔科夫链就是一个链式的串行过程，直到ParaDiGMS 的横空出世，它创造性的提出了一种并行的想法，之后的工作基本是在这个上面改进。并行的主要问题是：

  • 如何减少对算力的消耗
  • 如何进一步减少迭代一步的时间
  • 如何结合串行时的方法加速采样