Flow Matching 入门 (一):ODE 与概率密度变换 Flow Matching Flow的数学定义 在数学中,Flow(流)被定义为一族时间依赖的向量场 {vt}t∈[0,1]\{\boldsymbol v_t\}_{t \in [0,1]}{vt}t∈[0,1],它描述了粒子在连续时间下的动态演化。我们先定义数据点 x=(x1,…,xd)∈Rd\boldsymbol x=(x_1, \dots, x_d) \in \mathbb{R}^d 2025-06-06 #Flow Matching #Normalizing Flow #ODE #机器学习 #生成模型 #CNF
计算向量场的散度:PyTorch 实现与技巧 计算向量场的散度:PyTorch 实现与技巧 在许多机器学习任务中,例如像 score matching 这样的生成模型训练方法中,我们经常需要计算模型输出(例如 score function sθ(x)s_\theta(\boldsymbol x)sθ(x))的散度 ∇x⋅sθ(x)\nabla_\boldsymbol x \cdot s_\theta(\boldsymbol x)∇x 2025-06-04 #PyTorch #ScoreMatching #Autograd #Divergence #Hutchinson
div_cal divergence calculation 在 score matching 中,计算损失有一个散度项:∇xsθ(x)\nabla_\boldsymbol x s_\theta(\boldsymbol x)∇xsθ(x),这个计算不能直接使用 loss 来反向传播求解,在这里记录一下该如何处理这种情况 2025-06-04
Classifier Guidance vs. Classifier-Free Guidance 对比总结 核心思想 Classifier Guidance (CG): 利用一个预训练的外部分类器 qϕ(y∣xt)q_\phi(\boldsymbol y|\boldsymbol x_t)qϕ(y∣xt) 的梯度来引导预训练的无条件扩散模型的采样过程,使其生成符合条件 y\boldsymb 2025-06-03
classifier_free_guidance 在讨论 Classifier Guidance 时,我们看到它通过一个预训练的分类器 qϕ(y∣xt)q_\phi(\boldsymbol y|\boldsymbol x_t)qϕ(y∣xt) 的梯度来引导 DDPM 的采样过程,从而实现条件生成。这种方法虽然有效,但依赖于一个额外的分类器模型,该分类器需要在带噪图像上进行训练,并且其性能直接影响最终生成效果。此外,分类器的训练数据和噪声分布可 2025-06-03
title: classifier_guidance date: 2025-06-02 20:06:57 tags: 由于基于 diffusion 的图像生成模型多样性过高(不可控,而且容易出现很多真实性很差的图片,FID 指标太高),可能的一种解决办法就是 conditional generation,即将 $$p(x)\rightarrow p(x|y)$$,让一个 DDPM 变为一个 con 2025-06-02
classifier_guidance 由于基于 diffusion 的图像生成模型多样性过高(不可控,而且容易出现很多真实性很差的图片,FID 指标太高),可能的一种解决办法就是 conditional generation,即将 $$p(x)\rightarrow p(x|y)$$,让一个 DDPM 变为一个 conditional DDPM。 条件生成模型是只指在条件 y\boldsymbol yy(condition)下 2025-06-02
SDE 在生成模型中的统一作用 SDE 统一视角 在之前的文章中,我们介绍了 score-based model 的基本概念,包括其如何对数据分布进行建模、如何从建模的分布中采样,以及通过对分布施加扰动来提高建模精度的方法。本文将重点探讨如何运用随机微分方程(Stochastic Differential Equations, SDEs)来构建和理解 score-based 生成模型。 SDE 提供了一个强大的数学框架 2025-06-01
sde 上一篇文章中我们介绍了 score-based model 的基本概念,包括其如何对分布进行建模、如何从建模的分布中进行采样以及通过对分布进行扰动提高其建模精度的方式。在这篇文章中我们将介绍的是如何使用随机微分方程(也就是 SDE)进行 score-based 建模。 本文将score-based model和DDPM进行大一统。虽然SDE构造扩散模型是一个全新的框架,但是其本质还是score 2025-06-01