MSE Surrogate技巧 ​ 在深度学习的常规实践中，我们定义一个标量损失函数（Loss），然后依赖自动微分（Autograd）框架来计算模型参数的梯度，并以此更新网络。但设想一个特殊的场景：我们不关心损失值本身，而是通过某种理论分析或外部模块，已经精确地知道了某个中间张量 x 应有的梯度 g_x。我们该如何将这个“钦定”的梯度 g_x “注入”到反向传播的链条中呢？ ​ 这就是 MSE

传统自动驾驶系统与端到端： 传统自动驾驶系统：级联式 每个模型都要专门进行训练、优化、迭代，随着模型不断进化，参数量提高和数据量增加，所需研发投入大，研发成本高。 模块化架构可以看做级联流水线，模型的输入参数，是前级模型的输出结果。如果前级模型输 出结果有误差，会影响下一级模型输出，导致累计级联误差，最终影响系统性能 端到端方式 ​ 通过一个模型实现流程中多个模型的功能。该模型可以接

Flow Matching Flow的数学定义 在数学中，Flow（流）被定义为一族时间依赖的向量场 {vt}t∈[0,1]\{\boldsymbol v_t\}_{t \in [0,1]}{vt​}t∈[0,1]​，它描述了粒子在连续时间下的动态演化。我们先定义数据点 x=(x1,…,xd)∈Rd\boldsymbol x=(x_1, \dots, x_d) \in \mathbb{R}^d

计算向量场的散度：PyTorch 实现与技巧 ​ 在许多机器学习任务中，例如像 score matching 这样的生成模型训练方法中，我们经常需要计算模型输出（例如 score function sθ(x)s_\theta(\boldsymbol x)sθ​(x)）的散度 ∇x⋅sθ(x)\nabla_\boldsymbol x \cdot s_\theta(\boldsymbol x)∇x​

divergence calculation ​ 在 score matching 中，计算损失有一个散度项：∇xsθ(x)\nabla_\boldsymbol x s_\theta(\boldsymbol x)∇x​sθ​(x)，这个计算不能直接使用 loss 来反向传播求解，在这里记录一下该如何处理这种情况

Classifier Guidance vs. Classifier-Free Guidance 对比总结 核心思想 Classifier Guidance (CG): 利用一个预训练的外部分类器 qϕ(y∣xt)q_\phi(\boldsymbol y|\boldsymbol x_t)qϕ​(y∣xt​) 的梯度来引导预训练的无条件扩散模型的采样过程，使其生成符合条件 y\boldsymb

在讨论 Classifier Guidance 时，我们看到它通过一个预训练的分类器 qϕ(y∣xt)q_\phi(\boldsymbol y|\boldsymbol x_t)qϕ​(y∣xt​) 的梯度来引导 DDPM 的采样过程，从而实现条件生成。这种方法虽然有效，但依赖于一个额外的分类器模型，该分类器需要在带噪图像上进行训练，并且其性能直接影响最终生成效果。此外，分类器的训练数据和噪声分布可

title: classifier_guidance date: 2025-06-02 20:06:57 tags: 由于基于 diffusion 的图像生成模型多样性过高（不可控，而且容易出现很多真实性很差的图片，FID 指标太高），可能的一种解决办法就是 conditional generation，即将 $$p(x)\rightarrow p(x|y)$$，让一个 DDPM 变为一个 con

​ 由于基于 diffusion 的图像生成模型多样性过高（不可控，而且容易出现很多真实性很差的图片，FID 指标太高），可能的一种解决办法就是 conditional generation，即将 $$p(x)\rightarrow p(x|y)$$，让一个 DDPM 变为一个 conditional DDPM。 ​ 条件生成模型是只指在条件 y\boldsymbol yy（condition）下