矩阵求导总结 ​ 这篇文章是为了总结矩阵求导和反向传播推导的， 求导布局 ​ 求导布局包括：分子布局或分母布局。 分子布局：求导结果的维度以分子为主。分子是列向量形式，分母是行向量形式，例如： ∂f2×1(x)∂x3×1T=[∂f1∂x1∂f1∂x2∂f1∂x3∂f2∂x1∂f1∂x2∂f2∂x3]2×3\frac{\partial {\boldsymbol{f}}_{2 \times

高斯过程（Gaussian Process, GP）概述： ​ 高斯过程是一种非参数贝叶斯方法，适用于回归和分类问题。它定义了一种概率分布，该分布直接作用于函数空间。给定输入值的集合 X1:k=[x1,x2,…,xk]T\boldsymbol{X}_{1:k}=[\boldsymbol{x}_1, \boldsymbol{x}_2, \dots, \boldsymbol{x}_k]^TX1:k​

贝叶斯优化 intro ​ 贝叶斯优化是一种针对评估成本高昂的黑箱函数进行优化的技术，广泛应用于机器学习超参数调整、实验设计和全局优化问题中。其核心在于利用概率模型（如高斯过程）构建目标函数的代理模型，并通过迭代更新此模型以选择最有可能提供改进的点进行评估，从而逐步逼近全局最优解 ​ 对于如下形式的优化问题： max⁡x∈Xf(x)\max_{\boldsymbol{x} \in \mathc

超参数搜索 ​ Hyperparameters search（超参数搜索）是机器学习和深度学习中一个调参的过程，用于寻找模型的最佳配置。不同于通过训练数据直接学习得到的模型参数（例如神经网络中的权重），超参数是在开始训练之前设定的参数，并控制着模型的学习过程本身。常见的超参数包括但不限于： 学习率（Learning rate） 批量大小（Batch size） 神经网络层数（Number of

logger 的一些问题 logging 基础知识 ​ 在需要调试复杂情况的时候，我们都会使用 logging 而不是 print，一般来说配置日志文件有两种方式，全局的 logger 或者局部的 logger，全局的 logger 可以这样配置： 12345678910import logging# level 用语过滤 INFO 严重级别以下的信息，默认值是 warninglogging.

3D Gaussian Splatting 图形学前置知识 点云数据： ​ 三维坐标系统中的一组向量集合，每一个点包含三维坐标，可能包含颜色信息（RGB）或反射强度信息（Intensity，表示每个点云中点的反射、反射率、反射强度）。 本质上是3D空间中无序、无结构的海量数据点的集合。它的获取方式多种多样，在 3D Gaussian Splatting 中主要会通过二维影像进行三维重建，在重

多模态综述——模型架构 ​ 过去三年多模态模型获得了巨大的发展 从模型输入输出的视角： 输入单图 + 文本，输出文本 ​ 在多模态发展的早期阶段，模型的输入和输出主要集中在图像加文本的形式上，且输出通常是文本。这种设计主要是由于当时的技术限制，特别是缺乏有效的图像生成模型和技术（diffusion，consistency models 等）。因此，研究焦点更多地放在如何有效地将图像信息映射到

Energy Based Models ​ 能量模型并不是一种新的技术：将当前的DL，ML统一在能量模型的框架中。我们先理解一下何为能量函数，能量函数通常写作 E(x,y)E(x,y)E(x,y) ，用于衡量 x,yx,yx,y 的 compatibility，可以理解为 x,yx,yx,y 是否匹配，能量越小匹配度越高 EBM 和 PBM 的区别 ​ EBM (Energy Based Mo

生成式模型统一视角-Diffusion Diffusion的优化思路 ​ 我们先从整体的框架去了解 diffusion 在干什么，而不是按照论文的公式一步一步来，那样会被各种细节的公式给迷惑住而忘记了整体的模型设计思路，下面的行文中我们省略中间公式的推导 上一次我们推导到了 ELBO 使用的优化的最终形式为： ELBO=Eq(x1∣x0)[log⁡p(x0∣x1)]⏟reconstructio

生成式模型统一视角-ELBO 生成式模型的作用-intro ​ 给定从某个分布中抽取的观察样本xxx，生成模型的目标是学习并模拟这个分布的真实数据分布 p(x)p(x)p(x)。这里的真实数据分布是指生成这些样本的原始概率分布。生成模型通过学习训练数据中的模式来近似这个真实的分布（注意这只是对于绝大部分的基于概率的模型） ​ 一旦模型学会了如何近似真实的数据分布，我们就可以使用这个模型生成新的