网络学习理论 ​ 在这一章中，我们用严谨的数学语言建模各种问题的可学性，以及在可学的情况下，模型对未见数据的泛化误差（即模型的泛化能力）。同时，我们对模型的学习能力进行定量描述，研究目标为： 学习问题本身，包括采样的数据量的复杂度，这在 PAC 学习和 ERM 边界中描述 模型固有的表达能力，这在 VC 维中描述 归纳（Inductive）与直推（Transductive） 两种学习范式

网络学习理论 ​ 在这一章中，我们用严谨的数学语言建模各种问题的可学性，以及在可学的情况下，模型对未见数据的泛化误差（即模型的泛化能力）。同时，我们对模型的学习能力进行定量描述，研究目标为： 学习问题本身，包括采样的数据量的复杂度，这在 PAC 学习和 ERM 边界中描述 模型固有的表达能力，这在 VC 维中描述 归纳（Inductive）与直推（Transductive） 两种学习范式

多任务学习 ​ 多任务学习（Multitask Learning, MTL）是一种机器学习方法，它试图通过同时学习多个相关任务来提高模型的性能。这种方法基于一个假设：即不同任务之间存在一定的关联或共享信息，通过共同学习这些任务可以互相帮助，提升彼此的表现 单一任务 vs. 多任务学习 定义一个单一任务：从单一输入源中学习单个输出目标。该任务的目标函数为： min⁡wL(X,y,w)\min_w

nohup的问题 ​ 在我使用 nohup 命令启动后台的训练任务的时候，发现了 nohup 命令的一些坑，特此记录和警醒自己 12345678910111213141516171819202122232425262728WARNING:torch.distributed.elastic.agent.server.api:Received 1 death signal, shutting dow

拉格朗日凸优化 ​ 一般而言，非线性规划的问题有如下形式： PA:{min⁡xf(x)subject to:hi(x)=0, i=1,2,⋯ ,mgj(x)≤0, j=1,2,⋯ ,lP_A: \begin{cases} \min_{\boldsymbol x} & f( \boldsymbol{x}) & \\ \text{subject to:} &h_i( \bo

数据降维 ​ 数据降维是处理高维数据时常用的技术，它旨在减少数据集的特征数量同时尽可能保留原始数据的关键信息。常见的降维算法可以分为线性方法和非线性方法两大类，常见的线性降维算法有 PCA（Principal Component Analysis 无监督），LDA（Linear Discriminant Analysis 有监督）。非线性降维算法有 SNE（t-distributed Stoch

矩阵求导总结 ​ 这篇文章是为了总结矩阵求导和反向传播推导的， 求导布局 ​ 求导布局包括：分子布局或分母布局。 分子布局：求导结果的维度以分子为主。结果矩阵的行对应于分母（输入）变量，列对应于分子（输出）变量。例如： ∂f2×1(x)∂x3×1T=[∂f1∂x1∂f1∂x2∂f1∂x3∂f2∂x1∂f1∂x2∂f2∂x3]2×3\frac{\partial {\boldsymbol{f}

高斯过程（Gaussian Process, GP）概述： ​ 高斯过程是一种非参数贝叶斯方法，适用于回归和分类问题。它定义了一种概率分布，该分布直接作用于函数空间。给定输入值的集合 X1:k=[x1,x2,…,xk]T\boldsymbol{X}_{1:k}=[\boldsymbol{x}_1, \boldsymbol{x}_2, \dots, \boldsymbol{x}_k]^TX1:k​

贝叶斯优化 intro ​ 贝叶斯优化是一种针对评估成本高昂的黑箱函数进行优化的技术，广泛应用于机器学习超参数调整、实验设计和全局优化问题中。其核心在于利用概率模型（如高斯过程）构建目标函数的代理模型，并通过迭代更新此模型以选择最有可能提供改进的点进行评估，从而逐步逼近全局最优解 ​ 对于如下形式的优化问题： max⁡x∈Xf(x)\max_{\boldsymbol{x} \in \mathc

logger 的一些问题 logging 基础知识 ​ 在需要调试复杂情况的时候，我们都会使用 logging 而不是 print，一般来说配置日志文件有两种方式，全局的 logger 或者局部的 logger，全局的 logger 可以这样配置： 12345678910import logging# level 用语过滤 INFO 严重级别以下的信息，默认值是 warninglogging.