Segformer ​ 代码来自 lucidrains/segformer-pytorch 这个仓库（Lucidrains 的代码写的太漂亮了，我的 VIT 代码也是抄他的） ​ 本仓库是用于复现 Segformer 的，只写了模型部分，Segformer 的模型结构图如下： ​ 先不看赏析的代码，如果是自己写代码，那我们该如何优美地设计模块？ 整个模型分为 Encoder 与 Decode

配置环境踩坑日记（1） ​ 本期的主角是Efficient-Segmentation-Networks: Lightweight models for real-time semantic segmentationon PyTorch这个仓库，我想使用这个仓库的 SegNet 在 CamVid 上跑的结果，于是想要复现这个仓库，下面分析这个仓库的 README 写的问题 ​ 前情提要：原仓库说环

外微分 ​ 引入外微分的目的是将Stocks公式，Green公式和Gauss公式用一种方式描述，我们先从Green公式考虑： 对于一个第二型曲面积分： ∬Df(x,y)dxdy=∬D−f(x,y)dydx{\iint }_{D}f\left( {x,y}\right) {dxdy} = {\iint }_{D} - f\left( {x,y}\right) {dydx} ∬D​f(x,y)dx

Actor-Critic ​ 在 REINFORCE 算法中，每次需要根据一个策略采集一条完整的轨迹，并计算这条轨迹上的回报。由于采样方式的方差比较大，学习效率也比较低。我们可以借鉴时序差分学习的思想，使用动态规划方法来提高采样的效率，即从状态 sss 开始的总回报可以通过当前动作的即时奖励 r(s,a)r(s,a)r(s,a) 和下一个状态 s′s's′ 的值函数来近似估计 演员-评

Gymnasium入门 ​ Gymnasium 是一个为所有单代理强化学习环境提供 API 的项目，并包括常见环境的实现：cartpole、pendulum、mountain-car、mujoco、atari 等 ​ 该 API 包含四个关键函数：make、reset、step 和 render。 Gymnasium 的核心是 Env，一个高级 Python 类，代表强化学习理论中的马尔可夫决策

DQN的改进算法 Double DQN ​ 普通的 DQN 算法通常会导致对Q 值的过高估计（overestimation）。原因在与 Q 网络的自举（bootstrapping）： ​ 传统 DQN 优化的 TD 误差目标为： r+γmax⁡a′∈AQw−(s′,a′)r+\gamma \max_{a'\in A}Q_{w^-}(s',a') r+γa′∈Ama

DQN-1 ​ Q-learning算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作 的 Q 值的表格。表格中的每一个动作价值 Q(s,a)Q(s, a)Q(s,a) 表示在状态s 下选择动作 aaa 然后继续遵循某一策 略预期得到的期望回报。然而，这种用表格存储动作价值的做法只在环境的状态和动作都是离散 的，并且空间都比较小的情况下适用 ​ 对于这种情况，我们需要用函数拟合的方法来估计

奈奎斯特判据推导 ​ 对于线性定常系统，我们之前最初判断稳定性的方式是：判断闭环传递函数所有根（即所有闭环极点）的实部是否全部为负。奈奎斯特判据的目标是，通过一种共性映射将原复平面（记为 sss 平面）映射到新的平面（记为 FFF 平面），通过辐角原理在新的复平面上研究闭环极点的新位置反推原复平面内闭环极点的位置情况 辐角原理 ​ 设复平面上的回路 Γs\Gamma_sΓs​ 的内部为 I(Γ

欧拉公式在n维的推广 ​ 我们知道 ez=er(cosθ+sinθ)e^{z} = e^r(cos \theta + sin\theta)ez=er(cosθ+sinθ) 为最熟悉的欧拉公式形式，而复数的表示可以用二元的矩阵取代，因此我们可以将复数形式的欧拉公式改写为矩阵形式，因此很自然的一个想法是，这个公式是否能推广到 nnn 维欧式空间 欧拉公式的意义 ​ 以一个线性微分方程组为例： {d

Why do element-wise mutiplication work? ​ 我们常常注意到在神经网络中，element-wise multiplication 往往能够取得很好的效果。之前不同领域中文章往往也应用了这一点并且提出了各自的概念或解释（例如gating mechanism，high-order， modulation mechanism， visual-attention等等