Pytorch_cuda拓展(1) 什么情况下需要扩展 原生 Pytorch 和 Python 提供的 API 操作无法进行非平行计算，例如：For each batch, do an operation that depends on the data length (s.g. volume rendering) 可化简的大量的串列计算，例如：x=f1(x),x=f2(x),…,f=fn(

triton Matrix Multiplication triton入门：Matrix Multiplication ​ 直接从 Triton 的官方教程入手。对 MM 做优化, 不论用的是 Triton, 还是 CUDA 目标都是一样的，一句话概括：计算一般是没办法省的, 主要是优化内存的使用, 尽可能的用高速但是比较小的 shared memory 驱动程序（Driver Progr

GPU 工作原理 ​ 本节首先讲解 CPU 和 GPU 架构的区别，之后以 AX+YAX+YAX+Y 这个例子来探究 GPU 是如何做并行计算的，为了更好地了解 GPU 并行计算，对并发和并行这两个概念进行了区分。此外会讲解 GPU 的缓存机制，因为这将涉及到 GPU 的缓存（Cache）和线程（Thread）。 CPU vs GPU ​ 先探讨一下 CPU 和 GPU 在架构方面的主要区别

torch.compile解析 ​ torch.compile是PyTorch 2.2版本中的一个重要新特性。它是一种新的 PyTorch 编译器，它可以将 Python 和 TorchScript 模型编译成 TorchDynamo 图，从而提高模型的运行效率。是加速 PyTorch 代码速度的最新方法！ torch.compile 通过将 PyTorch 代码 JIT（just in tim

alchemy tricks ​ 本文用于记录炼丹过程中的各种心得经验，长期更新 computer vision Transformer 架构主要关注全局的，低频信号信息（就是一个近视眼）；CNN 架构主要关注局部的，高频信号，对细节信息敏感但是缺乏全局的语义信息。如果想把两种架构的优点都用上，可以考虑以下几种技巧： 在生成多尺度特征图时，用 transformer 架构生成低分率的，具有

Swin Transformer ​ Swin Transformer 是一种用于 CV 的通用的 backbone。与传统的卷积神经网络（CNN）不同，Swin Transformer 综合了 CNN 和 VIT 的优点，在局部区域进行 self-attention 计算，捕捉长距离依赖关系也注重于局部信息。 ​ Swin Transformer 的名称来源于其核心组件——滑动窗口（Slidi

Deformable Attention ​ Deformable Attention 是一种改进的注意力机制，传统的 CNN 和注意力机制在处理图像数据时，通常使用固定的网格或窗口来提取特征，这限制了模型对不同尺度和形状的目标进行有效建模的能力。Deformable Attention 就是将 deformable convolution 和 VIT 缝合在一起了，以更好地捕捉目标的形状和结构

多线程显存与内存管理 问题背景： ​ 需求是要制作一个文本模态和语音模态对齐的数据集，我需要做的仅仅是选一个效果很好的 TTS 模型将文本转语音就行了，我们需要从 1000k 条 conversation 里面挑选 40k 条数据进行转换（格式类似于 llava_instruct_150k.json 文件，是 human 和 gpt 文本对话的格式），由于单个模型一条一条地转化太耗时了，而且模

MDP ​ 马尔可夫决策过程（Markov Decision Process, MDP）并非强化学习算法本身，而是构建智能体与环境交互的数学框架。作为强化学习理论体系的基石，超过90%的强化学习算法都建立在环境满足马尔可夫性的基本假设之上 马尔科夫性：动态系统的记忆 形式化定义 ​ 记代表一个随机现象的随机向量在 ttt 时候取值为 St\boldsymbol S_tSt​，则一个随机过程可

MULTIMODAL LEARNING ACROSS LANGUAGES ​ 本文提出了一种有效的训练范式MPM（Multilingual language models can Pivot zero-shot Multimodal learning across languages），用于非英语语言的大规模多模态模型训练。MPM展示了如何利用强大的多语言大语言模型，使得仅在英文图像文本数据上预