meta_intro

元学习入门

元学习（meta-learning）被称为“学习如何学习”，旨在让模型通过学习多个任务的经验，获得快速适应新任务的能力。其核心目标是提高模型在面对新任务时的学习效率和泛化能力

(1) 基于优化的元学习（Optimization-Based）
- 思想：直接优化模型参数，使其在少量迭代中收敛。
- 经典方法：
  - MAML：通过二阶梯度优化模型的初始参数。
  - Reptile：简化版的MAML，通过一阶近似优化。
  - Meta-SGD：在MAML基础上学习参数更新方向和学习率。
(2) 基于度量的元学习（Metric-Based）
- 思想：学习任务间的相似性度量，用于快速分类。
- 经典方法：
  - Prototypical Networks：计算样本到类别原型的距离进行分类。
  - Matching Networks：使用注意力机制匹配支持集和查询集。
  - Relation Networks：通过神经网络学习样本间的关系得分。
(3) 基于模型的元学习（Model-Based）
- 思想：设计动态调整参数的模型架构（如RNN、记忆网络），直接输出新任务的预测结果。
- 经典方法：
  - Meta-Networks：通过快速参数生成模块适应新任务。
  - LSTM Meta-Learner：用LSTM模拟梯度下降过程。
(4) 基于记忆的元学习（Memory-Based）
- 思想：利用外部记忆存储历史经验，通过检索记忆快速适应。
- 经典方法：
  - MANN（Memory-Augmented Neural Networks）：结合神经图灵机（NTM）存储任务信息。

方法类型	代表方法	特点	适用场景
基于优化的元学习	MAML、Reptile	依赖梯度优化，计算成本高但泛化性强	小样本分类、强化学习
基于度量的元学习	Prototypical Net	依赖度量空间，实现简单高效	图像分类、语义分割
基于模型的元学习	Meta-Networks	模型结构复杂，适应速度快	在线学习、动态环境
基于记忆的元学习	MANN	显式存储知识，适合长序列任务	语言建模、序列预测