小样本学习算法解析

小样本学习算法解析，每种方法都有其特定的应用场景和实现方式，旨在解决小样本学习中的挑战，提升模型在新环境中的适应能力和性能。

小样本学习算法解析

• 1. 基于度量学习的算法
  • 核心思想
    • 通过优化特征空间中的距离度量，使同类样本更接近、异类样本更远离。
  • 主要方法
    • 孪生网络（Siamese Networks）
      • 使用共享权重的双分支网络提取特征，通过对比损失（如Triplet Loss）训练。
      • 应用场景：人脸识别、图像对比。
    • 原型网络（Prototypical Networks）
      • 计算每个类别的特征均值（原型），基于欧氏距离分类。
      • 应用场景：少样本分类任务。
    • 关系网络（Relation Networks）
      • 学习关系函数直接预测样本相似性得分。
      • 应用场景：跨模态匹配（如图文检索）。
• 2. 基于元学习的算法
  • 核心思想
    • 训练模型快速适应新任务，即“学会学习”。
  • 主要方法
    • MAML（Model-Agnostic Meta-Learning）
      • 优化模型初始参数，使其通过少量梯度更新快速适应新任务。
      • 应用场景：多任务学习、机器人控制。
    • Reptile
      • 通过多次随机梯度下降学习通用参数初始化策略。
      • 应用场景：简化版元学习任务。
    • 元迁移学习
      • 结合迁移学习和元学习，加速新任务适应。
      • 应用场景：跨领域小样本分类（如NLP到医疗文本）。
• 3. 基于数据增强的算法
  • 核心思想
    • 通过生成或变换数据提升样本多样性。
  • 主要方法
    • 传统数据增强
      • 图像旋转/裁剪/颜色变换等。
      • 应用场景：通用图像分类任务。
    • 生成对抗网络（GANs）
      • 生成器合成新样本，判别器区分真伪。
      • 应用场景：医疗影像生成、罕见事件分析。
    • 基于Transformer的数据增强
      • 利用自注意力机制学习数据分布生成样本。
      • 应用场景：结构化数据增强（如表格数据）。
• 4. 基于迁移学习的算法
  • 核心思想
    • 利用预训练模型的通用特征减少新任务数据需求。
  • 主要方法
    • 特征提取+微调
      • 使用预训练模型（如ResNet）提取特征，仅微调顶层分类器。
      • 应用场景：医学图像分类。
    • 领域自适应（Domain Adaptation）
      • 对齐源域与目标域特征分布差异。
      • 应用场景：跨领域文本分类。
• 5. 基于生成模型的算法
  • 核心思想
    • 通过生成样本或特征增强数据分布建模能力。
  • 主要方法
    • 变分自编码器（VAE）
      • 学习潜在分布生成多样化样本。
      • 应用场景：数据补全（如缺失值填充）。
    • 贝叶斯生成模型
      • 结合贝叶斯推断生成数据并量化不确定性。
      • 应用场景：高风险决策（如医疗诊断）。
• 6. 增量学习与小样本结合
  • 核心思想
    • 动态适应新数据流或持续积累知识。
  • 主要方法
    • 在线学习（Online Learning）
      • 模型实时更新适应动态数据。
      • 应用场景：金融实时风控。
    • 持续元学习
      • 结合元学习和增量学习实现知识积累。
      • 应用场景：智能客服对话系统。