导图社区 元学习研究综述
这是一篇关于元学习研究综述的思维导图,深入探讨了元学习(Meta-Learning)的概念、目标、研究方向以及具体实现方法。元学习作为一种新的机器学习方法,旨在解决传统神经网络模型泛化性能不足、对新种类任务适应性较差的问题。它通过构建一个学习子系统,利用以前学习中提取的元知识(meta-knowledge)来获得经验,进而提高模型对新任务的适应性和泛化能力。
这是一篇关于多模态视觉语言表征学习研究综述的思维导图,主要探讨了视觉和语言信息如何在多模态学习框架中进行融合和表征。详细描述了基于粗粒度和细粒度相似性匹配模型的两种主要方法。这两种方法旨在通过不同的粒度级别来捕捉视觉和语言信息之间的相似性,以实现更有效的多模态表征。还介绍了预训练技术及其在视觉语言表征学习中的应用。预训练技术,如预训练架构的视觉语言统一表征学习,通过在大规模数据集上进行预训练,为下游任务提供了更丰富的初始表征。
社区模板帮助中心,点此进入>>
互联网9大思维
组织架构-单商户商城webAPP 思维导图。
域控上线
python思维导图
css
CSS
计算机操作系统思维导图
计算机组成原理
IMX6UL(A7)
考试学情分析系统
元学习研究综述
引言
元学习(Meta-learning)提出的目的是 针对传统神经网络模型泛化性能不足、对新 种类任务适应性较差的特点
三个要求
系统必须包含一个学习子系统
利用以前学习中提取的元知识来获得经验,这些元知识 来自单个数据集或不同领域
动态选择学习 偏差
元学习的定义
元学习的概念
元学习研究目前大致分为五个较为独 立的方向
基于度量学习的方法
基于泛化性较强的初始化的方法
基于优化器
基于额外外部存储以及基于数据增强的方法
其中基于强泛化性的初始化方向上进展较多
元学习目前主要针对小样本学习问题, 元学习训练和测试都以少样本任务为基本 单元,每个任务拥有各自的训练数据集和测 试数据集,也称为支持集和查询集
元学习的问题场景设置
元学习的研究方法
基于度量的元学习方法
孪生网络
该方法学习一个卷积孪生网络,通过该网络计算查询图像与所有单标注样本的相似度,其中相似度最高的支持样本所对应的类别即为预测类
注意力机制匹配网络
对于建模过程,文章提出了基于记忆和注意力机制的匹配网络,使得可以对 参与训练的样本进行快速学习
原型网络
即在数据集里,对于每种不同的类型都存在一个原型点。数据集中距离该原型点越近的样本,其标签与该原型点对应的标签相同的概率就越大
关系网络用于小样本比较学习
关系网络,关系网络由两个模块组成,嵌入模块和关系模块,其中提取图像特征,卷积网络,完成图像特征对间的相似性计算从而实现分类
任务依赖的自适应度量提高少样本分类
基于强泛化性的初始化参数元学习方法
模型无关层循环元学习框架算法
主要思想为将对网络参数进行梯度下降优化过程和优化损失函数过程 中所使用的任务数据进行分离,从而获得较好的泛化性能
迁移元学习MAML
仅使用全连接卷积层面对图像数据时难以满足训练所需的精度需求,而直接替换为例如Residual Network或DenseNetwork 等带有跳跃连接结构的残差网络则大幅提高了训练难度
不稳定环境条件下元学习的持续适应算法
持续变化的环境看作由一个个静止的瞬间组成,如同视频可视作由大量静态帧组成,期望提出一个可以不断对将要发生情况进行预测并提前调整参数的模型,而元学习的一个目标便是持续学习乃至终身学习
基于贝叶斯理论的元学习方法
基于MCMC的元学习
本文思想类似上述提到的MAML算法,均使用元学习器从样本中学习先验参数,再 通过这个参数对模型进行初始化操作,本文基于贝叶斯理论,因此学习到的先验知识是一个分布
基于变分贝叶斯的元学习方法
使用上下文参数快速适应元学习算法
本方法以MAML作为基础框架,提出一种结合上下文参数的算法模型,与 MAML不同的是,MAML 在每个新任务上会更新所有参数,而CAVIA 将模型的参数分为两部分,分别是上下文参数与共享参数
基于梯度优化器的元学习方法
元学习者替代微分梯度下降
基于外部记忆单元的元学习方法
使用记忆增强的模型
surprise-based 的记忆方法
记忆匹配网络模型
基于数据增强的元学习方法
MetaGAN 对抗模型
通过引入一个基于任务的对抗生成器(AdversarialGenerator),对传统的元学习 方法进行了改进
特征幻化模型
特征幻化的思想,通过生成结构将基础类映射为对应环境下的新类样本
CPAAN模型
利用相似类的概念,由与新类型最为“相似”基础类来生成数据,同时限定了相似类之间的协方差矩阵,以保证其分布的一致性
Imaginary data模型
元学习研究方法分析比较
元学习模型效果比较
基于度量的元学习方法分析总结
基于初始化的元学习方法分析总结
基于贝叶斯元学习方法分析总结
基于外部记忆的模型分析总结
基于数据增强的元学习方法分析总结
总结与展望
总结
一给出了元学习的基本概念
二给出了元学习的研究方法
三给出了目前元学习方法的实验结果和比较分析
展望
元学习自适应性
元学习进化性
元学习可解释性
元学习连续性
元学习可扩展性