多模态大模型关键技术

面向理解任务、面向任务生成、兼顾理解和生成、知识增强等多模态大模型关键技术。为理解多模态大数据的处理流程和应用提供了有益的参考。

多模态大模型 关键技术

• 预训练数据收集
  • 数据来源
    • 公开数据集（如维基百科、报读百科、网络论坛、社交平台等）。
    • 企业内部数据集（如内部日志、文档、数据库）。
    • 自采集数据集（通过网络爬虫、API接口等）。
  • 数据清洗
    • 去重（移除重复的样本）、去噪（过滤掉无意义的数据）、统一格式（过滤掉无意义的数据，如广告、拼写错误等）、修复数据（修正数据中的错误，如拼写错误等‌）。
  • 数据标注
    • 标注类型包括文本标注（如命名实体识别、情感分析等）和图像标注（如物体边界框、图像分类标签等）。标注质量至关重要，通常先使用自动化工具进行初步标注，然后进行人工审核和修正，以确保标注的一致性‌。
  • 预训练模型的应用
    • 预训练模型通过在大规模文本语料库上进行训练，学习到通用的语言模型。这些模型可以在不同的任务上进行微调，以适应特定的需求。
• 网络结构设计
  • 处理图像和文本
    • 通常采用Transformer或CNN来捕捉视觉和语言之间的复杂关系。
  • 事件流
    • 脉冲神经网络更为合适，能有效地模拟信息的时序动态。
  • 以语言大模型为核心
    • DeepMind Flamingo视觉语言模型、KOSMOS-1将Transformer与视觉感知模块对接、ChatBridge。
• 自监督学习优化
  • 掩码语言建模（MCM）：输入序列中的某些单词或标记会被替换为特殊的掩码标记，然后预训练模型被要求根据可见的多模态上下文来预测这些被遮蔽的单词或标记。
  • 掩码图像建模（MIM）：输入图像中的部分区域会被隐藏或被替换为特殊的掩码标记，然后预训练模型被要求在仅看到其余图像内容与文本等其他模态信息的情况下，预测或还原被遮蔽的图像区域。
  • 图像-文本匹配（ITM）：实现图像与文本的全局对齐。通常是给定图文对作为正样本，随即配对作为负样本，然后通过二分分类方法实现图像和文本的匹配，从而建立图像和文字之间的语义关联。
  • 图像-文本对比学习（ITC）：使用对比学习的方法将图像和文本的相同样本对的向量表示拉近，不同样本对的向量表示推远，从而增强图像和文本之间的语义关联性。
• 下游任务微调适配
  • 面向特定任务的模型微调适配：多模态大模型的权重被作为初始参数，并在任务特定数据上进行有监督的微调。通过这种微调，模型将学习针对具体任务的细粒度特征和表示，从而适应特定任务的要求。
  • 联合提示学习的模型微调适配：设计契合上游预训练任务的模板，挖掘出上游预训练模型的潜力，让上游的预训练模型在尽量不需要标注数据的情况下比较好的完成下游的任务。提示学习允许在不同类型的任务上重复使用预训练模型，只需简单修改提示模版即可适应特定任务，从而节省了训练时间和计算资源。
  • 基于适配器网络的模型微调适配：每个任务都有自己独立的适配器层，使得模型可以在不同任务之间共享通用预训练模型的表示，同时在每个任务上进行个性化的调整。适配器层通常由较少的参数组成，因此它们比在整个模型上进行微调更加高效。在训练过程中，预训练模型的参数是固定的，只有适配器层的参数被更新。