Azure Blob存储如何支撑OpenAI海量训练？

聚焦于微软Azure Blob存储的卓越进展与创新，尤其是它如何有力地支撑OpenAI的巨大计算需求，而OpenAI正是ChatGPT的缔造者。Azure Blob存储产品管理团队的Jason Valerie，与Jake和Deveraja共同探讨了Azure Blob存储在助力OpenAI大规模模型训练中扮演的关键角色，处理高达艾字节级的数据和存储。讨论涉及为AI工作负载扩展超级计算机所面临的挑战，并突出了架构解决方案，如用于数据中心连接区域网络网关，以及引入扩展账户实现动态存储容量扩展。技术方面涵盖检查点机制、大规模数据处理、创新的blob视图和分层命名空间，以及全球数据移动能力，并战略性地利用微软的全球网络基础设施，以实现高效数据传输。此次对话充分展示了微软致力于为先进的AI研发提供强大、可扩展且高效的存储解决方案。

云存储和人工智能应用

• 对象存储的演变
  • 起源：Ocean Store论文（90年代中后期）-现代对象存储系统的基本概念
  • 21世纪初：AWS S3开创对象存储的现代时代
  • 2010年代中期：云服务商开发成熟的对象存储服务
  • 分析型大数据应用转变：吞吐量请求增加，分析驱动的数据访问，强烈的一致性要求
  • 最近的发展：纯粹的云存储服务（Wasabi、Backblaze B2、Cloudflare R2）
• AI工作负载和存储要求
  • 数据采集和准备：原始数据集、清理、注释
  • 训练：检查点生成、模型复杂性挑战
  • 微调：特定领域的数据集成
  • 推理：模型分布、加载时间、数据管理
  • 负责任的人工智能：数据谱系、来源、偏见/幻觉跟踪
• 检索增强生成（RAG）模式
  • 提示工程：通过提示进行情境学习
  • 微调：更新模型权重
  • RAG：通过检索和增强学习新事实
  • 管道组件：
    • 数据摄取和预处理：将数据分解为小块
    • 嵌入生成：将数据转换为向量
    • 矢量数据库集成：嵌入的存储和检索
    • 快速增强：检索相关数据以增强查询
    • 推断：向LLM发送增强提示
• AI的存储服务要求
  • 摄入引擎：高效处理海量数据
  • 低延迟访问：确保及时响应查询
  • 矢量数据库集成：检索的无缝交互
  • 数据新鲜度：及时更新矢量索引
  • 安全和访问控制：数据治理和未经授权的访问预防
• 演示亮点
  • 多协议访问：与各种存储系统的兼容性
  • SSD支持存储：用于低延迟访问的高级Blob
  • 矢量数据库集成：pinecone、Azure AI搜索
  • 实时更新：Blob Change Feed用于按需索引更新
  • 安全性：与Azure Active Directory集成，基于属性的访问控制
• 人工智能中对象存储的未来
  • 可扩展访问：Exabyte级容量，PB级吞吐量
  • 检索和多模式数据处理：处理大量非结构化数据
  • 系统和用户上下文：存储复杂数据和用户交互历史
  • 性能存储：SSD支持的解决方案，可提高性能
  • 索引和搜索：基于标签或基于元数据的索引，可实现高效搜索
  • 安全：基于身份的安全、基于策略的管理
• 结论
  • 对象存储的作用：非常适合人工智能训练、微调和基于RAG的应用程序
  • 持续进化：应对人工智能管道中的挑战，增强未来LLM操作系统的能力。

Azure Blob存储如何支撑OpenAI海量训练？

• Azure Blob存储和OpenAI协作介绍
  • Azure Blob存储在支持OpenAI超级计算机训练管道中的作用
  • 强调处理人工智能训练数据和检查点的规模和复杂性
• 人工智能训练管道
  • 数据摄取：人工生成的内容、精心策划的互联网数据、私人数据集、合成数据
  • 处理：清理、聚合、矢量化
  • 训练数据通过管道传输到超级计算机进行建模
  • 模型开发和硬件故障恢复的检查点
  • 最终模型部署
• 人工智能超级计算机：超大规模集群
  • GPU容量持续增长
  • 规模空前的单一用途设施
  • GPU机架、Blob存储机架和网络设备的集成
  • 逻辑聚合到单个超级计算机和存储命名空间中
  • 通过RDMA实现数据中心间连接的区域网络网关（RNG）
• 检查工作负载挑战
  • 频繁的检查点，以减轻硬件故障并启用作业切换
  • 影响GPU空闲时间的同步进程
  • 使用Python pickle文件进行大型顺序读写
  • 通过基于上次访问和修改时间的保留策略进行容量管理
• Blob存储体系结构和可扩展性
  • 20个机架单元的逻辑分组，用于横向扩展
  • 原始架构限制：单个物理存储集群、有限的吞吐量、TPS和容量
  • 引入扩展帐户以实现横向可扩展性并克服局限性
  • 前端层用于吞吐量扩展，分区层用于TPS和IOPS扩展，流层用于容量扩展
• 规模账户和弹性
  • 集群的动态和弹性扩展以满足工作负载需求
  • 跨集群的负载平衡，以实现弹性和动态资源分配
  • 支持Azure存储中的各种冗余类型
  • Private Link技术，用于安全和可扩展地访问Blob存储
• 人工智能数据平台和摄入挑战
  • 从不同来源摄取Exabyte级数据
  • 利用Blob存储的独特功能进行高效的基于流的上传和打包
  • 艾字节级文件和文件夹语义的分层命名空间
  • Blob Fuse用于缓存和管理GPU主机上的本地资源
• 全球GPU部署和数据移动
  • 利用微软的全球广域网在地区之间高效传输数据
  • 使用低优先级流量标记优化数据传输的代理广域网功能-Brokered WAN Traffic
  • 从URL放置Blob和从URL放置块API用于多TB数据流
• 关键要点
  • 规模统计容量动态水平扩展的能力
  • 独特的Blob API功能，用于基于流的上传和打包
  • 艾字节级文件和文件夹语义的分层命名空间
  • 针对高IOPS数据处理工作负载的动态分区拆分
  • 利用微软全球广域网的数TB数据移动能力
• 问答环节亮点
  • 关于Blob、检查点策略以及GPU与存储交互的讨论
  • 深入了解基础设施愿望清单、网络组件和硬件改进
  • 关于Blob Fuse、预取和存储帐户可扩展性的澄清
  • Blob Fuse的开源特性及其与内部Blob缓存技术的区别