阿里云文件存储

本文详细介绍了阿里云文件存储NAS、CPFS和HDFS三种产品。希望此脑图对你有所帮助！

阿里云文件存储

• 文件存储 NAS
  • 产品简介
    • NAS基于POSIX文件接口，天然适配原生操作系统，提供共享访问，同时保证数据一致性和锁互斥。它提供了简单的可扩展文件存储以供与ECS配合使用，多个ECS实例可以同时访问NAS文件系统，并且存储容量会随着您添加和删除文件而自动弹性增长和收缩，为在多个实例或服务器上运行产生的工作负载和应用程序提供通用数据源。
    • NAS提供了通用型和极速型两种存储类型，请根据使用场景选择合适的存储类型。
      • 通用型NAS
        • 通用型NAS用于存储频繁访问的热数据，分为容量型和性能型。适用于Linux或Windows企业应用、Web内容管理、数据库备份、日志存储、主目录等通用类文件共享业务。
      • 极速型NAS
        • 极速型NAS是基于阿里云最新一代网络架构和全闪存储打造的高性能共享文件存储产品，全托管的云存储服务与阿里云丰富的计算服务完全集成，充分发挥公共云计算生态的能力。适用于Linux时延敏感型企业应用，CI/CD开发测试环境、高性能Web服务、在线教育服务、在线游戏服务、数据库等。
    • 产品优势
      • 成本
        • 一个NAS文件系统可以同时挂载到多个计算节点上，由这些节点共享访问，从而节约大量拷贝与同步成本。
        • 单个NAS文件系统的性能能够随存储容量线性扩展，使用户无需购买高端的文件存储设备，大幅降低硬件成本。
        • 使用NAS文件存储，您只需为文件系统使用的存储空间付费，不需要提前配置存储，并且不存在最低费用或设置费用。
        • NAS的高可靠性能够降低数据安全风险，从而大幅节约维护成本。
      • 简单
        • 一键创建文件系统，无需部署维护文件系统。
      • 安全
        • 基于RAM实现的资源访问控制，基于VPC实现的网络访问隔离，结合文件存储NAS的传输加密与存储加密特性，保障数据不被窃取或篡改。
      • 高可靠性
        • NAS采用单可用区（AZ）数据存储机制，将用户的数据在后端进行多副本存储，每份数据都会存储在同一个可用区内多个不同的设备上，并提供99.999999999%（11个9）的数据持久性和99.95%的服务可用性，能够有效降低数据安全风险。
      • 高性能
        • 基于分布式架构文件系统，随着容量的增长性能线性扩展，提供远高于传统存储的性能。
      • 兼容性
        • NAS文件存储提供良好的协议兼容性，支持NFS和SMB协议方案，兼容POSIX文件系统访问语义，提供强大的数据一致性和文件锁定。
        • 在NAS中，任何文件修改成功后，用户都能够立刻看到修改结果，便于用户实时修改存储内容。
  • 产品对照表
    • 文件存储NAS、对象存储OSS和块存储EBS的主要区别如下表所示。
      • 对比项 文件存储NAS 对象存储OSS 块存储EBS 特点 原有使用单机本地文件系统的应用无需修改，即可直接访问。提供高吞吐和高IOPS的同时，支持文件的随机读写和在线修改 支持公网访问，一个低成本的海量共享存储空间，适合存储写入后较少修改的数据 块级存储，可随机读写，类似物理硬盘，支持分区格式化并建立文件系统 应用场景 主要应用于科学计算、容器数据持久化和企业在线生产应用的数据存储。如：AI计算、基因计算、药物计算、容器共享PV、日志数据持久化、CI/CD平台、云桌面数据文件共享等 主要应用于基于对象API开发的互联网应用程序的数据存储。如：互联网业务的音视频存储、数据湖、云相册、个人/企业网盘类应用 适用于OLTP数据库、NoSQL数据库等IO密集型的高性能、低时延业务场景 访问模式 上千个ECS或上万个容器，通过POSIX接口并发读取相同文件，随机读写 数百万客户端通过SDK、RESTful并发读相同文件，追加写 EBS是裸磁盘，挂载到ECS后不能被操作系统应用直接访问，需要格式化成文件系统（ext3、ext4、NTFS等）后访问。当不多于16台ECS实例同时访问一块云盘时，需要使用集群文件系统（例如，OCFS2、GFS2、Veritas CFS、Oracle ACFS和DBFS等），保障多实例间数据同步。更多信息，请参见开启多重挂载功能。 最低时延 毫秒级（NFS或SMB方式访问） 微秒级（容器ACK通过CNFS方式访问） 几十毫秒级 微秒级 单实例最大吞吐 20 GB/s 中国内地各地域：单个阿里云账号的上行及下行带宽各为10 Gbit/s 非中国内地各地域：单个阿里云账号的上行及下行带宽各为5 Gbit/s。 更多信息，请参见使用限制。 数GB/s 容量 GiB~PiB 无限制 GiB~TiB 文件级别的授权 支持 支持 不支持 数据存储方式 目录树的组织形式 扁平的文件组织形式 需拆分数据到任意划分且大小相同的卷中 协议 NFS和SMB协议 HTTP/HTTPS协议 标准虚拟块设备协议接口或NVMe协议接口
  • 部署架构
    • 使用文件存储NAS、对象存储OSS和块存储EBS部署应用程序架构如下图所示。
  • 功能特性
    • 容量弹性可扩展
      • 文件系统容量可以弹性扩展，随着添加或者删除文件系统数，文件容量自动扩展或缩减。
    • 共享访问
      • 多计算实例共享访问文件系统里的同一数据源，通过文件锁保证数据的强一致性。
    • 丰富的协议兼容
      • 提供标准的NFS和SMB访问协议，支持NFS v3和NFS v4.0、SMB 2.1和SMB 3.0，支持主流的Linux和Windows操作系统。
    • 安全控制与合规
      • 基于RAM的用户认证，VPC隔离和安全组访问控制，保障数据安全。
      • 权限组访问控制
      • RAM主子账号授权
    • 加密
      • 传输加密保障用户数据在传输到存储的过程中不被窃取和窥探。
    • 灵活的访问模式
      • 支持VPC网络访问文件系统或IDC机房通过专线网络、VPN网络等多种方式访问。
    • 数据传输
      • 利用数据迁移服务可支持在NAS间或NAS到OSS间进行数据的同步或异步传输。
    • 数据备份
      • 文件存储备份可以通过灵活的备份策略生成多个备份副本数据，在发生数据损坏时进行恢复。
  • 应用场景
    • 企业应用上云
      • 阿里云NAS提供标准的NFS和SMB接口，云下建立在NAS上的应用程序可以轻松迁移到阿里云。阿里云NAS基于云原生架构，具有99.95%高可用性，PB级容量弹性，同时支持目录配额、ACL、回收站、数据加密等企业级能力，因而适合线下的企业核心应用迁移上云使用。
    • 容器PV（Persistent Volume）存储
      • 容器的跨平台、敏捷应用部署、快速扩缩容等特点非常适合于构建微服务。对企业生产系统进行容器化改造，可有效提高企业业务的敏捷性。容器的快速扩缩容和调度需要容器被调度后可以访问到原来的数据，保证应用能快速拉起。阿里云NAS作为可共享访问的文件系统，使容器Pod无论在哪个ECS实例上运行，都可以访问到原有数据。阿里云NAS内嵌于容器ACK服务内的为容器应用提供了接近本地文件系统的小文件操作性能，可有效支持对I/O性能敏感的核心生产应用。同时，阿里云NAS提供的目录配额功能可赋予容器PV的容量限制能力。回收站功能可以规避PV误删引起的数据丢失风险。
    • AI训练、基因计算、工业仿真等高性能计算
      • AI训练、基因计算、工业仿真的应用强依赖完善的文件语义和多机访问数据一致性。阿里云NAS提供了多机GPU和CPU计算所需的标准文件接口、多机写和读一致性，以及高聚合吞吐性能。当利用容器环境进行计算时，阿里云NAS提供的为应用提供了接近本地文件系统的小文件操作性能和计算端分布式缓存能力，可在不增加成本的情况下明显的提高计算速度。
    • 内容管理和Web服务
      • NAS可以用作一种可快速弹性伸缩、多机共享的文件系统，在云下广泛用于各种内容管理系统和Web服务应用程序，为网站、在线发行和存档等广泛的应用程序存储和提供信息。阿里云NAS提供了和云下NAS一致的功能，更加弹性的空间和更加简单的使用体验，Web开发人员可以快速的将企业的Web服务迁移上云，享受云上弹性和利用云上丰富的服务。
    • 媒体和娱乐工作流
      • 视频编辑、影音制作、广播处理、声音设计和渲染等媒体工作流通常依赖于共享文件存储实现多工作站共同编辑大型文件。阿里云NAS提供关闭再打开（close to open）的数据一致性模型和高吞吐量共享文件访问，无需将数据复制到本地磁盘，就可以缩短完成以上工作流所需的时间，并将多个本地文件存储库合并到面向所有用户的单个位置。
• 文件存储 CPFS
  • 产品简介
    • 文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级的延时。
    • 产品优势
      • 高吞吐：IO带宽随容量线性提升，最大支持20 GB/s。
      • 高IOPS：IOPS能力随容量扩展线性提升，最大支持2800000 IOPS。
      • 低延时：稳定的亚毫秒级IO时延。
      • 海量文件：全对称的元数据服务器架构，单文件系统支持40亿文件，10万以上元数据OPS能力。
      • 低成本：支持与OSS数据进行高效率流动，降低数据存储成本。
      • 多协议互访：支持POSIX和NFS多协议互访，一份数据多种业务平台同时访问。
      • 数据隔离：统一命名空间下，NFS协议支持目录级挂载点，便捷数据调度的同时，实现不同业务间数据隔离。
    • 重要特性
      • 协议服务
        • 文件存储CPFS支持NFSv3协议，并与传统POSIX协议客户端实现协议互访。通过NFS协议，您可以获得更加优秀的操作系统兼容性和计算端弹性，并仍能享受CPFS强大的吞吐能力。
      • 数据流动
        • 文件存储CPFS与对象存储OSS之间已实现数据流动。在CPFS侧管理OSS桶中的文件，并通过POSIX接口访问OSS中的数据，CPFS会以数据块粒度透明的加载OSS中的数据，并放入CPFS中进行加速，应用无需特殊改造。
      • NFSv4 ACL
        • CPFS文件系统支持NFSv4 ACL，您可以通过NFSv4 ACL给目录或文件授予访问权限，包括读、写、执行。
      • 数据监控
        • CPFS支持监控功能，您可以通过监控功能查看CPFS文件系统使用情况的实时信息，如文件系统性能、NFS协议性能、文件系统容量、Fileset容量等。
  • 文件系统实例性能
    • CPFS支持通过CPFS-POSIX客户端或CPFS-NFS客户端访问文件系统，以下列举了在相同文件系统容量下通过CPFS-POSIX客户端或CPFS-NFS客户端访问文件系统时，200 MB/s/TiB基线、100 MB/s/TiB基线和400 MB/s/TiB基线规格的CPFS文件系统可提供的吞吐、IOPS能力及IO时延。
    • CPFS-POSIX
      • 创建CPFS POSIX挂载点后，可以通过CPFS-POSIX客户端访问文件系统。
        • 指标 100 MB/s/TiB基线 200 MB/s/TiB基线 智算版400 MB/s/TiB基线（公测） 吞吐 min{0.1*存储容量（GiB），20000}MBps min{0.2*存储容量（GiB），20000}MBps 最高可达100000 MBps，如需提高吞吐能力，请提交工单申请。 读吞吐：min{400*存储容量（TiB），400000}MBps 写吞吐：min{200*存储容量（TiB），200000}MBps 最高可达2 TB/s，如需提高吞吐能力，请提交工单申请。 IOPS min{15*存储容量（GiB），2800000} min{30*存储容量（GiB），2800000} 最高可达10000000，如需提高IOPS能力，请提交工单申请。 读IOPS：min{6800*存储容量（TiB），6800000} 写IOPS：min{2300*存储容量（TiB），2300000} 最高可达30000000，如需提高IOPS能力，请提交工单申请。 平均单路4k读延迟 0.6 ms 0.4 ms 0.25 ms 平均单路4k写延迟 0.8 ms 0.6 ms 0.6 ms
    • CPFS-NFS
      • 开启文件存储CPFS协议服务后，可使用CPFS-NFS客户端访问CPFS。CPFS协议服务可独立提供NFS协议挂载点，不依赖POSIX挂载点。文件存储CPFS提供通用型和缓存型两种NFSv3协议服务类型。下表对比了两种协议类型的指标，您可根据业务需求选择合适的协议服务类型访问文件系统。
      • CPFS-NFS客户端暂不支持400 MB/s/TiB基线规格的智算版CPFS文件系统。
        • 协议服务类型 指标 100 MB/s/TiB基线 200 MB/s/TiB基线规格 通用型 吞吐 与CPFS文件系统带宽一致，min[100*存储容量（TiB）,20000]MB/s。 与CPFS文件系统带宽一致，min[200*存储容量（TiB）,20000]MB/s。 IOPS 读写：min[4000*存储容量（TiB）,960000] 读写：min[8000*存储容量（TiB）,960000] 单路时延 读时延：0.8 ms 写时延：0.8 ms 读时延：0.6 ms 写时延：0.6 ms 单客户端最大吞吐 600 MB/s 600 MB/s 单客户端最大IOPS 读：80000 IOPS 写：30000 IOPS 读：80000 IOPS 写：30000 IOPS 缓存型 吞吐 创建协议服务时指定的最大读带宽。最大为100 GB/s。 创建协议服务时指定的最大读带宽。最大为100 GB/s。 IOPS 读：min[7500*协议服务带宽（GB/s）,15000*存储容量（TiB）,1900000] 写：min[4000*存储容量（TiB）,960000] 读：min[7500*协议服务带宽（GB/s）,30000*存储容量（TiB）,1900000] 写：min[8000*存储容量（TiB）,960000] 单路时延 读时延（缓存命中）：0.2 ms 读时延（缓存未命中）：0.8 ms 写时延：0.8 ms 读时延（缓存命中）：0.2 ms 读时延（缓存未命中）：0.6 ms 写时延：0.6 ms 单客户端最大吞吐 1.1 GB/s 1.1 GB/s 单客户端最大IOPS 读：90000 IOPS 写：40000 IOPS 读：90000 IOPS 写：40000 IOPS
    • CPFS-POSIX和CPFS-NFS选择建议
      • 如果您对性能没有极致需求，建议您在控制台开启通用型协议服务，使用CPFS-NFS客户端访问CPFS，获得更优的使用体验。
      • CPFS-NFS支持以下操作系统：
        • 操作系统类型 操作系统版本 Alibaba Cloud Linux Alibaba Cloud Linux 3.2104 64位 Alibaba Cloud Linux 2.1903 64位 CentOS CentOS 8.x 64位 CentOS 7.x 64位 Ubuntu Ubuntu 20.04 64位 Ubuntu 18.04 64位 Ubuntu 16.04 64位 Debian Debian 10.x 64位 Debian 9.x 64位 Debian 8.x 64位
• 文件存储 HDFS
  • 产品简介
    • 文件存储 HDFS 版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。
  • 功能特性
    • 无缝集成
      • 文件存储 HDFS 版允许您就像在Hadoop分布式文件系统 （HDFS）中一样管理和访问数据。
      • 文件存储 HDFS 版SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。
      • 文件存储 HDFS 版支持的原生文件系统语义被开发人员和用户熟知，您无需在迁移到云时学习新的存储范例。
      • 从传统HDFS迁移到文件存储 HDFS 版 ，不会丢失任何文件元信息，包括目录结构、文件创建时间等。
    • 共享访问
      • 文件存储 HDFS 版 实例可以被多个计算节点同时访问，非常适合跨多个ECS或容器服务实例部署的应用程序访问相同数据来源的应用场景。
    • 安全控制
      • 具有文件系统标准权限控制、权限组访问控制和RAM用户认证等多种安全机制，从而保证文件系统数据安全万无一失。
    • 线性扩展
      • 能够为应用负载提供高吞吐量、高IOPS及低时延的存储性能。同时，其性能与容量呈线性关系，可满足业务增长时对更高容量与存储性能的需求。
  • 应用场景
    • 文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。
    • 大数据分析与机器学习
      • 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力，无需将数据迁移到计算资源本地，因此在该场景下推荐使用 文件存储 HDFS 版 存储数据。
      • 将数据存入文件存储 HDFS 版 ，ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。