阿里云对象存储 OSS

阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。OSS具有与平台无关的RESTful API接口，您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

阿里云对象存储 OSS

• 产品简介
  • 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。
  • OSS工作原理
    • 数据以对象（Object）的形式存储在OSS的存储空间（Bucket ）中。如果要使用OSS存储数据，您需要先创建Bucket，并指定Bucket的地域、访问权限、存储类型等属性。创建Bucket后，您可以将数据以Object的形式上传到Bucket，并指定Object的文件名（Key）作为其唯一标识。
    • OSS以HTTP RESTful API的形式对外提供服务，访问不同地域需要不同的访问域名（Endpoint）。当您请求访问OSS时，OSS通过使用访问密钥（AccessKey ID和AccessKey Secret）对称加密的方法来验证某个请求的发送者身份。
    • Object操作在OSS上具有原子性和强一致性。
    • 存储空间
      • 存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。
    • 对象
      • 对象是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，对象没有文件目录层级结构的关系。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成，并且由存储空间内部唯一的Key来标识。对象元信息是一组键值对，表示了对象的一些属性，例如文件类型、编码方式等信息，同时用户也可以在元信息中存储一些自定义的信息。
    • 对象名称
      • 在各语言SDK中，ObjectKey、Key以及ObjectName是同一概念，均表示对Object执行相关操作时需要填写的Object名称。例如向某一存储空间上传Object时，ObjectKey表示上传的Object所在存储空间的完整名称，即包含文件后缀在内的完整路径，如填写为abc/efg/123.jpg
    • 地域
      • Region表示OSS的数据中心所在物理位置。用户可以根据费用、请求来源等选择合适的地域创建Bucket。一般来说，距离用户更近的Region访问速度更快。
    • 访问域名
      • Endpoint表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务，当访问不同的Region的时候，需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint也是不同的。例如杭州Region的外网Endpoint是oss-cn-hangzhou.aliyuncs.com，内网Endpoint是oss-cn-hangzhou-internal.aliyuncs.com。
    • 访问密钥
      • AccessKey简称AK，指的是访问身份验证中用到的AccessKey ID和AccessKey Secret。OSS通过使用AccessKey ID和AccessKey Secret对称加密的方法来验证某个请求的发送者身份。AccessKey ID用于标识用户；AccessKey Secret是用户用于加密签名字符串和OSS用来验证签名字符串的密钥，必须保密。对于OSS来说，AccessKey的来源有：
        • Bucket的拥有者申请的AccessKey。
        • 被Bucket的拥有者通过RAM授权给第三方请求者的AccessKey。
        • 被Bucket的拥有者通过STS授权给第三方请求者的AccessKey。
    • 原子性和强一致性
      • Object操作在OSS上具有原子性，操作要么成功要么失败，不存在中间状态的Object。当Object上传完成时，OSS即可保证读到的Object是完整的，OSS不会返回给用户一个部分上传成功的Object。
      • Object操作在OSS同样具有强一致性，当用户收到了上传（PUT）成功的响应时，该上传的Object进入立即可读状态，并且Object的冗余数据已经写入成功。不存在上传的中间状态，即执行read-after-write，却无法读取到数据。对于删除操作，用户删除指定的Object成功之后，该Object立即不存在。
  • OSS重要特性
    • 版本控制
      • 版本控制是针对存储空间（Bucket）级别的数据保护功能。开启版本控制后，针对数据的覆盖和删除操作将会以历史版本的形式保存下来。您在错误覆盖或者删除文件（Object）后，能够将Bucket中存储的Object恢复到任意时刻的历史版本。
    • Bucket Policy
      • Bucket拥有者可通过Bucket Policy授权不同用户以何种权限访问指定的OSS资源。例如您需要进行跨账号或对匿名用户授权访问或管理整个Bucket或Bucket内的部分资源，或者需要对同账号下的不同RAM用户授予访问或管理Bucket资源的不同权限，例如只读、读写或完全控制的权限等。
    • 跨区域复制
      • 跨区域复制（Cross-Region Replication）是跨不同OSS数据中心（地域）的Bucket自动、异步（近实时）复制Object，它会将Object的创建、更新和删除等操作从源存储空间复制到不同区域的目标存储空间。跨区域复制功能满足Bucket跨区域容灾或用户数据复制的需求。
    • 数据加密
      • 服务器端加密：上传文件时，OSS对收到的文件进行加密，再将得到的加密文件持久化保存；下载文件时，OSS自动将加密文件解密后返回给用户，并在返回的HTTP请求Header中，声明该文件进行了服务器端加密。
      • 客户端加密：将文件上传到OSS之前在本地进行加密。
    • 数据永久保存
      • 除以下情况以外，OSS默认永久保存上传到Bucket的数据：
        • 通过OSS控制台、API、SDK、ossutil或者ossbrowser等工具手动删除数据。
        • 通过生命周期规则在指定时间内自动删除数据。
        • OSS停服后15天内未补足欠款。
  • OSS使用方式
    • OSS提供多种灵活的上传、下载和管理方式。
    • 通过控制台管理OSS
      • OSS提供了Web服务页面，您可以登录访问
    • 通过API或SDK管理OSS
      • OSS提供RESTful API和各种语言的SDK开发包，方便您快速进行二次开发。
    • 通过工具管理OSS
      • OSS提供图形化管理工具ossbrowser、命令行管理工具ossutil、FTP管理工具ossftp等各种类型的管理工具。
    • 通过云存储网关管理OSS
      • OSS的存储空间内部是扁平的，没有文件系统的目录等概念，所有的对象都直接隶属于其对应的存储空间。如果您想要像使用本地文件夹和磁盘的方式来使用OSS存储服务，可以通过配置云存储网关来实现。
• 功能特性
  • OSS支持以下功能特性：
    • 场景分类 应用场景 场景说明 参考文档 存储空间管理 创建存储空间 在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。 创建存储空间 存储空间标签 您可以通过Bucket的标签功能， 对Bucket进行分类管理。例如通过不同的标签来标记不同用途的Bucket，对拥有指定标签的Bucket设置访问权限等。 管理存储空间标签 使用自有域名访问OSS资源 OSS支持绑定自定义域名功能，您可以将自定义域名绑定到OSS存储空间，并使用自定义域名访问存储空间中的数据。如果您需要通过HTTPS的方式访问OSS，可以通过OSS托管您的证书。 绑定自定义域名 证书托管 传输加速 OSS支持传输加速服务，可优化互联网传输链路和协议栈，大幅减少数据远距离传输超时的比例，极大地提升用户上传和下载体验。 传输加速 资源组 资源组是一种基于资源的权限管理方式。您可以根据不同的业务需求对存储空间（Bucket）进行分组，为不同的资源组设置不同的访问权限，实现资源组范围内的权限管理。 设置资源组 请求者付费 请求者付费模式是指由请求者支付访问Bucket内数据时产生的费用，而Bucket拥有者仅支付存储费用。当您希望共享数据，但又不希望支付因共享数据产生的额外费用时，您可以开启此功能。 开启请求者付费模式 删除存储空间 当您不再需要保留某个存储空间时，可将其删除，以免产生额外费用。 删除存储空间 文件管理 上传文件 创建存储空间后，您可以通过多种上传方式将任意类型文件上传到该存储空间。 简单上传 分片上传 断点续传上传 授权给第三方上传 表单上传 追加上传 RTMP推流上传 下载文件 文件上传至存储空间后，您可以通过多种下载方式将文件下载至浏览器默认路径或本地指定路径。 简单下载 断点续传下载 授权给第三方下载 列举文件 Bucket内的Object默认按照字母序排列。您可以结合实际场景列举当前Bucket的所有Object、指定前缀的Object、指定个数的Object等。 列举文件 拷贝文件 拷贝文件是指在不改变文件内容的情况下，将同一地域下的源Bucket内的文件复制到目标Bucket。 拷贝文件 重命名文件 OSS不支持直接对Object进行重命名。如果您需要在同一个Bucket内对Object进行重命名，您可以通过CopyObject接口将源Object拷贝至目标Object，然后通过DeleteObject接口删除源Object。 重命名文件 分享文件 文件上传至存储空间后，您可以将文件URL分享给第三方，供其下载或预览。 控制台分享文件 搜索文件 OSS支持文件和文件夹搜索功能，您可以在存储空间中快速查找目标文件。 搜索文件 归档直读 归档直读是指在OSS中，直接访问归档存储类型的文件，而无需先对其解冻。 归档直读 解冻文件 冷归档存储或者深度冷归档存储类型的Object需要解冻（Restore）之后才能读取。 解冻文件 对象标签 OSS支持使用标签对Bucket中的Object进行分类，您可以针对同标签的Object设置生命周期规则、访问权限等。 对象标签 软链接 软链接功能用于快速访问Bucket内的常用Object。设置软链接后，您可以使用类似于Windows的快捷方式，通过软链接文件快速打开Object。 软链接 管理文件元信息 文件元信息是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置文件HTTP头来自定义HTTP请求的策略，例如Object缓存策略、强制下载策略等。您还可以通过设置用户自定义元数据来标识Object的用途或属性等。 管理文件元信息 单链接限速 客户端访问OSS内的Object时会占用较大带宽，在某些不容易控制流控的客户端上可能会对其他应用造成影响。为避免此类问题，您可以通过OSS提供的单链接限速功能在上传、下载文件等操作中进行流量控制，以保证其他应用的网络带宽。 单链接限速 管理目录 与传统文件系统中的层级结构不同，OSS内部使用扁平结构存储数据。即所有数据均以Object的形式保存在Bucket中。为方便您对Object进行分组并简化权限管理，您可以创建目录，然后将目标Object存放至指定目录。 当您不需要保留该目录时，还可以通过多种方式删除目录。 创建目录 删除目录 数据索引 数据索引是OSS对外提供的文件元数据索引能力。您可以利用文件的元数据自定义索引的条件以快速获取文件列表，帮助您更好地管理与了解数据结构，方便您后续查询、统计和管理文件。 数据索引（Data Indexing） 通过云存储网关挂载OSS 如果您希望像使用本地文件夹和磁盘的方式使用OSS，您可以通过云存储网关将OSS的Bucket作为文件系统挂载至ECS实例中使用。 通过云存储网关挂载OSS 删除文件 OSS支持一次删除单个或者多个文件、碎片等。您可以定期删除过期文件，节省您的存储空间。 删除对象 管理碎片 权限控制 Bucket ACL 您可以在创建Bucket时设置读写权限ACL，也可以在Bucket创建后的任意时间内根据自己的业务需求随时修改ACL，该操作只有Bucket的拥有者可以执行。Bucket ACL分为public-read-write（公共读写）、public-read（公共读）和private（私有）三种。 Bucket ACL Object ACL 除Bucket级别ACL以外，OSS还提供了Object级别的ACL。您可以在上传Object时设置相应的ACL，也可以在Object上传后的任意时间内根据自己的业务需求随时修改ACL。Object ACL分为default（继承Bucket）、public-read-write（公共读写）、public-read（公共读）和private（私有）四种。 Object ACL Bucket Policy Bucket Policy是基于资源的授权策略。相比于RAM Policy，Bucket Policy操作简单，支持在控制台直接进行图形化配置，并且Bucket拥有者直接可以进行访问授权，无需具备RAM操作权限。Bucket Policy支持向其他账号的RAM用户授予访问权限，以及向匿名用户授予带特定IP条件限制的访问权限。 Bucket Policy概述 RAM Policy RAM（Resource Access Management）是阿里云提供的资源访问控制服务。RAM Policy是基于用户的授权策略。通过设置RAM Policy，您可以集中管理您的用户（例如员工、系统或应用程序），以及控制用户可以访问您名下哪些资源的权限，例如限制您的用户只拥有对某一个Bucket的读权限。 RAM Policy概述 数据安全 恢复误删除的数据 OSS支持版本控制功能，开启版本控制后，针对文件的覆盖和删除操作将会以历史版本的形式保存下来。您在错误覆盖或者删除文件后，能够将存储空间中存储的文件恢复至任意时刻的历史版本。 版本控制 限制访问来源 对访问来源设置白名单，避免OSS资源被其他人盗用。 防盗链 跨域资源共享 OSS支持在HTML5协议中跨域资源共享（CORS）的设置。 CORS允许在一个域名中加载的客户端Web应用程序与另一个域中的资源进行交互。 跨域设置 保护敏感数据 敏感数据保护是一款识别、分类、分级和保护Bucket中敏感数据的原生服务，可满足数据安全、个人信息保护等相关法规的合规要求。 敏感数据保护 数据合规保留 OSS支持WORM（Write Once Read Many）特性，允许用户以“不可删除、不可篡改”方式保存和使用数据。 保留策略 加密数据 OSS支持客户端加密和服务器端加密，您可以选择合适的加密方式将您的数据加密后存储到OSS中。 客户端加密 服务器端加密 OSS沙箱 当您的Bucket遭受攻击或通过Bucket分享违法内容，OSS会自动将Bucket切入沙箱。沙箱中的Bucket仍可以正常响应请求，但服务质量将被降级，您的应用可能会有明显感知。 OSS沙箱 防护DDoS攻击 OSS高防是OSS结合DDoS高防推出的DDoS攻击代理防护服务。当受保护的Bucket遭受大流量攻击时，OSS高防会将攻击流量牵引至高防集群进行清洗，并将正常访问流量回源到目标Bucket，确保业务的正常进行。 OSS高防 同城容灾 OSS采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储能够提供99.9999999999%（12个9）的数据设计持久性以及99.995%的服务可用性。 创建同城冗余存储Bucket 数据管理 跨区域复制 OSS支持跨区域复制功能，您可以通过跨区域复制功能将文件的创建、更新和删除等操作从源存储空间复制到不同地域下的目标存储空间，实现数据的异地容灾。 跨区域复制 数据复制时间控制（RTC） OSS数据复制时间控制RTC（Replication Time Control）可满足您在跨区域复制数据的合规性要求或者业务需求。开启RTC后，OSS会在几秒内复制您上传到OSS的大多数对象（Object），并在10分钟内复制99.99%的对象。此外，RTC功能还提供了数据复制的准实时监控，方便您查看复制任务的各项指标。 使用数据复制时间控制（RTC） 同区域复制 同区域复制是指将源存储空间中Object的创建、更新和删除等操作自动、异步（近实时）地复制到相同地域下的目标存储空间。 同区域复制概述 定时备份 您可以使用OSS的定时备份功能将存储空间内的Object定期备份到云备份（Cloud Backup）中，当您的Object意外丢失时，可通过云备份（Cloud Backup）进行恢复。 定时备份 自动转储及删除Object OSS支持生命周期规则，您可以通过生命周期规则定期将非热门数据转换为低频访问、归档存储、冷归档存储或者深度冷归档存储类型，并删除过期数据。 生命周期规则概述 批量获取文件信息 OSS支持清单功能，您可以使用存储空间清单功能导出指定对象的元数据信息，例如文件大小、加密状态等。 存储空间清单 托管静态网站 OSS支持静态网站托管功能，您可以将您的存储空间配置成静态网站托管模式，并通过存储空间域名访问该静态网页。 静态网站托管概述 镜像回源 配置了镜像回源规则后，当请求者访问Bucket中一个不存在的Object时，OSS会向回源规则指定的源站获取这个文件。在获取到目标文件后，OSS会将文件返回给请求者并存入Bucket。 镜像回源 高性能、高吞吐的数据访问服务 OSS加速器用于缓存OSS中的热点文件，并提供高性能、高吞吐量的数据访问服务。适用于基因训练、机器学习、数据湖、大数据计算等需要大量带宽，且数据重复读的场景。 OSS加速器概述 日志管理 管理OSS访问日志 OSS支持日志功能，您可以通过日志功能完成OSS的操作审计、访问统计、异常事件回溯和问题定位等工作。 日志转存 数据处理 图片处理 对OSS中存储的图片执行不同的操作，例如格式转换、裁剪、缩放、旋转、水印和样式封装等。 图片处理 ZIP包解压 OSS提供ZIP文件自动解压功能。配置解压规则后，您上传到OSS指定路径的ZIP文件都会被自动解压。 ZIP包解压 智能媒体 OSS与智能媒体管理（IMM）深度结合，支持文档预览、文档格式转换、图片分析、二维码识别等丰富的数据分析处理操作。 智能媒体管理 事件通知 OSS支持事件通知功能，您可以通过配置事件通知，自定义您关注的Object、操作类型等，当这些资源发生变化后，您可以及时收到通知。 事件通知概述 数据湖管理 接入数据湖 OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。 OSS-HDFS服务概述 OSS-HDFS服务的元数据转换 OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。 OSS-HDFS服务的元数据转换 OSS-HDFS服务的冷热分层存储 OSS-HDFS中存储的部分数据并非需要频繁访问，但基于数据合规或者存档等原因，这部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以归档类型进行存储，从而降低总存储成本。 OSS-HDFS服务的冷热分层存储 OSS ON云盒 非结构化数据本地存储、本地访问以及本地处理 OSS ON云盒为云盒（CloudBox）产品提供了非结构化数据本地存储、本地访问以及本地处理的能力。您可以在OSS ON云盒中创建Bucket，并使用与公共云一致的API、SDK访问云盒中的OSS。 什么是OSS ON云盒
• 产品优势
  • 下表列举了与自建存储相比，OSS在易用性、持久性、数据安全等方面的优势。
    • 对比项 对象存储OSS 自建服务器存储 易用性 提供标准的RESTful API接口、丰富的SDK包、客户端工具、控制台。您可以像使用文件一样方便地上传、下载、检索、管理用于Web网站或者移动应用的海量数据。 不限制存储空间大小。您可以根据所需存储量无限扩展存储空间，解决了传统硬件存储扩容问题。 支持流式写入和读取。适合视频等大文件的同步读写业务场景。 支持数据生命周期管理。您可以通过设置生命周期规则，将到期数据批量删除或者转储为更低成本的低频访问、归档存储、冷归档存储或者深度冷归档存储。 存储受硬盘容量限制，需人工扩容。 不支持流式写入和读取。 手动删除数据。 持久性 OSS作为阿里巴巴全集团数据存储的核心基础设施，多年支撑双11业务高峰，历经高可用与高可靠的严苛考验。OSS的多重冗余架构设计，为数据持久存储提供可靠保障。同时，OSS基于高可用架构设计，消除单点故障，确保数据业务的持续性。 服务可用性最高可达99.995%。 数据设计持久性最高可达99.9999999999%（12个9）。 规模自动扩展，不影响对外服务。 OSS会通过计算网络流量包的校验和，验证数据包在客户端和服务端之间传输中是否出错，保证数据完整传输。 OSS针对对象的操作具有强一致性。当对象上传或复制成功时，即可立即读取，且冗余写入多个设备。 采用数据冗余存储机制，将每个对象的不同冗余存储在同一个区域内多个设施的多个设备上，确保硬件失效时的数据持久性和可用性。 当数据存入OSS后，OSS会检测和修复丢失的冗余，确保数据持久性和可用性。 OSS会周期性地通过校验等方式验证数据的完整性，及时发现因硬件失效等原因造成的数据损坏。当检测到数据有部分损坏或丢失时，OSS会利用冗余数据重建并修复损坏数据。 受限于硬件持久性，易出问题，当出现磁盘坏道时，容易出现不可逆转的数据丢失。 人工数据恢复困难、耗时、耗力。 数据安全 提供企业级多层次安全防护，包括服务端加密、客户端加密、防盗链、通过Bucket Policy限制IP黑白名单访问、细粒度权限管控、STS和URL鉴权与授权机制、WORM特性、日志审计等。 提供用户级别资源隔离机制和多集群同步机制，支持异地容灾机制。 支持基于SSL和TLS的HTTPS加密传输，有效防止数据在云端的潜在安全风险。 提供版本控制功能，防止文件被误删除或覆盖而造成数据丢失。 获得多项合规认证，包括SEC、FINRA等，满足企业数据安全与合规要求。 需要另外购买清洗和黑洞设备。 需要单独实现安全机制。 成本 可通过多线BGP接入运营商骨干网线路，带宽资源充足，上行流量免费。 无需运维人员与托管费用，0成本运维。 存储受硬盘容量限制，需人工扩容。 单线或双线接入速度慢，有带宽限制，峰值时期需人工扩容。 需专人运维，成本高。 智能存储 提供多种数据处理能力，例如图片处理、视频截帧、文档预览、图片场景识别、SQL查询等，并无缝对接Hadoop生态以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品，满足企业数据分析与管理的需求。 需要额外采购，单独部署。 加速访问 互联网访问加速：提供传输加速服务，可优化互联网传输链路和协议栈，大幅减少数据远距离传输超时的比例，极大地提升用户上传和下载体验。更多信息，请参见传输加速。 内容加速分发：OSS作为源站，搭配CDN进行内容分发，提升同一个文件被重复下载的体验。 不支持。
• 应用场景
  • 图片和音视频等应用的海量存储
    • OSS可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。
  • 网页或者移动应用的静态和动态资源分离
    • 利用海量互联网带宽，OSS可以实现海量数据的互联网并发下载。OSS提供原生的功能，支持上传加速、下载加速，提升跨国、跨洋数据上传、下载的体验。同时，OSS也可以结合CDN产品，提供静态内容存储、分发到边缘节点的解决方案，利用CDN边缘节点缓存的数据，提升同一个文件被同一地区客户大量重复并发下载的体验。
  • 云端数据处理
    • 上传文件到OSS后，可以配合智能媒体管理服务和图片处理服务进行云端的数据处理。