导图社区 FusionCloud云服务安装部署知识框架笔记
FusionCloud基本组件FusionCloud是私有云解决方案,主要套件包含FusionSphere云套件(ECS、EVS、IMS、VPC、SG、EIP、VFW、VPN、ELB、BMS、AS等),ManageOne
编辑于2022-11-07 10:24:45 广东FusionCloud云服务安装部署知识框架笔记
方案描述
why
随着数据中心业务的发展,传统数据中心面临着很多新的挑战。为了应对传统数据中心面临的挑战并顺应技术发展趋势,华为推出了新一代FusionCloud私有云解决方案。
what
FusionCloud是物理分散、逻辑统一、业务驱动、云管协同、业务感知的数据中心解决方案,可支持企业或机构业务的持续发展,能满足对业务全生命周期的管理。
how
在FusionCloud解决方案中,采用FusionSphere OpenStack作为云平台,对各个物理数据中心资源进行整合;采用ManageOne作为数据中心管理软件,对多个数据中心提供统一管理。通过云平台和数据中心管理软件协同运作,达到多数据中心融合、提升企业整体IT效率的目的。并基于此,提供计算、存储、网络、安全、灾备、大数据、数据库和PaaS(平台即服务)等丰富的云服务。
功能架构
架构图
功能分层
应用域
由第三方提供应用,基于FusionCloud提供的云服务,构建用户的业务系统,满足各行业用户业务需求
云服务
云服务统一管理多个数据中心资源池层提供的资源
管理域
由ManageOne提供对多个云数据中心的统一管理调度能力
运营管理:ManageOne运营面提供对云服务的统一运营能力,提升运营操作的敏捷性,提升业务运营效率
运维管理:ManageOne运维面提供对虚拟资源和物理资源的统一运维能力,提升运维操作效率
资源池
FusionSphere OpenStack提供对虚拟计算、虚拟存储和虚拟网络的资源池化和管理能力,并提供资源池管理能力
基础设施
基础设施包括构建数据中心所需的服务器、存储设备和网络设备,提供基于物理资源构建的虚拟计算、虚拟存储和虚拟网络资源池,并提供可直接使用的物理服务器资源。基础设施层可根据不同业务的需求,提供多种类型的硬件部署架构
部署架构
相关概念
Global
全局概念,即一套FusionCloud解决方案内唯一
Global区部署ManageOne作为多Region的统一管理平台,IAM作为全局统一认证服务
Region
Region属于L0层的区域概念,即地理区域
Region是一个以时延为半径的圈
接入时延。Region内的用户获得的服务小于某时延,如100ms
覆盖范围。超过该时延的距离,用户的服务质量将不可达。需要另外规划一个区域,建设DC提供服务
地理容灾。各个Region通常在不同的地理位置,具有地理容灾等级
AZ
Available Zone,可用分区是一个物理资源(计算、存储、网络)的分区
Region可以包含多个AZ。AZ包含于Region,AZ不可跨越Region
主机组
一个主机组就是FusionSphere OpenStack部署中的一个逻辑组,它包括了一组物理主机,以及相关的元数据
主机组是由一组相同硬件配置(CPU,内存)以及连接同一共享存储或分布式存储的计算服务器组成一个主机组,由管理员在系统中逻辑划分。例如裸金属的服务器集群或KVM虚拟化的服务器集群。最大的计算服务器集群不建议超过128台
架构类型
Type 1
Region Type 1/软SDN
图1
介绍
基础管理节点:安装OpenStack控制节点、ManageOne、公共组件和基础云服务组件。
扩展管理节点:安装基础云服务以外的其他高阶云服务。
网络节点:安装软件SDN组件,提供vRouter、ELB、EIP等功能
注意点
基础管理节点最少3台,可支持ECS/IMS/EVS/VPC/EIP/SG/VFW/ELB/VPN/OBS/PaaS服务的管理console部署;其中VPN服务、OBS服务和PaaS服务为可选服务,其他云服务为必选云服务
基础管理节点和扩展管理节点,通过融合部署的FusionStorage作为管理存储。
当部署扩展管理节点时,部署的云服务VM可以根据资源需求在基础管理节点和扩展管理节点上任意部署。
功能分层
管理域
ManageOne
ManageOne包含vAPP、IAM和LogCenter,虚拟化部署在基础管理节点。
eSight
eSight 是华为自研的支持对多厂商和多类型的设备进行统一的监控和配置管理,对网络和业务质量进行监视和分析。提供存储、服务器、路由器、交换机和防火墙的统一管理
FusionCare
G-ray
系统跟踪服务请求,可视化的还原请求在分布式系统中的执行轨迹和状态,支撑故障和性能瓶颈的快速定界。当创建虚拟机等 业务操作失败时,方便运维人员对问题进行定界,快速 发现异常所在组件
FusionNetDoctor
FusionNetDoctor是面向运维人员的,虚拟网络领域基于PING包的断流检测定界工具。工具在FusionCloud系统部署时默认在管理虚拟机中安装运行,在出现虚拟网络断流故障时由运维人员、用户登录使用进行断流定界。用户进行具体流量定界时,工具将动态推送脚本和tcpdump工具到目标节点运行抓包流程,只抓取报文头部进行断流定界分析,并收集节点流量分析结果后直接显示给用户,不做数据保存。当租户虚拟机间的网络不通时,运维人员通过FusionNetDoctor工具的Web页面查询,就能故障位置进行快速定
虚拟化部署在基础管理节点
云服务
资源池
级联层FusionSphere OpenStack
物理部署在基础管理节点
被级联层FusionSphere OpenStack
Service OM
FusionStorage Manager
虚拟化部署在基础管理节点
FusionStorage(分离部署)
物理部署在分布式存储节点
Type 2
Region Type 2/硬SDN
图2
介绍
基础管理节点:安装OpenStack控制节点、ManageOne、公共组件和基础云服务组件。
扩展管理节点:安装基础云服务以外的其他高阶云服务。
AC管理节点:安装硬件SDN控制器 Agile Controller
说明
基础管理节点最少3台,可支持ECS/IMS/EVS/VPC/EIP/SG/VFW/ELB/VPN/OBS/PaaS服务的管理console部署;其中ELB服务、OBS服务和PaaS服务为可选服务,其他云服务为必选云服务。
基础管理节点和扩展管理节点,通过融合部署的FusionStorage作为管理存储
当部署扩展管理节点时,部署的云服务VM可以根据资源需求在基础管理节点和扩展管理节点上任意部署
功能分层
管理域
ManageOne
ManageOne包含vAPP、IAM和LogCenter,虚拟化部署在基础管理节点。
eSight
FusionCare
G-ray
虚拟化部署在基础管理节点
云服务
资源池
FusionSphere OpenStack
物理部署在基础管理节点
Service OM
FusionStorage Manager
虚拟化部署在基础管理节点
FusionStorage(分离部署)
物理部署在分布式存储节点
Agile Controller-DCN
物理部署在Agile Controller-DCN控制器节点
Type 3
Region Type 3/无SDN
图3
介绍
基础管理节点:安装OpenStack控制节点、ManageOne、公共组件和基础云服务组件。
扩展管理节点:安装基础云服务以外的其他高阶云服务
说明
基础管理节点最少3台,可支持ECS/IMS/EVS/VPC/SG/OBS/PaaS服务的管理console部署
基础管理节点和扩展管理节点,通过融合部署的FusionStorage作为管理存储
当部署扩展管理节点时,部署的云服务VM可以根据资源需求在基础管理节点和扩展管理节点上任意部署
功能分层
管理域
ManageOne
ManageOne包含vAPP、IAM和LogCenter,虚拟化部署在基础管理节点。
eSight
FusionCare
G-ray
虚拟化部署在基础管理节点
云服务
资源池
FusionSphere OpenStack
物理部署在基础管理节点
Service OM
FusionStorage Manager
虚拟化部署在基础管理节点
FusionStorage(分离部署)
物理部署在分布式存储节点
区别
安装部署
简单安装流程
云服务
云服务汇总
云服务类型
计算服务
存储服务
网络服务
灾备服务
其他
主要云服务产品
云硬盘
what
EVS(Elastic Volume Service),即云硬盘,是一种虚拟块存储服务,主要为ECS(弹性云服务器)和BMS(裸金属服务器)提供块存储空间。
相关概念
磁盘模式
根据是否支持高级的SCSI命令来划分云硬盘的磁盘模式,分为VBD (Virtual Block Device)类型和SCSI (Small Computer System Interface)类型
VBD类型:VBD类型的云硬盘只支持简单的SCSI读写命令。适用于普通的应用场景,如办公、测试等日常应用场景;或Linux常用集群场景,如RHCS。
SCSI类型:SCSI类型的云硬盘支持SCSI指令透传,允许弹性云服务器操作系统直接访问底层存储介质。除了简单的SCSI读写命令,SCSI类型的云硬盘还可以支持更高级的SCSI命令(如SCSI-3类型持久预留锁),适用于通过SCSI锁机制保障数据安全的集群应用场景,如Windows MSCS集群。
磁盘类型
磁盘类型是在创建磁盘时可供选择的类型或标签,一个磁盘类型对应一组磁盘所使用的后端存储。根据磁盘所使用的后端存储的性能差异,推荐的典型磁盘类型和应用场景如下
普通性能:适用于大容量、读写速率要求不高、事务性处理较少的应用场景,例如部署开发测试应用程序等。
中等性能:适用于对性能要求不高,但是要求具有丰富的企业级特性场景,适用于普通数据库、应用VM、中间件VM。
高性能:适用于高性能,高读写速率要求,满足高带宽吞吐能力的应用场景,例如数据仓库。
超高性能:适用于对I/O性能密度要求极高,数据密集型的场景,例如NoSQL/关系型数据库。
共享盘
一种可以挂载给多个实例使用的云硬盘
说明
共享云硬盘只适用于数据盘,不支持系统盘
VBD类型的共享云硬盘不支持SCSI锁,SCSI类型的共享云硬盘支持SCSI锁
SCSI锁是多台主机用来操作磁盘的基本机制。在共享存储的环境下,防止多个主机在同一时间点对磁盘进行写操作,造成数据写混乱的问题
限制
同一个云硬盘的SCSI锁无法区分单个物理主机上的多台ECS,只有当ECS位于不同物理主机上时才支持SCSI锁,因此需要结合云服务器组的反亲和性一同使用,SCSI锁才会生效。
具有反亲和性的云服务器组是指ECS在创建时,将会分散地创建在不同的物理主机上,从而提高业务的可靠性。
只能在创建ECS的时候选择虚拟机组,对于现有的ECS,不支持添加云服务器组的操作。
原理实现
通过SCSI Reservation机制来进行SCSI锁的操作,将一个SCSI共享盘挂载给一个具有反亲和性的云服务器组中的多个ECS后,如果其中一台ECS向SCSI共享盘发送SCSI Reservation命令后,该共享盘对于其他的ECS就处于锁定状态,此时该云服务器组内的其他ECS无法写入数据到共享盘
云硬盘快照
what
云硬盘快照(简称快照)是对云硬盘数据在某一时刻的状态记录,是一种重要的数据恢复手段。通过对云硬盘在某个时刻创建快照,使该快照独立于云硬盘的生命周期,可通过快照回滚操作将云硬盘数据恢复到快照时间点。
注意点
快照不同于备份,备份是云硬盘数据在某一时刻的副本,而快照并非是实际的磁盘数据拷贝,不是数据副本。因此,快照占用的存储空间较小,且执行速度快。但是,如果磁盘物理故障,通过快照回滚是无法恢复出正确的数据的,而备份则可以
应用场景
日常数据备份和恢复
当云硬盘出现由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况时,可以使用快照快速恢复到未出问题前的状态
对于一些重大变更操作(例如应用软件升级、业务数据迁移等),建议在变更前对磁盘创建快照,如果变更失败则可以使用快照及时将业务进行回滚
通过同一个快照可以快速创建出多个具有相同数据的云硬盘,从而可以同时为多种业务提供数据资源,例如数据挖掘、报表查询和开发测试等业务。
实现原理
快照的实现机制会根据磁盘所在的后端存储类型不同有所差异
后端存储为OceanStor V3/V5系列
快照是源磁盘数据在某一时间点生成的数据副本,由源磁盘、COW数据空间和快照三部分组成。快照采用了映射表和写前拷贝COW相结合的技术方式来实现
实现原理
创建快照前:在磁盘未进行任何快照前,数据写入动作与其他磁盘一样,对数据进行修改,会直接写入原有磁盘数据块对原有数据进行覆盖,原有数据不会被保留
创建快照:快照创建后,会生成与源磁盘一致的数据副本。此时,后端存储系统在源磁盘所在的存储池中动态划分COW数据空间并自动生成快照,快照的指针指向源磁盘数据的存储位置
源磁盘写入数据:当实例对源磁盘有数据写入请求时,后端存储系统不会立即写入新数据。后端存储系统利用写前拷贝机制先将写前拷贝数据拷贝到COW数据空间中,并修改映射表中的映射关系,然后将新数据写入源磁盘。例如图中修改源磁盘中的数据A前,需要先将数据A拷贝至COW数据空间,然后修改快照指针指向COW数据空间中数据A的存储位置,最后才将数据A'写入源磁盘
后端存储为Dorado V3系列
快照实现的核心技术为写时重定向ROW
实现原理
创建快照前:在磁盘未进行任何快照前,数据写入动作与其他磁盘一样,对数据进行修改,会直接写入原有磁盘数据块对原有数据进行覆盖,原有数据不会被保留
创建快照:快照创建后,会生成与源磁盘一致的数据副本。此时,后端存储系统将源磁盘的指针复制给快照,快照的指针指向源磁盘数据的存储位置
源磁盘写入数据:快照创建后,当实例对源磁盘有数据写入请求时,存储系统利用ROW技术将新写入的数据存放在新的位置,源磁盘的指针更新,指向新数据的存放位置。快照的指针仍指向原始数据的存储位置,从而保存源磁盘在快照创建时间点的数据。例如图中修改源磁盘中的数据A时,会将新数据A'写入新的位置,然后修改源磁盘的指针指向A'的存储位置。快照的指针仍指向原始数据A的存储位置
后端存储为FusionStorage
快照数据基于分布式哈希表DHT(Distributed Hash Table)机制
实现原理
实现原理/业务流
1、VDC管理员或VDC业务员在ManageOne运营面上申请资源。
2、ManageOne运营面通过ECS UI,将请求下发给组合API。
3、组合API将请求分发到Cinder。
4、Cinder根据申请存储资源的策略在存储池创建卷。
5、ECS将块存储挂载到虚拟机。
6、Nova通知Cinder挂载卷。
与本地磁盘区别
性能
云硬盘具有更高的I/O吞吐能力。本地磁盘的性能与物理主机的负载情况有关
可靠性
云硬盘可靠性高,本地磁盘存在单点故障风险
是否受VDC配额的限制
云硬盘的容量和数量受VDC配额的限制,支持统计使用量。本地磁盘的容量和数量不受VDC配额限制,也无法统计使用量
是否受生命周期的影响
云硬盘始终不受实例运行时间的影响,可以将磁盘从实例中卸载,并将其挂载到另一个实例
特性支持
云硬盘支持热迁移、磁盘升降配置、快照等
云服务器备份
what
云服务器备份服务(Cloud Server Backup Service,CSBS)对云服务器提供备份保护服务,利用多个云硬盘的一致性备份数据,恢复云服务器业务数据,支持本地备份和备份数据的远程复制。和服务器虚拟化不同,备份在私有云中是一种服务
应用场景
数据恢复与备份
为云服务器提供在线备份,通过备份快速恢复数据,保证业务安全可靠
快速业务部署
为云服务器的系统盘和数据盘创建备份,利用备份,可快速复制一个或多个与现有云服务器相同配置的云服务器,支持业务系统跨AZ快速批量部署
基础架构
方案组件
ManageOne SC:向用户提供统一的云备份自助管理平台,用户按需申请备份服务;
CSBS Karbor:数据保护服务编排,负责保存和调度备份策略,提供对接云管理平台的API接口;
BCManager eBackup:备份管理软件,Manager&Workflow负责备份、恢复执行流程控制,Server&Proxy负责数据的存取;
FusionSphere OpenStack:提供备份、恢复等API接口。
实现原理/业务流
1、在CSBS界面上下发备份任务。
2、Karbor将备份任务下发给eBackup Manager&Workflow。
3、eBackup Manager&Workflow调用Nova接口获取云服务器元数据。
4、eBackup Manager&Workflow下发创建快照命令和备份命令给Cinder。
5、Cinder下发创建快照命令给Cinder Driver。
6、Cinder Driver自动调度,在生产存储上面创建备份快照。
7、Cinder下发备份命令给eBackup Driver。
8、eBackup Driver下发备份给指定的eBackup Server&Proxy,eBackup Server&Proxy自动调度将生产数据备份到备份存储中。
本地备份实现原理
1、CSBS Karbor发起任务调度,通知eBackup Manager&Workflow执行VM整机备份;
2、eBackup Workflow调用Nova接口获取VM元数据;
3、eBackup Workflow调用Cinder对各个卷创建快照但不激活;
4、 eBackup Workflow调用Cinder一致性快照激活接口,在生产存储上创建一致性快照;
5、eBackup Workflow调用Cinder备份接口,通知eBackup Server&Proxy进行卷备份。
恢复实现原理
1、eBackup Workflow对虚拟机关机、卸载卷、锁定;
2、eBackup Workflow调用Cinder恢复接口,恢复各个卷数据;
3、eBackup Workflow对虚拟机解锁、挂载卷、开机。
云服务器容灾(待整理)
what
CSDR(Cloud Server Disaster Recovery),云服务器容灾服务为云服务器提供异地容灾保护。当生产中心发生灾难时,可在异地灾备中心恢复受保护的云服务器
应用场景
生产中心发生灾难
生产中心发生灾难(生产中心停电、火灾、区域性灾难等):容灾管理员可对受CSDR服务保护的生产云服务器进行故障恢复,在灾备中心快速启动云服务器,恢复业务
避免灾难
避免灾难(由于台风、洪水等导致可预测的潜在风险):容灾管理员可受CSDR服务保护的生产云服务器进行计划性迁移,在灾备中心快速启动容灾云服务器,保证业务数据零丢失;并在风险消除且原生产中心恢复正常后,容灾管理员对受保护的云服务器进行反向重保护,并在合适时间通过计划性迁移将业务切回到原生产中心
计划内停机
计划内停机(计划性停电、日常运维等):容灾管理员可对受CSDR服务保护的云服务器进行计划性迁移,在灾备中心快速启动云服务器,保证业务数据零丢失;并在原生产中心完成计划性活动后,容灾管理员对受保护云服务器进行反向重保护,并在合适时间通过计划性迁移将业务切回到原生产中心
实现原理
架构
组件详情
CSDR console
提供CSDR管理控制台
eReplication
作为CSDR服务器,接收CSDR管理控制台的请求
ManageOne运营面
为CSDR提供相应的配额、计量等运营管理
ManageOne运维面
为CSDR提供相应的告警、日志等运维管理
IAM
为CSDR提供身份识别和访问管理
云服务器容灾服务的业务流
VDC业务员在ManageOne运营面申请云服务器容灾服务实例。
BCManager eReplication收到创建容灾保护任务后,调用生产中心的Nova API查询生产端云服务器所挂载的卷的数量和容量,并获取对应的存储设备。
BCManager eReplication 调用Cinder API在对应的容灾端存储设备上创建从卷。
BCManager eReplication调用DRExtend创建主卷和从卷之间的远程复制Pair。将服务实例中所有的远程复制Pair加入到远程复制一致性组。
BCManager eReplication调用容灾端Nova API,将灾备中心云服务器的系统卷卸载。
云服务器容灾服务故障恢复的业务流
BCManager eReplication调用DRExtend执行一致性组故障切换。
BCManager eReplication调用Nova配置容灾云服务器,解除容灾云服务器的占位标签。
BCManager eReplication调用Cinder把容灾云服务器的卷,挂载给容灾云服务器。
BCManager eReplication调用Nova启动容灾云服务器。
eReplication重建保护组。