数据中心设计

为规范数据中心的设计，确保电子信息系统安全、稳定、可靠地运行，这里分享了一些大型云计算数据中心设计思想、原则和设计思路。

数据中心设计

• 机房设计
  • 机房装饰
    • 吊顶
      • 主机房和UPS电源室吊顶：
        • 吊顶内上墙、顶、梁部分须喷涂防尘防火灰色乳胶漆处理；吊顶采用塑钢，构成400×400mm的方格，整体漆成黑色。内安装照明灯具、监控设备。
        • 机房内安装：吊顶灯具配置600mm×1200mm的三管格栅灯、嵌入式安装；应急照明灯具采用条形，间隔一定距离安装，回路接入应急照明回路中；室内监控摄像机、烟感和温感探测器的位置。
      • 机房其他房间吊顶：
        • 采用600mm×600mm×0.8mm微孔铝合金板吊顶，此顶板材质轻，防火，无色差，平整度好，便于拆装。吊顶内楼板刷防尘漆做防尘处理，不起皮不龟裂。
    • 地面
      • 全钢无边抗静电地板
        • 主机房区域、ups配电室规格为600*600*35（燃烧性能等级A）
        • 静电地板下采取防尘、保温措施处理，维护结构宜采取防结露措施；空调机周围做混凝土挡水墙，并设地漏，防止因空调机漏水影响机房使用。
        • 精密空调、配电柜、设备机柜均需安放在承重支架上（严禁直接放置在架空地板上），支架与地板平等高,承重支架由,8＃国标镀锌角钢制作而成，且做防锈处理。
      • 主机房之间的走廊采用防滑地砖铺设
      • 监控室地面：采用800*800mm的防滑地砖铺设
      • 机房门窗
        • 钢质防火双开门（1600*2200mm）：用于机房主入口，规范要求，向外开启。并且设门禁系统，进、出口均须指纹识别模式和密码加卡方式识别模式，配套视频监控系统。
        • 防火玻璃地弹门：用于主机房室与走廊之间。
      • 踢脚线
  • 供配电系统（UPS系统）
    • 要求如下：
      • 频率：50HZ
      • 电压：380V/220V
      • 相数：三相五线制/单相三线制
      • 供电等级：按一类供电考虑，需建立不停电供电系统
      • 依据计算机的性能，允许供电电源变动的范围为A级，见下表
      • 供电电源质量分级
        • 项目 A级B级 C级 稳态电压偏移范围（%）±2±5 +7～-13 稳态频率偏移范围（HZ）±0.2±0.5 ±1 电压波形畸变率（%）3～55～8 8～10 允许断电持续时间（ms）0～44～200200～1500
    • 主电源系统
      • 业主方提供柴油发电作为整个机房的备用电源，分别备用到UPS主电源和空调动力电源。当市电供电出现故障时能自动切换到UPS电源和发电机电源。在市电停电时能够发送启动信号给UPS电源和发电机组，待发电机组运行平稳后能够将所有负荷自动切换到备用电源；市电恢复后能够自动切换回主电源、延时通知机组停机。
    • 数据中心UPS电源
      • 双总线冗余运行（可选择N+1冗余工作方式），后备电池采用12V铅酸免维护蓄电池，单台UPS满负载时配置电池后备时间大于等于XX分钟，并备有散热良好的电池架，每组电池配置电池开关。
  • 通风系统（新风和排风）
    • 设计指标：夏季、冬季温度和湿度，洁净度，温度变化率
    • 新风系统
      • 新风量的确定取以下列项指标中最大值：
        • a. 依标准，房间内每人每小时的新风需要量为40m3/h。
        • b. 为保证机房的正压需要，所需风量。
        • c. 精密空调总送风量的5%
    • 排烟系统
  • 精密空调系统
    • 精密空调选择制冷量计算方法
      • 公式：QT=Q1+Q2
    • 主机房根据以上公式计算：配置双系统精密空调（N+1预留备用）；
    • UPS电源室配置1台精密空调；
    • 空调系统采用地板下送风、上回风方式进行气流组织
  • 防雷接地系统
    • 原则
      • A、交流工作接地，接地电阻不应大于4Ω；
      • B、安全工作接地，接地电阻不应大于4Ω；
      • C、直流工作接地，接地电阻不应大于4Ω；
      • D、防雷接地，防雷电感应的接装置应和电气设备接地装置共用，其工频接地电阻不应大于1Ω；
    • 防雷屏蔽及布线
      • （1）所有金属导体、.电缆屏蔽层及金属线槽（架）等进入机房时，应做等电位接地；
      • （2）进入机房的信号线缆，采用非屏蔽电缆穿金属管道埋地引入，金属管应电气连通；埋地长度不应小于15m；
      • （3）进入机房光缆的所有金属接头、金属挡潮层、金属加强芯等，应在进入机房时就近接地。
    • c.等电位连接
      • （1）在机房内设置等电位接地网络。在机房抗静电地板下用30X3铜排沿四周布置组成闭合等电位接地网。
  • 综合布线系统
    • 机房弱电布线（六类线、光缆和其他控制线） 选用上走线开放式梯架，线路从机柜顶部进入设备机柜内。即由机房内的核心配线架通过网络连接直接跳接到各机柜六类配线架上，服务器就近通过跳线连接。、
    • 机房强电布线： 均采用上走线开放式桥架和弱电桥架重叠，采用双层上走线垂直间距20-40CM，线路从机柜顶部进入设备机柜内。
    • 其它区域综合布线： 根据实际情况采用地板下或梯架上敷设，线路全程均为金属桥架或金属管保护。
  • 门禁系统
    • 进出方式为进入刷卡+密码+指纹仪的方式，出门采用按钮或者密码输入方式，整个系统统一到一台管理计算机进行管理。
  • 机房视频监控
    • 全方位
    • 联动告警功能
    • 告警查询功能
  • 环境集中监控系统
  • 机柜系统
    • （1）机柜尺寸600*1000*2000MM（宽*深*高）；
    • （2）机柜材料：冷轧钢板，1.5MM及2.0MM；
    • （3）机柜颜色：黑色；
    • （4）机柜整体静态承重载荷：1000Kg；
    • （5）机柜前门：整体网状通风孔结构，单开门，配置安全锁；
    • （6）机柜后门：整体网状通风孔结构，双开门，配置安全锁；
    • （7）机柜侧板：可速装速卸，成排安装机柜中间并柜时不配侧板；
    • （8）每台机柜配备承重托板2块，托板钢材厚度不小于2mm；
    • （9）冷通道上未安装设备的位置配置盲板；
    • （10）每个机柜配置双路12口32A PDU，PDU连接采用工业连接器。
  • 消防系统
    •  机房采用七氟丙烷灭火系统，有管网设计，单独设置钢瓶间，房间内设置感温、感烟探测器，并将消防信号接入大楼总消防控制室。
    •  机房设置一套由消防报警器、温感和烟感组成的火灾自动报警系统。
    •  在机房吊顶下设置单独的感烟、感温探测器及报警控制系统，在各防区入口设置相应的手动报警按钮、声光报警装置等。
  • 其他系统
• 架构设计
  • 总体网络结构
    • 核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。
      • 核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC进行链路捆绑时使用三层端口链路捆绑技术。如图所示：
    • 分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。
      • 分布汇聚层虚拟交换机与下面的接入层采用二层端口的vPC跨机箱捆绑技术互连，如下图所示。
      • 内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化、负载均衡功能。
    • 接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、QoS分类将也是这一层的基本功能。
      • 如图
    • 地址路由设计
      • 核心层
        • 核心层与分布汇聚层之间采用路由端口，实现三层交换，建议使用OSPF路由协议。
      • 分布汇聚层和接入层
        • 当IEEE的改进生成树协议或者IETF的二层路由协议技术成熟，或者直接使用思科当前就可以提供的OTV技术，二层结构还可以扩展到城域和广域网中去，扩大服务器虚拟化的调度范围，向云计算的理想迈进。
      • VLAN/VSAN和地址规划
        • 接入层内的交换机将可以把主机服务器和存储设备一并接入统一交换，其中数据网络部分实现传统的VLAN设计，而存储网络则支持VSAN。
        • 在DCE的一体化交换架构下，数据网络部分的逻辑结构设计（地址和路由）与分层设计的传统网络完全兼容，因此用户现有的主机、服务器在割接到新数据中心时无需变更地址，实现平滑过度。
  • 应用服务控制与负载均衡设计
• 云计算中心设计
  • 网络资源池
    • 组网物理拓扑图
    • 网络虚拟化设计
      • 高性能二层网络
        • 性能更高、二层域更大的网络环境，本工程新增核心交换机和汇聚交换机通过交换机虚拟化技术（华三IRF2、思科VSS、华为CSS）分别虚拟成一台逻辑设备，减少了设备节点，简化了配置。
      • 网络服务虚拟化
        • 汇聚层部署有汇聚交换机、防火墙、IPS、负载均衡器等设备。通过网络服务虚拟化，统一建设一套性能强大、可扩展性良好的网络服务设备，满足为不同分区提供安全、应用加速等服务。
        • 汇聚层交换机也通过虚拟化技术多实例
        • 虚拟交换机技术
          • XEN
            • 通过将OPEN vSwitch（开放虚拟交换标准）作为其默认组件，自xenserver5.6 FPI就实现对虚拟交换机的支持，而且自verxenserver5.6 SP2开始也实现了分布式的虚拟交换机功能。
          • VMware
            • VMware分布式虚拟交换机功能满足网络分区条件下，虚拟主机在线迁移等功能时，保证业务网络的持续性。
            • 在多网络分区环境时，VMware通过虚拟交换机的VLAN TRUNK，当一个端口启用了TRUNK功能后，就具备端口聚合的功效，会自动检测流向此端口的所有流量，并把不同VLAN的流量导向物理交换机上相应的VLAN中。
      • IP地址及DNS规划
      • 网络端口资源估算
  • 计算资源池
    • 云计算资源池由机架式服务器、刀片服务器构成；刀片服务器通过服务器虚拟化部署一般业务系统和web应用系统。 机架式服务器用于部署管理平台和高负载数据库服务器等。
    • 计算资源池服务器选型和数量计算
    • 计算资源池部署
      • 应用服务器部署
        • 可通过高可用群集软件提供可用性保证。在windows系统可配置MSCS群集，在redhat Linux操作系统可配置VCS群集。通过部署高可用群集，在确保在物理服务器故障或应用故障时，进行快速的故障转移，减小并消除业务中断带来的负面影响。
        • 虚拟机热迁移用于满足计划内停机维护操作。当服务器需要停机执行维护操作时，可通过虚拟机热迁移功能，将某一物理服务器上的虚拟机动态迁移至另一物理服务器。动态迁移过程，业务不中断，不影响用户的正常访问。
      • 关键数据库部署
        • 建议至少使用2台物理服务器或2台虚拟机做HA。部署虚拟机上数据库管理系统可通过Application HA保证其高可用；部署于物理服务器的数据库管理系统可通过VCS、MSCS或数据库管理系统自带群集软件（RAC）实现其高可用。
    • 容灾方案说明
      • 根据设计原则分布实现云平台系统的容灾方案：
        • 1、第一步实现云平台存储级容灾系统，通过新购虚拟存储网关，整合现有异构SAN存储资源池，存储结构化数据，实现存储虚拟化功能，并可满足数据迁移、容灾等功能，实现容灾。该步骤实现又可分为两步走，即先建立同城同步容灾，再建立城际两地三中心的容灾。
        • 2、第二步实现云平台应用级容灾。在容灾中心配置相应的服务器池链接容灾存储。当灾难发生或进行灾难恢复演练时，停止容灾复制关系后，容灾中心服务器池的虚拟机可以访问容灾数据并接管生产。制定接管计划，包括人员支持，网络支持，恢复计划，演练计划等，建立完善的全人工干预接管机制。
        • 3、第三步结合云平台管理和业界自动化远程容灾软件实现高度自动化的容灾体系，争取实现数小时内的容灾接管能力。
  • 云计算管理平台
    • 包括云资源管理平台、云运营管理平台、网络管理平台。云资源管理平台包括IT基础架构中的物理资源和虚拟资源的管理，其中虚拟计算资源的管理集成厂商的云平台；云运营管理平台含业务管理模块和运营管理模块。
  • 云计算安全防护方案
    • 云计算平台安全架构
      • IaaS层云服务层安全，主要包 括物理与环境安全、主机安全、网络安全、虚拟化安全、接口安全、 数据安全、加密和密钥管理、身份识别和访问控制、安全事件管理、 业务连续性等。
      • IaaS层安全
        • 物理与环境安全
          • 机房环境安全
            • 主要措施包括物理位置的正确选择、 物理访问控制、防盗窃和防破坏、防雷、防火、防静电、防尘、防电 磁干扰等。
            • ◇通信线路安全
            • ◇骨干线路冗余防护
            • ◇核心设备防雷击措施
          • 主机安全
            • 漏洞管理
              • 漏洞管理是一个重要的威胁管理内容，云服务引入漏洞管理的主 要目的是帮助保护主机、网络设备，以及应用程序不受已知漏洞的攻击
              • 漏洞的扫描和漏洞的解决。
                • 漏洞的扫描：
                  • 对于设备现状的准确收集以及展现，是设备管理的重要方面，只有准确了解设备状况，才能了解到现存的漏洞（包括有可能的配置失 误、错误、应用性能瓶颈、应用功能缺失等），并根据运维釆集的性能趋势数据，了解到潜在的问题及漏洞。
                • 漏洞的解决：
                  • 通过安装补丁：通过更新系统中的宿主机、虚拟机、客户端计算 机的操作系统的系统服务包（Service Pack）、补丁等。
            • 病毒防护
              • 防病毒网关、防病毒软件，过滤蠕虫、病毒、恶意代码等，防止对网 络造成影响。并统一实现病毒定义库的实时升级，可以通过升级防病毒服务器，实现数据中心全网防病毒软件的升级。
            • 补丁管理
            • 数据库审计系统
              • 非授权访问数据库
              • 非法修改和删除数据库数据
              • 非授权调整数据库配置
              • 异常数据库权限管理
              • 数据库敏感数据访问跟踪
            • 运维安全审计系统
              • 应用安全审计提供以下功能：
                • 身份认证审核，结合本工程购买身份认证系统，实现基于真实用户身份的多因素身份认证；
                • 对数据、文件的删除和修改等行为监控；
                • 系统管理员、系统安全员、审计员和一般用户所实施的操作监控; 其他与系统安全有关的事件或专门定义的可审计事件；
                • 对于每一个事件，其审计记录包括：事件的日期和时间、用户、 事件类型、事件是否成功，及其他与审计相关的信息；
                • 日志信息可转存或备份到存储设备；
                • 对审计数据进行报表分析功能，包括分类排序、筛选、趋势分析;
                • 应用系统可基于特定异常事件进行审计分析；
                • 应用软件应支持将日志事件以某种通用格式输出，作为集中审计 的输入。
            • 网络安全
              • 安全域划分
              • 防火墙
              • 安全隔离网闸
                • 隔离网闸作为新一代网络安全产品，部署在可信网络和不可信网络之间，连接两个网络并控制网络间的信息交换。隔离网闸通过专用硬件在可信网络与不可信网络间实现物理隔断，可以防止各种基于网络层和操作系统层的攻击，并通过基于硬件设计的反射GAP系统，实现在线高速实时的数据传输。还具备强大的协议终止、协议检查、内容审查等功能，可确保可信网络不受攻击，并保护网络间资源、信息和数据交换的安全进行。
              • 入侵防御系统
              • VPN网关
                • 支持多种认证方式：支持用户名+口令、证书、USB+证书+口令等多因素身份认证方式；
              • VLAN隔离
            • 虚拟化安全
              • 利用模板增加虚拟机安全
              • 防止虚拟机抢占资源
              • 限制从虚拟机到物理主机的数据流
            • 存储安全
      • PaaS层安全
        • PaaS层的安全，主要包括接口安全、运行安全，当然也包括了数据安全、加密和密钥管理、身份认证和访问控制、安全事件管理、业务连续性等。
        • 运行安全
          • 配备运维安全审计系统，有效地防止内部发起的攻击；通过防火墙、IPS、漏洞管理、网页防篡改等安全技术手段保障由外部发起的攻击，实现对应用运行安全的全方位防护。
        • 接口安全
          • PKI应用服务器，结合政务网CA中心，实现对接口的强用户认证，接口数据加解密和有效接口的访问控制。
      • SaaS层安全
        • SaaS层安全技术实现措施，XX结合防火墙、IPS等网络安全防护，通过PKI应用服务器、动态身份认证服务器实现用户身份的强认证、访问控制以及数据的加解密．通过网页防篡改增强web应用服务器安全；通过不同层次的高可用解决方案实现业务连续性。 根据实际SaaS应用选择
      • 公共安全
        • 数据安全
          • 对于存在Oracle、MSSQL、MySQL等关系型数据库中的结构化数据，可通过数据库安全审计系统实现数据存取安全；对于半结构化数据和非结构化数据可通过数据加密实现数据安全。
          • PKI应用服务器，结合CA中心颁友的数字证书可以实现应用数据的加解密，保障接口数据的安全；物理磁盘的安全可通过加密硬盘实现数据的加密，防止硬盘丢失引起的信息泄露。考虑硬盘加密将带来新的单点故障，此外，硬盘的加密必然带来的一定的存储性能下降，本期暂未考虑使用加密硬盘，在后续扩容工程中，可根据业务系统需要按需扩容。对磁盘的物理安全，当前可通过加强机房管理实现物理设备的安全。
        • 目录服务器
        • 加密和密钥管理
        • 动态口令身份认证系统
        • 安全代理服务器
      • 安全管理制度
      • 云安全服务
        • 为了保证长期的安全，对平台要进行长期的安全服务，包括：
          • 1．完整的上线检测、完整的监控服务以及2个月一次的远程巡检和现场巡检服务；
          • 2．应急响应服务
          • 3．协助确立应急响应体系服务；
          • 4．协助安全事件分级管理服务；
          • 5．定期远程巡检；
          • 6．定期现场巡检；
          • 7．远程安全值守服务；
          • 8．安全加固服务。