导图社区 功能实现方案及关键业务流程
包括了数据共享:统计网络所有性能数据量、核心DPI数据量、家宽企宽软探针数据量的日均值以及当日累计值。
编辑于2022-05-13 17:25:55功能实现方案及关键业务流程
功能实现方案及关键业务流程
数据采集
数据共享平台一期建设中,数据采集模块已经具备多种协议接入能力以及批量数据采集和流式数据采集能力,并通过采集模块接入了多专业性能数据、告警数据、资源数据等数据,随着数据种类接入的增多以及数据复杂性提升,例如OMC数量持续增多,数据采集模块需加强多种文件过滤能力,且采集任务并发调度占用资源过多已经形成系统瓶颈,同时存在文件大小不一导致的流数据采集负荷不均衡问题;另外,对于数据源信息管理部分,需进行针对性的加强建设。
针对以上问题的需求,二期数据采集功能需要完成数据适配采集功能增强,增强数据源信息管理功能,并增加数据采集范围。功能要求在以下章节进行说明。
数据适配采集
批数据采集
在批量调度、周期性批量数据采集模块,优化文件采集适配过滤规则及数据采集并发调度机制。优化后,采集过程可灵活适配指标版本升级带来的文件位置、名称变化,并兼容由于采集数据量突增造成的采集程序异常。
数据采集协议适配管理:提供数据采集协议的管理,支持O域完整的采集协议管理,管理的采集协议包含FTP、SFTP、SDTP、HTTP、Socket、SNMP、Corba、MML、SSH等,增强采集协议适配能力。
优化采集适配模板:为了方便数据采集及运维管理,针对不同专业omc属性,提供不同的采集模板可以自动适配;
数据解析适配管理:提供自定义适配器的能力,并提供适配器的查询、增加、删除、修改等能力。
优化数据采集并发调度机制:兼容由于采集数据量突增造成的采集程序异常。
实时流数据采集
实时流数据采集模块,强化负载均衡能力,实现流数据采集模块资源的有效利用,有效避免资源浪费以及流数据处理过程中的负载不均衡问题。
优化实时流数据采集框架,采用flink实时处理引擎,替换周期性采集,实时对文件数据进行采集,加快采集效率,减少积压。采集引擎提供标准输入输出接口,自动根据接口协议、软件版本加载数据采集适配器jar。
为了方便运维管控,每个OMC配置一套采集任务,依照扫描、下载、处理、上传四个步骤,实现文件实时采集处理能力,其中采集任务包含扫描任务、处理任务、下载任务、上传任务四个独立任务,实现能力解耦,提高平台稳定性。流程如下:
数据源信息管理
数据源信息管理提供共享平台OMC信息集中管理、信息更新、信息发布的能力,以解决当前共享接入OMC信息管理零散、信息准确性不高的问题。实现了集中统一管理数据源信息。
数据源信息管理包括省端OMC数据源信息的同步管理、集团专业工作台/网管数据源信息的管理、数据信息的稽核和处理等功能。
OMC数据源管理
OMC数据源信息管理模块,建立总部与省端数据共享平台OMC工程状态同步机制,优化OMC数据源信息数据模型,支持实时同步各省上报的OMC数据源基础信息及数据源工程状态信息。
消息同步:通过Kafka消息队列或Restful API方式与各OMC数据采集方进行同步。省级数据共享平台作为数据生产者,总部作为数据消费者;
OMC数据源管理:集团数据共享平台提供对同步的数据源信息进行展示,并提供查询及监控能力。
网管系统信息管理
新增网管系统数据源信息管理模块,实现对接的网管系统等各类数据源系统信息的集中管理,支持网管系统数据源基本信息以及网管系统状态信息的管理。
网管系统信息初始化:提供集团网管/专业工作台数据源信息的批量初始化及前台录入能力;
网管系统信息管理:提供集团网管/专业工作台数据源信息的查询、新增、修改、删除等能力。
数据源信息订阅
支持数据源信息对外发布,支持对注册数据源信息进行订阅共享。
数据源信息发布:提供OMC数据源基本信息、工程信息的对外发布、提供集团网管/专业工作台数据源信息的发布。
数据源信息订阅:在数据共享平台的数据共享界面,提供数据源信息发布清单,租户可以在线进行数据源信息订阅。
数据共享平台实现对数据源信息的统一管理,数据消费方可以通过数据订阅的方式获取数据源信息。流程如下:
业务实现
总部数据共享平台采集的OMC包括省数据共享平台上报的OMC数据源以及总部直采的OMC数据源两部分,信息采集功能对这两部分OMC的基础信息、工程状态、责任人等进行统一管理,通过规范接口收集上报的各类数据源信息,进行数据稽核。
省网上报OMC数据源
省端OMC信息上报功能,支持通过Kafka消息队列或Restful API方式与各OMC数据采集方进行同步。总部与省端的消息交互的技术接口以及消息格式遵循《中国移动省级数据共享平台北向接口规范-OMC数据源信息管理接口分册》中的定义。总部作为北向数据采集方接收各省上报的数据源信息,优先建议采用消息队列接口方式。
针对上报的数据内容补充约定如下:
1、各省每日上报本省现存全量OMC数据源信息;
2、各省发布工程信息状态后,需在每日上报全量OMC数据源信息中进行修订:新增数据源从生效次日开始加入到全量OMC数据表中,失效数据源从失效日次日,从全量OMC数据表中取消上报;
3、省端上报的OMC数据源如果有采集失效的情况,由总部牵头进行核对,并发省内进行确认,省内在接到通知后24小时内进行确认,同时各省需每日进行巡检。如属于采集故障,当日解决,恢复正常采集状态;如确认数据源已失效,次日从全量OMC数据表中取消上报;
省通过接口上报OMC数据源信息包括以下4类:
OMC数据源基本信息
OMC数据源基本信息包括OMC设备信息(如名称、标识、专业、厂家信息等)、数据采集信息(服务器IP、接口协议、端口号、目录等)等OMC数据采集信息以及省公司/厂家联系人信息。
OMC数据源工程计划信息
包括工程工单号、工程时间计划、影响范围、OMC数据源信息变更计划等信息。
工程状态信息
与“OMC数据源工程计划信息”进行关联,当工程状态发生变化时,省级数据共享平台需要通过此消息与集团数据共享平台实时同步当前的工程状态。
数据源状态信息
与“OMC数据源基本信息”进行关联,当数据源状态发生变化时,省级数据共享平台需要通过此消息与集团数据共享平台实时同步当前的数据源状态。
同时,省实施OMC割接、升级等工程需在省端EOMS平台执行流程,通过接口将工单记录信息同步至集团EOMS平台,总部数据共享平台通过集团EOMS平台获取OMC数据源工程计划工单信息。
总部专业网管平台数据源
总部各专业网管平台数据源信息由各专业处室管理,数据源初始化需由人工按照数据要求录入,数据共享平台提供界面维护能力支持界面操作导入。
总部各专业网管平台数据源信息核对连通性、接口版本信息以及数据变化等进行核查,对核查有问题的数据源信息界面进行提示,可以在界面进行编辑修改。
OMC数据源信息稽核
省端通过接口将OMC数据信息上报后,总部数据共享平台对OMC数据源信息进行稽核,保障数据完整准确。从数据完备性、及时性、唯一性、有效性、准确性和一致性六个维度进行数据质量稽核。
数据完备性核查
【稽核目标】保证所有在网正常运行的OMC都已经上报,上报数据完整。
【稽核手段】自动对比上报数据与总部数据共享平台日常采集OMC,核查上报的OMC数据源信息是否缺失,是否存在在网运行但没有上报的OMC数据源信息。
【稽核结果】输出漏报OMC信息,纳入问题处理流程。
数据及时性核查
【稽核目标】保证每日上报OMC数据源信息。
【稽核手段】OMC全量基础信息需每日上报,如发现一天都未上报则为不及时。工程计划状态及数据源状态信息需实时上报,核查并记录延时情况。
【稽核结果】输出上报OMC延迟缺失的省专业信息,纳入问题处理流程。
数据有效性核查
【稽核目标】退网状态不一致。保证上报的OMC信息有效,失效OMC及时取消上报。
【稽核手段】自动对比上报数据与总部数据共享平台在采OMC,如果已经退网的OMC需取消上报。
【稽核结果】输出各省各专业上报的失效OMC记录,纳入问题处理流程。
数据准确性核查
【稽核目标】保证上报的OMC信息准确。
【稽核手段】核查上报OMC信息是否准确,核查规则包括:
上报的CM、PM、FM所配置的IP地址、端口是否有错误,自动化测试是否正常连通。
上报的OMC数据源信息是否存在用户名、密码错误,自动化测试是否有效。
上报的OMC数据源信息中文件路径是否有错误。自动测试查询文件路径是否正常。
上报的OMC责任人信息、联系方式是否有缺失。
【稽核结果】输出有信息错误的OMC记录,纳入问题处理流程进行信息更正处理。
数据一致性核查
【稽核目标】核查工程状态信息与EOMS工单信息保证OMC工程状态与现网状态情况一致。
【稽核手段】从各省的EOMS工单中获取工程计划工单信息,与上报的工程状态信息进行比较,核查是否存在不一致的情况。例如EOMS工单执行工程计划却未上报工程状态信息、已上报工程状态信息但缺少工单记录等。
【稽核结果】输出工程状态信息不一致的OMC记录,纳入问题处理流程。
数据唯一性核查
【稽核结果】通过OMC信息管理形成全网各专业OMC信息库,作为唯一数据源进行发布。
数据采集范围
OMC/网元性能数据直采
无线网OMC
实现无线OMC的(Ftp接口)原始数据采集,预估涉及OMC套数:1000套。
无线网OMC数据直采范围包括4G与5G网络的资源和性能数据,依据数据规范如下:
4G无线数据直采
按照4G无线规范进行数据接入。支持的4G数据规范包括:
eNB网元统计数据需求规范-NRM (TDD/FDD)
eNB网元统计数据需求规范-PM (TDD/FDD)
EUTRAN网络运行管理指标 (TDD/FDD)
5G无线数据直采
按照5G数据规范,进行数据接入解析。
5G NSA eNB网元统计数据需求规范-NRM;
5G NSA eNB网元统计数据需求规范-PM;
5G NSA EUTRAN网络运行管理指标;
5G NSA gNB网元统计数据需求规范-NRM;
5G NSA gNB网元统计数据需求规范-PM;
5G NSA NR无线网络运行管理指标规范;
5G SA gNB网元统计数据需求规范-NRM;
5G SA gNB网元统计数据需求规范-PM;
5G SA NR无线网络运行管理指标规范
数据采集解析过程
本期功能支持对无线OMC各版本的数据解析能力,解析过程主要包括:
1. 完成31省原始OMC文件获取。并支持解析各厂家、各OMC文件名,获取新增文件及版本。
2. 不同版本文件解析。按照各省上报文件版本进行文件解析,共享平台监测厂家上报文件。
本期项目实现不同类型与版本的无线OMC数据解析能力,但本期项目不完成全部31省数据解析和入库。
网络云OMC
参考《OMC系统通用技术规范》《中国移动网络功能虚拟化NFV OMC系统北向接口通用技术规范》实现网络云三期OMC性能采集,预估涉及OMC套数:30套,具体以各大区具备对接条件范围为准。
在网络云三期中,网元的性能和资源数据不再由NFVO上报,改为OMC上报。采集接口为FTP/SFTP方式,按对应指标规范版本升级解析模板和数据模型等。
对采集的性能和资源原始文件进行备份,数据建模及支撑上层应用等。
核心网省网OMC
实现IMS二期最新规范、边缘UPF相关核心网OMC采集,具体对接参考《OMC系统北向接口通用技术规范》、《04_IMS二期》、《边缘UPF规范》。
主要涉及规范版本的升级,对齐最新版本规范,升级解析模板和数据模型。
预估涉及OMC套数:258套,具体以实际网络建设情况为准。
网络云NFVO
按网络云三期规范进行性能和资源数据的采集,数据接入解析参考规范如下:
《中国移动NFV VIMPIM北向接口规范(运维部分)-V2.5.0(202102)》;
《中国移动NFV NFVO-现网OSS接口规范-v1.0.0-20210401》;
《中国移动网络功能虚拟化NFV OMC系统北向接口通用技术规范V2.3.0(202106)》;
在网络云三期中,NFVO不再负责网元的性能和资源数据。VIM/PIM资源采集接口:
全量物理/虚拟资源数据通知上报接口,VIM/PIM资源:/v2/TotalResourcesinfo/resourcesnotification
物理/虚拟资源变更上报接口,VIM/PIM资源:/v2/Resources/changesnotification
VIM/PIM性能采集接口:
全量物理/虚拟资源性能数据通知上报接口,VIM/PIM性能:/v2/pm/resourcesnotification
VNF资源采集接口:
所有VNF实例查询接口,VNF资源:/v1/vnfs
VNF资源占用变更通知接口,VNF资源:/v1/vnfs/lifecyclechangesnotification
对采集的性能和资源原始文件进行备份,数据建模及支撑上层应用等。
预估涉及O+个数:30个,具体数据及业务范围以各大区具备对接条件范围为准。
传输网国际/一干OMC
随传输网国际/一干OMC网元版本升级、新增设备类型情况实现采集,预估涉及OMC套数:10套,具体以实际网络建设情况为准。
传输省网OMC
随省端传输OMC集中化、网元版本升级及新增设备类型情况,完成采集对接。预估涉及OMC套数:1032套,具体以实际网络建设情况为准。
省Radius系统
实现接入31省RADIUS话单日志数据,以便更好支撑上层应用宽带业务分析使用,具体接入内容以实际调研确定结果为准。
网管系统数据采集
总部故障管理系统
遵循《中国移动故障管理系统-技术规范7.0》总部故障管理系统预计新增14省告警数据直采,数据共享平台需实现相应实时告警数据接入。
总部资源管理系统
实现总部资源管理系统V5.0版本接口数据接入,数据接入遵循《中国移动新资源管理系统省部数据接口规范V5.0》规范。
总部运维管理系统
实现网络代维工单数据接入,接入范围需涵盖如下内容:
序号 表名 1 基础数据-综合代维-WLAN-包年 2 基础数据-综合代维-传输线路-包年 3 基础数据-综合代维-覆盖延伸-包年 4 基础数据-综合代维-基站-包年 5 基础数据-综合代维-集客-包年 6 基础数据-综合代维-铁塔-包年 7 稽核单 8 综合代维按次工单-WLAN 9 综合代维按次工单-传输线路 10 综合代维按次工单-低端网优 11 综合代维按次工单-覆盖延伸系统 12 综合代维按次工单-基站 13 综合代维按次工单-集客 14 综合代维按次工单-家客 15 综合代维按次工单-铁塔
实现家宽与互联网装维工单数据接入,接入范围需涵盖如下内容:
序号 表名 1 家宽装维信息 2 互联网电视装维 3 宽带、魔百和装维工单
总部自动拨测系统
实现企业终端软探针数据、语音呼叫、视频类APP业务等拨测数据接入,具体接入范围以数据源系统具备接入条件内容为准。
31省级终端管理系统
实现31省省级终端管理系统智能网关、机顶盒、路由器、智能硬件终端性能数据接入。
IT大数据平台
实现IT大数据平台客服满意度类指标接入,接入数据格式和内容按照如下内容进行:
数据处理
一期建设已经具备批处理和流处理的能力,并已实现接入数据的批、流处理以及数据建模功能,目前一期流式数据处理主要通过流处理引擎实现;数据处理与建模目前主要是针对同一类数据源的基础模型构建,小时和天级别的数据汇总,在多专业、多数据源的融合建设还需要进一步加强,提升数据统一处理的能力。
基于一期建设现状,二期数据共享平台建设需要优化实时流处理组件、实现异构数据源跨域分析、优化轻度汇总能力。
优化实时流处理组件
增加实时流处理组件模块化与可视化开发能力,对数据共享平台接入的实时数据(性能、告警、工单等)进行流处理组件模块化,可以通过可视化编排方式进行流数据开发。
新增数据处理组件:增加实时流处理组件模块化与可视化开发能力,对采集流程的各项能力进行解耦,如扫描、处理、下载、上传等,并将能力进行组件模块化封装,可以通过可视化编排方式进行流数据开发。
增加多数据源跨域分析
数据共享平台二期建设,性能数据接入进行功能优化,完成多数据源(以资源和性能数据为主)、跨专业数据(资源类数据)的关联分析,在15分钟时间粒度内完成数据处理,并保证集群稳定运行,不对整体性能产生影响。
优化轻度汇总能力
优化轻度汇总能力,增加建设中网络云、传输、无线等专业在时间维度与空间维度的轻度汇总,时间维度支持小时、天、周、月维度,空间维度支持省份、全国等维度。
轻度汇总数据需支持的指标包括
轻度汇总 业务量-政企业务 时间维度、空间维度业务量-政企业务汇总 (9个指标) 业务量-新业务 时间维度、空间维度业务量-新业务汇总(1个指标) 设备量-无线 时间维度、空间维度设备量-无线汇总(18个指标) 设备量-家宽 时间维度、空间维度设备量-家宽汇总(5个指标) 设备量-基础网络 时间维度、空间维度设备量-基础网络汇总(6个指标) 设备量-核心网 时间维度、空间维度设备量-核心网汇总(5个指标) 设备量-网络云 时间维度、空间维度设备量-网络云汇总(4个指标) 设备量-移动云 时间维度、空间维度设备量-移动云汇总(3个指标) 用户量-家庭业务 时间维度、空间维度用户量-家庭业务汇总(3个指标) 用户量-政企业务 时间维度、空间维度用户量-政企业务汇总(1个指标)
数据共享
一期在数据共享建设已经实现:数据统一对外共享基本功能,实现文件交换、API访问、数据订阅、实时消息共享等共享方式;实现多租户入驻,租户可基于开放的数据及模型进行建模二次开发及应用开发。
二期建设需要数据同步服务、数据服务以及入驻开发方面进行功能建设与优化。
数据服务
优化数据目录
优化现有的数据目录,根据模型开发和设计的层级,从业务角度出发,优化数据目录的筛选,支持模糊匹配查询功能,方便用户从业务角度选择所需要的共享数据,提供基于数据目录的模型详情查看、模型订阅等能力。
数据目录可以查看模型详情,模型详情中可以展示模型元数据相关描述信息,界面示意如下:
数据地图
在数据目录功能基础上,建设数据地图,可实现整体数据概览功能,按照专业分类进行模型整体情况展示,并可根据数据地图情况进行相应数据模型检索、在线预览,可对检索的数据模型实现模型订阅。
数据地图界面示意如下:
优化数据服务共享订阅及监控
提供同步、异步、推送、订阅等服务模式,并且支持WebSocket、Kafka等技术协议模式;实现数据服务的全域的血缘管控,即支持实时数据服务的计入,支持全域数据服务的血缘;支持各类数据服务的管理与数据服务的统一调用,包括数据服务的管理。
服务组件:提供丰富的数据服务组件,包含接入验证、参数校验、SQL查询、HTTP代理、文件代理、文件上传、数据脱敏、返回转码等多种服务组件。
服务接入:提供同步请求、异步请求、消息推送、消息订阅等方式,服务请求方向服务提供方发送数据请求,获取服务返回结果。
服务负载:提升数据服务的稳定性,减少访问的压力。使用集群技术提高数据服务的访问性能,使用负载均衡以平衡每个集群节点的压力。
服务计量:支持服务按用户实际调用次数、成功次数等进行计量;支持按服务调用实际返回的数据行数进行计量;支持按服务调用返回的数据标签数进行计量。
服务日志:日志管理记录服务运行过程中的重要事件,主要包含如下内容:服务访问信息、服务注册信息、服务运行信息。图形化展示服务、用户、时间周期的调用情况。查询服务访问的明细数据。按月、按日、小时展示服务的调用变化趋势。
数据源信息共享与订阅
提供数据源信息的共享与订阅:数据共享平台实现对数据源信息的统一管理,数据消费方可以通过数据订阅的方式获取数据源信息。
入驻开发
入驻开发模块,新增虚拟机/容器资源分发功能并完善资源隔离策略。
通过虚拟机/容器资源分发功能,可以实现数据共享平台提供的虚拟机资源运营、资源管理、业务和流程管理以及账户管理能力。
针对入驻租户可以提供以下平台能力:
数据查询工具:提供统一页面操作入口,支持sql、nosql、kafka、es多种类型数据源查询操作执行引擎,与数据安全集成,支持数据安全管控。
资源授权:提供租户资源授权,包括rdb、ftp、hive、kafka、hbase、redis、容器等组件资源分配;提供计算CPU、存储等资源分配能力;提供租户数据模型和模型字段等数据资源分配能力。
租户监控:可监控展示租户组件资源、计算存储资源、数据资源使用情况。
开发环境支持:提供Python编辑器功能、Python可视化编排插件、Notebook功能。新增对Python的支持,包括Python编辑器及Python数据处理程序包的调度管理等。增加sparkSQL支持。增加数据交互式分析功能。
虚拟机资源管理
基础资源准备
根据实际规划需要,准备云平台相关的软件和硬件资源。
硬件资源准备
按照云资源池规模,CPU,内存,存储的需求规划相应的服务器,并按照如下图进行组网,服务器,交换机上电,并打通网络。
Public网络平面:第三方平台接入平面,承载外部系统调用云平台API接口流量。
业务平面:承载虚拟机的业务流量。
管理平面:承载VIM各组件间的API交互流量以及相关控制信息。
带外平面:主要用于PIM硬件管理,服务器电源管理。
软件资源准备
版本包:
序号 类型 版本包 1 操作系统包(centos7.8) CentOS-7-x86_64-DVD-2003.iso 2 云平台版本包 Cloud-installer.tar.gz 3 分布式存储Ceph版本包 Ceph.tar.gz
云平台集成与安装服务
云平台部署
控制节点最低配置要求:
CPU: 4 cores
内存:4G
Disk: 200G(系统盘,ceph需要另外加盘)
计算节点最低配置要求(云资源规划cpu,内存在此之外)
CPU: 4 cores
内存:4G
Disk: 100G(系统盘,ceph需要另外加盘)
云整体部署架构如下图所示:
平台采用三节点部署方式,即平台基础服务同时部署在三个控制节点,保证系统的稳定性和高可用性。如上图所示当某一个服务器发生故障时,另一个节点能够自动且立即向外提供服务。高可用集群是用于单个节点发生故障时,能够自动将服务切换到正常节点,保证服务在线。
利用pacemaker+corosync+haproxy构建高可用的私有云,满足容灾备份,负载均衡等要求。通过pacemaker+corosync管理多个控制节点的集群模式,当一个或者多个控制节点因异常情况下电,API相关服务立即切换到其它可用控制节点,保证服务的正常运行。通过haproxy分发业务请求到多个控制节点,满足高并发场景下的负载均衡要求,提高整体业务吞吐量。
Ceph存储部署
利用ceph分布式存储系统,可以很好的提高存储的性能、可靠性和可扩展性。此文中存储节点和计算节点合一,主要是为充分的利用资源,在资源充分的情况下建议存储节点和计算节点分开部署。
云资源管理
平台具备全面的云资源管理能力,管理对象包括:虚机、网络、规格、云盘等,基础的资源管理能力如下图所示:
图.云资源管理
以虚拟机管理为例,系统管理员可对计算资源做统一的管理,具备如下管理能力:
虚拟机创建:管理员可以通过管理页面创建应用程序需要的虚拟机;
云资源管理-虚拟机创建
图.虚机创建
删除、启停、休眠:管理员可以通过管理页面对虚机进行删除、启停、休眠等操作;
云资源管理-虚拟机删除、启停、休眠等操作
图.虚拟机操作(删除、启停、休眠)
云资源运营
进行通用资源利用率分析指标制定,展示各资源池利用率水平促进空闲资源自动回收,低负载降配,高负载扩容,实现资源合理利用,动态调配,从而提升资源池整体利用效率,达到降本增效的目的。针对业务资源运营,逐步完善资源分析指标,建立差异化分析指标。
通用资源利用率分析指标说明
整体评价指标设计思路是通过三层压力传导,最终达到整体利用率提升的效果。
资源池整体及单台主机分析指标:指资源池、宿主机、虚机指标分析;
分组分析指标:指管理员可根据自己的管理要求、业务特性自行制定算法及阈值,以目的为导向促进资源使用方合理利用资源,最终实现资源池整体利用率提升。
系统具备宿主机CPU、内存、存储使用情况统计能力,如下图展示了宿主机性能的实时数据和趋势图:
云资源运营-宿主机实时性能
图:宿主机性能实时数据
云资源运营-宿主机性能历史趋势
图:宿主机性能趋势图
系统具体多维度资源拓扑视图能力,包括资源关系和云内网络关系拓扑视图。
以拓扑图形式展现主机组、主机、虚拟机关系。能在拓扑图上通过点击查看各节点的信息。
云资源运营-资源关系拓扑视图
图.资源关系拓扑视图
以拓扑图形式展现网络、子网、虚拟机关系。能在拓扑图上通过点击查看各节点的信息。
云资源运营-云网络拓扑视图
图.云网络拓扑视图
系统支持自定义的业务类型、业务关系管理,支持从承载的业务类型维度,对资源进行管理,如下图所示,展现了业务的树形化层级关系和各类业务下资源列表信息。
云资源运营-业务维度资源信息
图. 业务维度资源信息
在资源统计分析过程中,业务使用资源情况,通常作为资源分析的一个重要方向,为资源管理人员合理的分配资源提供重要的数据支持;系统很好的从资源类型的维度,对业务下的资源使用情况进行了的统计和分析,下图展示了业务使用的各类型资源(CPU、内存、存储)情况。
云资源运营-业务资源使用情况信息
图.业务资源使用情况(CPU、内存、存储)
业务和资源流程管理
系统支持自助服务能力,通过自服务门户实现业务和资源的流程管理,提供资源目录查询、用户资源实例管理(申请、查询、变更、终止等)、用户资源监控管理、资源性能统计报表查询等功能;用户可通过自服务门户实现对用户资源的查询、监控管理以及资源性能统计报表查看等操作。
自服务门户是用户申请、修改、回收等各种业务的统一入口。该入口可以实现对资源池服务的统一申请、修改和回收。自服务门户为用户提供包括订单管理、变更单管理、服务请求流程管理等各类服务管理功能及可以对各类业务资源的操作能力。
用户资源申请/变更/回收:
支持用户按照资源模板或虚拟机规格提交资源申请和变更工单,支持用户提交已申请资源的回收工单;申请工单页面如下所示:
自服务门户-资源变更申请
管理员工单审批:
用户提交工单申请后,管理员用户可在我的待办中查看待审批工单,工单审批页面如下图所示:
自服务门户-工单审批
图. 管理员审批变更
订单管理:
自服务门户-未审批订单支持取消
图.未审批订单支持取消
通过系统自服务门户,可以实现资源申请、工单审批、资源开通/变更/回收及其他资源和业务的全流程管理,可以查看所申请的各种服务详情和服务审批情况,并可对申请的服务进行管理操作。
账户管理
角色管理
角色表示权限的集合,为用户赋予权限可获得进行资源操作的能力。可对角色进行新增、修改、删除、查询、启用、禁用等功能赋权。通过用户/用户组绑定角色,角色绑定权限实现对用户权限的控制。分为系统超级管理员角色和自定义角色,系统超级管理员角色为默认角色,具有系统的最大权限。图形用户界面对平台用户进行细到虚拟机级别的权限控制,灵活适配各种场景的权限配置需求。平台管理员以用户形式存在,绑定平台管理员角色即可赋予身份并赋予相应的权限。提供平台管理员角色、监控大屏角色系统角色、普通用户角色等。其中,绑定监控大屏角色的用户仅拥有监控大屏查看权限,登录即可跳转到监控大屏界面。
用户组管理
用户组管理实现对一组用户的管理,包括组名称、组关联角色。
1、支持用户组的创建;
2、支持用户组的修改;
3、支持用户组的删除;
4、支持用户组与角色的关联配置。
通过用户组管理,实现一组用户整体菜单权限的管理和配置。
用户管理
提供用户新增、修改、删除、查询、启用、禁用等功能。对用户进行分组管理,可对用户密码进行设计,支持密码到期提醒。
用户是平台管理中的最基本单位。平台管理员可创建用户,并基于用户建立相应的用户和用户组关联关系,进而控制用户菜单权限。支持添加用户、删除用户、修改用户名、修改密码、修改个人信息、加入用户组、从用户组移除。用户的个人信息包括姓名、手机号码、邮箱地址和编号等。
分权分域管理
用户权限管理
可以根据用户的职能划分,为不同的用户分配不同的访问权限或者不同的管理资源池中的资源对象,满足不同人员不同层次的管理需求。
可以针对用户,以功能菜单和被管资源(虚拟机、物理机等)的颗粒度,实现灵活的权限分配和管理。
用户可以在创建角色和修改角色时对角色所属权限进行设置或修改。
分权分域管理
可以根据用户的职能划分,为不同的用户分配不同的访问权限或者不同的管理资源池中的资源对象,满足不同人员不同层次的管理需求。
可以对资源池设备进行分区(分域)管理,比如按照CT资源域、IT资源域、公众服务域予以分域管理。
分权管理,指根据管理需要,可以把不同区域的资源分别分给不同管理员负责,不同管理员登录到云运维统一纳管平台后,只能看到属于自已那部分的资源(主要指计算资源和存储资源);根据用户的职责,限制用户可查看信息的范围;设置用户组,可将操作权限及地域查看权限赋给指定的用户。
系统提供完善的安全管理机制及功能,包括合理的用户安全级别定义、细致的权限分配。
容器资源管理(张杰)
容器资源管理作为面向底层IaaS的衔接层,向下屏蔽异构资源池类型,向上面向应用提供统一的应用编排、部署、发布、管控和弹性计算调度的能力。
功能架构
容器资源管理由控制台、软件资产中心、应用管理中心、运维管理中心和弹性计算中心五个部分组成:
控制台:为平台管理员、租户的开发和运维人员提供自助式服务门户。为系统管理员提供系统管理和平台运维管理功能;为租户提供配额管理和软件资产、应用管理以及运维管理的操作控制界面。
软件资产中心:为租户提供容器镜像、应用可执行文件软件包、描述资源和依赖关系的编排包、应用配置文件的上传、下载、发布、审批和权限管理等功能。
应用管理中心:用于编排包的解析、应用生命周期管理,有状态服务的运维和控制。
运维管理中心:采集主机、容器、组件的运行数据,经过转换汇聚和关联分析,生成服务、应用、租户和平台各个维度的监控指标、报表,供管理员和租户运维管理使用。
弹性计算中心:为应用和服务提供程序运行所需的容器、虚机等运行时环境。
技术架构
在技术架构上,容器资源管理功能通过管理平台管理软件资产服务、运维管理服务和多个容器集群。容器集群包括:Kubernetes集群、Mesos集群、X86集群。
容器资源管理由分散在多地数据中心的若干资源池和具备容灾能力的控制台组成。
控制台除了为系统管理员和租户提供自服务门户以外,还提供资源池的自动化部署和服务启动后的自动注册能力。
资源池可以下辖软件资产中心、编排调度中心、运维管理中心和存储服务中心,也可以与其他资源池共享使用。
资源供给是资源池服务的核心内容,主要由Kubernetes、Mesos等资源引擎提供。每个资源池可以集成一种资源引擎,可以为一个或多个租户提供资源服务。
核心能力
资源管理
资源管理模块在整个容器平台架构中占有非常重要的位置,是k8s等类型应用运行的基础,应用资源的限制,应用数据的持久化安全性等都和资源息息相关。平台中的资源主要分为计算资源和存储资源两类,资源管理中心模块提供对资源的创建、修改、删除、分配、释放等操作。
资源池管理
支持对资源池分组管理。
支持对资源池信息维护。
资源概览
管理员可以查看到系统中所有的租户申请的资源信息,租户管理员可以查看其下级所有的租户申请的资源信息,其中管理员可以查看到系统中整体资源和计算节点的资源信息。
资源管理
1. 管理员/租户管理员计算资源分配:管理员可以给一级租户分配资源,租户管理员可以给下一级租户分配资源,表单字段为租户,资源值(CPU,内存),信息填写完成后提交,资源分配成功。
2. 管理员/租户管理员存储资源分配:管理员可以给一级租户分配存储,租户管理员给下一级租户分配存储,表单字段为租户,选择存储和输入存储大小,信息填写完成后提交,存储分配成功。
3.租户申请计算资源
4.管理员审批计算资源
5.租户申请存储资源
6.管理员审批存储资源
7.租户释放计算资源
8.租户释放存储资源
9.资源申请记录查询
10.资源审批记录查询
存储管理
管理员对存储进行增删改查,存储支持文件系统(GlusterFS)等,支持存储资源绑定到资源池,以及解除绑定。
软件资产管理
软件资产中心是对仓库以及仓库中的镜像管理功能。提供仓库信息的基本维护,镜像构建,镜像上传和下载过程中,使用的软件包、dockerfile、服务器的维护功能。
镜像仓库管理
支持对镜像仓库的增删改查,支持镜像仓库连通性测试。
支持对软件包仓库的增删改查,支持软件包仓库连通性测试。
支持镜像仓库绑定资源池
支持分配/解绑租户镜像仓库
支持分配/解绑租户软件包仓库
Dockerfile文件管理
支持上传Dockerfile文件,以及在线对Dockerfile进行增删改查管理。
外部服务器管理
1.主机服务器管理:租户员对外部主机服务器进行管理,可以增加、删除、查看、编辑服务器信息,也可以测试服务器连通性。用户上传镜像、软件包,可以选择为文件来源服务器。用户下载镜像、软件包,可以选择为文件保存目标服务器。
2.FTP服务器管理:租户员对外部FTP服务器进行管理,可以增加、删除、查看、编辑服务器信息,也可以测试服务器连通性。用户上传镜像、软件包,可以选择为文件来源服务器。用户下载镜像、软件包,可以选择为文件保存目标服务器。
3.仓库服务器管理:租户员对镜像仓库服务器进行管理,可以增加、删除、查看、编辑服务器信息,也可以测试服务器连通性。用户上传镜像可以选择为文件来源服务器。
镜像管理
支持镜像增删改查,上传本地镜像,主机上传镜像,FTP上传镜像,仓库上传镜像,镜像在线构建,镜像构建记录查询,支持镜像下载到本地/指定主机/FTP。
软件包管理
支持软件包列表查询以及详情查询,上传贝蒂软件包,主机上传软件包,FTP上传软件包等。
支持下载软件包到本地,下载到指定主机,下载到FTP等
任务管理
租户查看任务列表信息,展示任务名称、任务类型、仓库、服务器、状态等信息,租户查询任务的详细信息,展示任务名称、任务类型、仓库、服务器、状态,文件列表等信息。支持任务删除。
应用管理
应用管理模块可以进行应用分组和应用基本信息维护,同时还包括应用的启动、停止、查看详情、应用复制、扩缩容、灰度升级、滚动升级、批量操作等功能。
应用分组管理
对应用分组进行管理,可以新增同级应用分组,新增下级应用分组,修改分组和删除分组信息。
应用配置
1.应用基本信息配置:配置应用的应用编码、应用名称、选择应用所在的资源池、初始副本数、描述基本信息。
2.应用自动扩缩容配置:配置应用自动扩缩容能扩到的最大副本数、能缩容到的最小副本数、配置应用的自动扩缩容基于的cpu、内存指标信息。
3.应用存储配置:配置该应用用到的存储,设置存储的别名,数据卷类型(如果数据卷类型是共享存储还需要选择是存储类型,设置存储名称、存储容量。如果是主机目录,需要输入主机文件路径)。
4.应用域名配置:应用域名配置是将域名解析记录到Pod的/etc/hosts文件中。
5.应用网路配置:输入容器端口、端口协议类型、描述、选择是否使用主机端口模式(如果不使用主机端口模式,需要选择是否开启负载均衡,如果使用负载均衡还需要选择负载均衡协议类型、配置域名、应用上下文,并且域名+应用上下文要租户内唯一)。
6.应用环境变量配置:需要配置环境变量变量名,设置变量值、描述。
7.应用配置文件配置:输入配置文件的全路径、配置文件内容、描述信息。
8.应用健康检查配置:选择健康检查的探针类型(检查应用是否就绪、检查应用是否健康)、选择检查方式(执行命令或脚本、发送Http Get请求、Socket连接)、配置启动最大超时时间、配置探测超时时间、配置探测时间间隔、配置服务端口。
9.应用亲和性配置:亲和性策略配置是配置应用与应用之前的亲和还是反亲和。同时支持按分区设置亲和性。
10.应用钩子配置:配置容器停止前的清理程序,配置动作类型(执行命令或脚本、发送Http Get请求),如果动作类型是执行命令或脚本需要配置执行命令,如果动作类型是发送Http Get请求,需要选择协议类型(HTTP、HTTPS )、请求端口、请求路径、头部参数。
11. 支持配置优雅停机宽限期。
滚动升级
当应用处于运行状态时,才能够执行滚动升级操作,为应用执行滚动升级操作。滚动升级对用户无感知。滚动升级是都所有副本升级,滚动升级镜像只能选择原来同一镜像的不同版本。
灰度发布
获取应用灰度升级信息 ,目标副本数,程序升级到的版本,为应用执行灰度升级。灰度发布目前支撑按流量百分比、头部信息切分、及cookie切分,其他条件的暂不支持。支持发布新版本、恢复旧版本、灰度运行过程中调整副本数。
应用弹性伸缩
支持设置容器粒度的弹性伸缩策略;基于CPU/内存等指标,进行阈值配置,借以调整容器实例数量。
应用操作日志记录与查询
可以对用户的操作进行记录,可以根据日志时间、用户名称、租户名称、操作名称对操作记录分页查询。操作类包括启动、停止、手动扩缩容、自动扩缩容、滚动升级、灰度升级、灰度发布、灰度回退。可以根据操作类型,操作时间段过滤查询。其中手动扩缩容、自动扩缩容,滚动升级,灰度升级、灰度发布、灰度回退可以查看操作详情。失败操作可以查看失败详情。
应用实例监控信息
租户在应用详情页面中的应用实例列表页面,需要能够查询应用下所有的实例信息,并且能够选择某个具体的应用实例,查看该实例的资源监控信息,包括cpu、内存和网络IO。
容器管理
1. 租户在应用详情页面中的应用实例列表页面,需要能够查询应用下所有的实例信息,并且能够选择某个具体的应用实例,点击重启按钮完成容器的重启操作。
2.可以在容器页面,直接进入容器终端(允许终端的容器镜像),进行在容器内的开发调试,可直接打开日志,在同一页面查看输出情况;
运维管理
运维管理为容器平台的管理提供了支持和保障,系统中所有的资源、应用、组件,用户等信息都可以清晰的查看。
运维管理按角色可以分为系统管理员和普通租户,其中管理员可以查看系统全局的数据,租户可以查看租户下的数据。
整个运维管理模块的监控体系主要由大屏,资源概览,资源池监控,主机监控,组件监控,租户监控,应用监控,实例监控,存储监控等业务模块组成。
系统资源概览监控
展示系统的资源概览信息,包括资源池/计算节点/租户/应用/实例/组件数量,资源池概览列表,以及cpu,内存,存储等资源的总量,实际使用,使用率,资源使用率top5,应用副本数top10等信息。
资源池监控
展示系统中资源池概览列表,每个资源池展示名称,类型,节点,应用数,实例数属性。
主机监控
展示资源池主机的资源使用信息列表,展示的主机属性包括cpu/内存/磁盘使用率,网络IO,主机状态。
组件监控
管理员角色负责集群中组件的监控,按资源池进行划分,统计每个资源池中所有组件的状态信息并支持条件筛选方式进行查看。
租户监控
管理员可以对系统中所有的租户信息进行监控,包括所有租户的资源总体使用情况,支持树形展示每个租户的资源分配及使用情况及支持条件筛选方式进行查看。
应用监控
管理员可以对系统中所有的应用信息进行监控,包括所有租户的应用CPU、内存、网络IO实时使用率和周期使用率;应用下实例的CPU、内存、网络IO实时使用率和网络IO使用率等。
存储监控
管理员可以对系统中所有的存储信息进行监控,包括所有存储,存储总量、存储数量、存储分配、存储使用情况;每个存储的存储总量、分配情况、使用情况及应用使用存储的情况等。
首页投屏监控
以首页投屏的方式,更加清晰,值观的展示资源概览中的内容。
管理员操作日志管理
系统中对资源、存储、应用等操作非常重要,操作日志记录了管理员及普通租户对资源的操作,可以方便对系统的维护及相关问题进行定位。支持操作日志的管理及支持条件筛选进行查看。
管理员查询组件日志
系统可以纳管多种类型的资源池资源,对于资源池中各种组件的状态需要进行实时监控以确保组件的正常运行。支持组件日志的收集及支持条件筛选进行查看。
管理节点监控
采集管理节点的指标,在界面上可查询所有管理节点的指标信息。
软负载节点监控
提供软负载的节点的指标监控信息。
Ingress-Nginx组件日志
管理员能够在组件日志页面查看Ingress-Nginx的日志信息,可按资源池分类查看。
Ingress-Nginx监控
管理员能够在Nginx监控页面查看Ingress-Nginx的监控信息,包含nginx的访问量、成功率、调用时长等信息。
应用资源实时监控
平台需要对应用使用的资源(cpu和内存)进行监控,并通过界面化方式展示应用资源使用相关信息。
应用资源周期使用率监控
平台需要对应用使用的资源(cpu和内存)进行监控,并通过界面化方式展示应用在一段时间内的资源使用趋势。
容器监控
平台需要对容器的资源使用情况进行监控,并通过界面化方式展示容器资源使用相关信息。
容器监控曲线图
平台需要对容器的资源使用情况进行监控,并通过界面化方式展示容器在一段时间内的资源使用趋势,可以选择时间段。
多租户管理
租户的创建:管理员可创建任何级别的租户和用户,并将租户与用户进行关联;一级租户只能由管理员创建,下级租户可由 上级级租户创建。一级租户下的用户权限由管理员直接进行分配,N级租户下的用户权限由其上级租户进行分配。
租户修改:租户管理员修改某个租户的信息,租户的租户编码不可修改,可修改租户名称信息。
租户查询:系统管理员以列表和树形式查询平台中的所有租户;系统管理员可精确查询租户及其子租户;租户只能查询其下的一级子租户。
租户树展示:系统管理员可展示整个租户树;租户仅展示其下的一级子租户;
租户的用户管理:给租户设置对应的用户,可以设置多个;解除租户与用户的绑定关系展示每个层级的租户关联的用户;展示系统中的各个层级的租户。
平台工具能力
针对入驻租户可以提供数据查询工具、资源授权、租户监控、开发环境支持等能力。
数据查询工具
提供统一页面操作入口,支持sql、nosql、kafka、es多种类型数据源查询操作执行引擎,与数据安全集成,支持数据安全管控,支持多tab、多条Sql语句并发执行,多结果展示。可以中断正在查询的任务。
支持同一团队查询历史保存,支持同一团队查询历史查询,支持同一团队查询历史单条删除,支持同一团队查询历史批量删除,查询历史覆盖当前查询框tab内容,新增tab查询框展示查询语句。
资源授权
提供租户资源授权,通过租户和团队两个维度进行授权管理,包括rdb、ftp、hive、kafka、hbase、redis、容器等组件资源分配;提供计算CPU、存储等资源分配能力;提供租户数据模型和模型字段等数据资源分配能力。
按团队区分展示资源授权详情,包括授权租户个数、授权团队、授权字段数、授权时间。
租户监控
可监控展示租户组件资源、计算存储资源、数据资源使用情况,包括磁盘监控柱状图,磁盘监控折线图,数据资源浏览记录,浏览热度。
开发环境支持
提供Python编辑器功能、Python可视化编排插件、Notebook功能。新增对Python的支持,包括Python编辑器及Python数据处理程序包的调度管理等。增加sparkSQL支持。增加数据交互式分析功能。
Python脚本编辑器:提供在线Python脚本编辑器,支持在线运行,debug、output实时输出反馈,并提供终端窗口,支持命令行提交交互,脚本保存在平台的元数据库中,并支持在线发布到调度主机进行执行,通过调度查看python的运行日志信息。
完整的Python脚本编辑器,在线调试,脚本保存元数据。
程序发布调度进行深度的打通,实现在线一键发布到主机运行环境,无需考虑运行环境,并且提供多种调度触发机制与其他数据处理任务快速集成。
运行日志在线查看,脚本执行日志与yarn打通,简化开发调试;
提供运行日志下载能力,方便线下历史日志分析。
PySpark组件:在可视化数据开发工具中,提供PySpark组件,面向高级数据开发分析人员支持pyspark脚本在线编辑,脚本文件一键上传,代码线上调试,执行参数自定义配置,脚本执行日志与yarn打通支持在线查看下载。
数据处理过程中,使用PySpark组件,可以与其他组件共享环境信息,比如变量,状态,数据源链接等

pyspark调试:pyspark调试环境,在线查看测试日志,实时跟踪测试进度;格式化运行环境参数、脚本参数,快速自定义运行参数信息;
日志在线查看:脚本发布上线,实时查看脚本运行状态;脚本执行日志与yarn打通,简化开发调试;提供运行日志下载能力,方便线下历史日志分析。
数据共享业务范围
家宽运维支撑系统
因家宽业务端到端业务质量分析需要,实现OLT告警数据、机顶盒软探针、互联网拨测数据、满意度数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 CDN和拨测数据 采集+共享 SFTP cdn业务汇总(日)cdn业务汇总(周)cdn业务汇总(月)互联网拨测业务汇总(日)互联网拨测业务汇总(月) 软探针一级平台(家宽拨测系统) 采集+共享 SFTP 网关明细天粒度数据机顶盒明细天粒度数据机顶盒统计类天粒度数据网关统计类天粒度数据 客户服务部投诉工单 采集+共享 SFTP 家宽报障明细数据(日)家宽报障汇总数据(月) 魔百和集中监控平台 采集+共享 SFTP 魔百和电视内容源断流汇总(日)魔百和电视内容源断流汇总(月) 总部综合资源管理系统 共享 SFTP OLT资源数据(月) 省级终端管理系统用户质量画像系统(31省) 采集+共享 SFTP 用户质量画像(日) 省级终端管理系统装维画像系统(31省) 采集+共享 SFTP 月粒度装维人员画像数据月粒度装维人员照片数据
政企运维支撑系统
以5G垂直行业视角政企业务运维支撑系统,重点建设“综合信息管理、一户一案、问题主动侦测预警及闭环管理、AI智能定界及溯源、集客全流程过程管控、重保支撑、终端管理、专题分析、业务感知、能力开放”为基础要素进行政企业务运维支撑门户搭建,并探索可随需配置的、灵活的视图元素组合和视图组合能力。
实现资源/告警/性能数据、业务开通工单数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部综合资源管理系统-5GC资源数据 共享 SFTP+RestfulAPI AMF、SMF&BSF、UPF、边缘UPF、PCF、PUDR、UDM&AUSF、UUDR、SMSF、NRF、NSSF、IWF、CHF、POOL 每周共享14个接口 总部业务编排系统数据需求-5G专网数据 采集+共享 SFTP+RestfulAPI 开通工单(小时)数据勘查工单(小时)数据 核心网OMC支撑性能数据需求- 5GC性能数据 共享 SFTP+RestfulAPI UDM、PCF、NRF、SMSF、UPF、AMF、SMF 每15分钟共享7个网元性能 数据 故障管理系统数据需求-5GC实时告警数据 共享 Kafka消息 网元类型(NeClass)为UDM(99427),UPF(99426),SMF(99422),SMSF(99437),PCF(99424),NRF(99425),NSSF(99423),IWF(99434),CHF(99438),AMF(99421),UDR(99428),VNFM(99409),OMC(99001),AUSF(99429),NFVO(99408)一级专业分类(Specialty)为虚拟化(20)注:活动告警和恢复告警是两条告警,需要自行关联
应急管理系统
因工信部国家通信网应急指挥调度系统功能需要,实现2/4/5G实时告警数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部故障管理系统-245G退服告警数据 共享 Kafka消息 基站、小区、RRU退服 ,通过245G退服告警标题过滤,实时接口
资源管理系统
数据共享平台通过Os-Ma-nfvo接口获取云资源池配置数据(VIM/PIM),通过OMC北向接口获取VNF网元(NFV和5GC)配置数据。具体要求详见《中国移动NFV VIMPIM北向接口规范(运维部分)-V2.5.0(202102)》、《中国移动NFV NFVO-现网OSS接口规范-v1.0.0-20210401》、《中国移动网络功能虚拟化NFV OMC系统北向接口通用技术规范V2.3.0(202106)》,实现网络云三期O+/OMC资源数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 大区网络云(OMC/NFVO) 共享 kafka通知消息SFTP下载Restful API OMC北向接口获取VNF网元(NFV和5GC)配置数据 (VIM/PIM)配置数据
数据业务范围,以网络云三期共享平台实际接入内容为准。
故障管理系统
随共享平台数据源资源接口变更,实现相关数据同步共享给故障管理系统,具体以数据源系统接口具体变更为准。
质量管理系统
实现核心网/无线性能数据、家宽软探针原始数据共享。其中核心网/无线性能数据以具体新增OMC数据为准;家宽软探针原始数据共享范围,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 家宽软探针-机顶盒 采集+共享 SFTP 资源原始数据(原始数据) 运行周期原始数据(原始数据) 收视原始数据(原始数据) 告警原始数据(原始数据) 操作原始数据(原始数据) 家宽软探针-网关数据 采集+共享 SFTP 网关信息原始数据(原始数据) 网关周期采集原始数据(原始数据) 网关网络探测原始数据(原始数据) 网关告警信息原始数据(原始数据)
网络费用管理系统
网络费用稽核根据资源基础数据进行进行费用稽核、根据动环用电量基础数据进行进行费用稽核、根据无线基础小区流量数据进行进行费用稽核,实现空间/无线等专业资源数据、站点用电量数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部综合资源管理系统-网络费用专业资源数据 共享 SFTP+RestfulAPI 31省综资-空间-位置点、站点、机房、地市、区县31省综资-无线-铁塔、天线、基站(BTS)、基站(E-NodeB)、基站(G-NodeB)共10个日粒度接口 无线网优大数据平台 采集+共享 SFTP+RestfulAPI 全量资源的流量信息(月)数据 总部综合资源管理系统-家客集客室分专业资源 共享 SFTP+RestfulAPI 综资-集客 客户、业务、数据专线、语音专线、互联网专线、APN业务专线、短信专线、彩信专线、MPLS_VPN专线、企业宽带、云专线、云视讯专线、千里眼专线、业务设备、业务终端综资-家客 家庭客户实例、宽带业务信息、IMS业务信息、互联网电视业务信息综资-室分 分布系统、直放站共21个周粒度接口 动环系统站点用电量数据 采集+共享 SFTP+RestfulAPI 动环站点用电量(日)数据
无线运维工作台
分析45G无线网运行维护情况,实现4/5G退服告警数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部故障管理系统数据 共享 SFTP+RestfulAPI 45G退服告警原始(日)数据 服清除告警(日) 4G RRU退服告警原始(日)数据退
核心网运维工作台
为监控分析监控核心网设备运行情况,实现核心网告警数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部故障管理系统数据 共享 RestfulAPI 当前5GC相关活动告警查询接口 当前5GC活动及恢复告警查询接口
传输运维工作台
为监控分析传输现网运行及新增设备运行情况,实现传输集客电路告警数据及同步接口、骨干网实时告警数据,具体需求内容以共享平台所对接数据源能满足情况为准。接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部故障管理系统数据 共享 RestfulAPI+Kafka 骨干网实时告警数据需求 传输集客电路告警数据需求 传输告警同步接口数据需求
网络安全态势感知平台
因网络安全态势感知平台做数据主体溯源,实现IP设备资源数据共享。接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部资源管理系统数据-公网地址段数据 共享 Kafka消息 IP地址数据(日)
大虎一号平台
为实现大虎一号派发工单后,工单处理结果的自动化采集和回填,实现告警自动化闭环,需要电子运维系统大虎一号故障工单数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 总部电子运维管理系统-大虎一号故障工单归档数据 共享 RestfulAPI+Kafka消息 大虎一号故障工单归档数据,实时接口
31省数据共享平台
数据共享平台参考《中国移动NFV VIMPIM北向接口规范(运维部分)-V2.5.0(202102)》、《中国移动NFV NFVO-现网OSS接口规范-v1.0.0-20210401》、《中国移动网络功能虚拟化NFV OMC系统北向接口通用技术规范V2.3.0(202106)》中的数据格式定义,实现网络云三期资源/性能原始数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 大区网络云(OMC/NFVO) 共享 kafka通知消息SFTP下载Restful API OMC北向接口获取VNF网元(NFV和5GC)配置数据 (VIM/PIM)配置数据 OMC北向接口获取VNF网元(NFV和5GC)性能数据 (VIM/PIM)性能数据
IT大数据平台&大音平台
政企事业部 政企一级监控平台面向客户提供业务维度的集客专线端到端监控和服务支撑,所以需要专线相关的数据,做整合来实现端到端的监控和服务支撑,实现跨国/跨省/互联网专线工单数据、政企专网CPE性能数据、移动/家宽上网/互联网电视质量数据、家宽/互联网电视装维数据共享。
其中跨国/跨省/互联网专线工单数据、政企专网CPE性能数据共享,接口实现方式如下:
数据来源 需求分类 共享方式 接口描述 数据共享平台-传输专业 共享 SFTP 客户侧激光器性能(15MI) 客户侧业务通道(DSR)性能(15MI) 总部业务编排系统数据需求-非5G专网数据 采集+共享 SFTP 业务编排系统跨省集客专线工单(小时) 业务编排系统跨国专线工单(小时) 业务编排系统MOLS VPN 1.0专线工单(小时)
根据IT中心大音平台建设的相关需求,需求采集移动/家宽上网/互联网电视质量数据、家宽/互联网电视装维数据共享,接口实现方式如下。
数据来源 需求分类 共享方式 接口描述 总部自动拨测系统 采集+共享 SFTP 本地关键网站引入覆盖率全国、省(月) 总部内容管理平台 采集+共享 SFTP TOP55热点网站引入率(月)数据 魔百和质量监测系统 采集+共享 SFTP 增加EPG请求成功率、EPG请求响应时长(月)指标
数据治理
数据共享平台一期建设,数据治理已具备以下基本功能:按照数据标准与规范,实现数据处理、接口标准化;提供数据质量保障机制,有效避免数据漏报、错报、数据不一致问题;提供数据运行质量监控功能,实现数据采集、分层建模及共享运行情况可视化。
二期数据治理功能建设,需要在数据全生命周期管理、数据质量稽核、数据问题闭环管理、数据模型管理、元数据管理、数据安全、数据质量监控7个方面进行功能建设与优化。
数据全生命周期管理
优化数据全生命周期管理功能,针对资源/性能/告警等网络数据、数据源信息数据、系统处理生成数据、数据模型等不同种类数据,进行数据分层级、分业务域等分类管理,对不同类别数据各进行存储生命周期配置。
数据存储架构分级分类管理界面示意如下:
不同类别数据各进行存储生命周期配置界面示意如下:
对数据采集、数据处理、数据共享任务进行配置与上下线管理。界面示意如下:
优化数据全生命周期血缘分析,提供对数据接入到数据共享的所有中间环节的数据血缘分析功能。
优化数据全生命周期影响分析,能提供数据接入到数据共享的所有中间环节的数据进行影响分析,能基于选定的数据模型进行数据溯源分析。
数据血缘分析及影响分析界面示意如下:
数据质量稽核
在一期建设基础上,优化数据质量稽核功能,围绕数据置信度(完整性、及时性、准确性、一致性等),提供基础稽核、关联稽核以及异常判断识别能力。
基础稽核:针对接入的资源/性能/告警等网络数据、数据源信息数据等的基础稽核能力。包括且不限于对各专业OMC直采数据实现FTP采集可达、文件及时性、数据完整性以及字段级别合规性的核查,并支持到采集周期、天、月等时间粒度的数据质量统计。
关联稽核:针对接入的资源/性能/告警等网络数据、数据源信息数据等的关联稽核能力。包括且不限于对于不同数据源的统一专业数据进行关联分析,通过回填情况判断分析数据问题。
异常判断识别:提供O域数据问题异常判断识别算法或规则,能基于聚类分析、波动分析等数据挖掘算法实现异常数据的识别分析。
优化数据质量稽核配置
在一期能力的基础上,优化数据质量稽核的批量配置、优化质量稽核模板配置、质量稽核调度优化等能力。
数据质量稽核批量配置:针对单个配置的稽核规则,可以实现稽核规则的批量选择进行统一配置;
优化质量稽核模板配置:现有数据质量稽核模板配置引用为全量稽核,本期优化质量稽核模板可以自定义选择稽核对象,可以单选也可以多选;通过同步兑现选择来实现,配置界面示意如下:
数据问题闭环管理
具备数据问题闭环管控流程,针对数据质量稽核中发现的问题,要求能在管理页面中形成闭环管控流程,具备数据问题通报或派单、数据源系统或省公司反馈问题原因及解决情况、问题解决后评估验证等流程管理功能,及问题处理情况统计展示功能。
异常问题统计及查询管理:针对数据质量稽核的异常问题,提供数据质量稽核问题的查询统计清单,并提供筛选及模糊查询的功能,同时针对数据异常状态提供线下状态同步或者线上手动变更的功能;
数据问题闭环管理:针对数据质量稽核的异常问题,通过线上发布跟踪,线下沟通解决,实现数据问题闭环管理。
针对一干OMC、省OMC、大区OMC相关数据问题,提供稽核问题查询以及工单派发功能,可与总部相关工单系统打通,派发工单至相关省份或相关OMC负责人,跟踪更新问题解决进展,并进行问题查询统计。
针对总部系统与其它网管系统数据稽核问题,提供问题派单或邮件通知功能,跟踪更新问题解决进展,并进行问题查询统计。
数据问题闭环管理流程如下:
问题发现环节:按照OMC采集信息核对、性能告警等关联核查等发现OMC数据异常。
问题派发环节:线上或线下都支持,线上派发到对应省端,线下生成邮件派发。
问题确认环节:省对下发的问题进行确认,确认是数据上报问题进行数据源整改,还是其他原因导致数据异常,如OMC故障等。
问题关闭环节:集团管理员进行问题关闭。如果需要问题反复确认可与省处理人进行交互。
数据模型管理
优化数据模型管理能力,实现多主题域模型统一管理,实现模型多维关联分析管理。
优化物理模型分层分域存储,制定分类标准,分层级、分专业对数据物理模型进行组织管理,为物理模型开发提供分层分域标准,方便用户数据查找。
优化逻辑模型分层分域存储,制定分类标准,按逻辑分层、业务领域对逻辑模型进行组织管理,方便用户数查找使用。
元数据管理
优化采集配置类、数据模型类元数据管理,对新接专业数据以及存量数据实现元数据标准制定、元数据按需导入、元数据自动生成等功能,实现数据接入到数据共享全生命周期元数据管理功能。
数据安全管理
一期建设中数据安全机制已经具备,并可根据业务需求对模型数据进行必要的动态脱敏,但数据脱敏加密流程及标准化机制仍不完善。二期建设需要增强敏感数据安全管理建设。
增强数据加密脱敏管理,优化数据脱敏与加解密处理,并支持对数据消费方的密钥管理。数据开发用户可在数据管理平台页面,实现对用户的自动加解密以及数据脱敏,数据开发者可按照要求,对不同用户类型,选择所需要的数据脱敏/加密规则。
数据加密与脱敏要求能够实现敏感数据定义、敏感数据识别与敏感数据评估功能。采用动态脱敏脱敏和静态脱敏相结合的方案来管控数据安全,对关键信息采用静态脱敏策略(使得文件系统上的数据得到保护),对于应用交互涉及数据泛化、掩码、临时加密等场景,使用安全jdbc的方式实现动态脱敏。
详细说明如下:
本期数据安全功能中具体增加以下功能:
安全插件增强:提供安全JDBC与脱敏SDK的插件。
敏感数据定义:根据相关安全管理规定,对敏感数据进行分级分类定义,对识别与加解密方式进行定义,包括识别规则、加解密方式、密钥等,对敏感数据进行分级目录展示。
敏感数据识别:通过定义的敏感数据识别规则,进行网络数据中敏感数据进行识别和告警。
敏感数据监控:对系统内敏感数据的使用状态进行评估,监控动态密钥的使用情况。
数据质量监控
整体情况监控
提供数据共享平台内所有数据的数据质量情况监控,质量监控范围包括共享平台接入的网管数据/数据源信息/数据模型/元数据,以数据源信息为例,需包括数据源的连通性、状态有效性等方面的信息监控。
数据采集监控:可以分省份、分专业、分时间、分周期不同维度查看数据采集监控;支持通过数据质量稽核规则(例如完整性、一致性等)进行数据采集监控的筛选查看;
数据源信息监控:以列表的形式展示数据源信息监控的结果,数据源信息监控可以分为两个tab,分别展示省端OMC数据源信息、网管系统数据源信息(集团网管/专业工作台),可以通过省分、稽核规则(完备性、及时性、连通性、有效性、一致性)、是否有质量问题等多种维度的进行筛选,并提供模糊匹配的查询功能;
数据模型监控:展示数据模型的整体质量情况,可以按调度周期进行筛选,展示整体统计,内容包括总体模型数、稽核模型数、稽核异常模型数等;展示稽核详细情况,包括稽核模型数、通过数、通过率等内容,并可以切换稽核对象、业务主题等, 界面示意如下:
元数据监控:提供对元数据质量的监控,包括元数据整体情况概览、按日或者月周期展示元数据稽核不合格柱状图及列表,界面示意如下:
问题呈现
数据质量监控提供数据质量问题呈现功能,能完整实现数据产生到数据消亡全生命周期的质量问题呈现。
通过质量监控可以查看详情,在详情中通过血缘分析展示数据全生命周期质量问题。
对象视角按对象粒度展示质量问题明细情况,并支持按照团队、数据源、稽核结果等进行条件过滤;规则视角按规则粒度展示质量问题明细情况,并支持按照团队、数据源、稽核结果等进行条件过滤并。问题总览展示数据质量的整体情况和历史趋势。
规则呈现
供数据质量稽核中涉及的数据质量规则呈现。提供数据质量稽核的多维度筛选能力和模糊查询能力。
结果统计分析
针对核查结果进行统计分析,进一步挖掘分析数据问题原因。
针对数据质量稽核问题通过列表的形式进行展示,可以通过专业、时间等维度进行查看,提供数据质量稽核名称的模糊查询、同时可以根据血缘分析,提供数据质量稽核问题的快速定位,确定数据质量问题原因。
数据应用
一期数据应用主要完成功能包括:实现4G、5G核心网全网各省性能分析基础报表能力,传输一干、传输省网等全网传输性能分析基础报表能力;完成性能告警生成和指标查询功能联调验证。
二期建设需要完成优化性能告警优化和自智网络展示应用。
性能告警
优化性能告警,按生产运营实际需求实现新增网元性能告警规则制定并生成性能告警。
支持灵活的性能告警规则配置, 快速支撑新增性能告警规则的上线;支持多维度的性能告警查询和导出,方便与外部系统数据一致性的核对。
性能告警规则支持告警规则设置、指标阈值设置、性能告警定义等。支持灵活的通用阈值和特殊时间阈值设置,以及有效性条件设置,静默日和静默时间段的设置等。
自智网络展示
通过汇集各支撑系统应用效果,实现2+5+N能力展示,实现网络规/建/维/优/营/资管的数智化支撑能力全景视图,对O域超大规模数据管理、网络可靠运行、高效业务支撑、端到端质量提升、精益运营管理、AI注智提升等信息进行综合展示,包括网络全专业数据类型、数据总量、数据共享及应用等方面能力的呈现分析。
自智网络大屏数据接入
接入各平台数据进行数据处理,支持自智网络大屏展现,接入数据包括:
1.编排系统,包括5G专线工单、政企专线工单、SPN专线工单、PON专线工单的新增工单信息、归档工单记录以及开通时长信息。
2.物联网系统,接入物联网专线工单的新增工单信息、归档工单记录以及开通时长信息。
3.云op系统,接入云互联专线工单的新增工单信息、归档工单记录以及开通时长信息。
4.无线大数据平台,接入无线大数据平台的性能、MR数据量指标以及无线参数自动调整指令条数。
5.日志上报网关,4GDPI数据量、2/3G Mc数据量、2/3G Gn数据量、物联网IOT数据量(3省)
6.IP工作台:IP设备参数指令条数以及IP网设备自动巡检指令条数
7.传输工作台:全部传输链路自动配置指令条数以及传输网设备自动巡检指令条数
8.网络云工作台:网络云配置参数指令条数以及网络云服务器自动巡检指令条数
9.局数据平台:局数据制作指令条数
10. 核心网运维工作台falcomm:核心网设备自动巡检指令条数
11.九天平台:上台能力数以及所有能力的调用次数
12.综资平台:核心网云化网元数量、无线网设备数量、传输网设备数量、IP设备数量、网络云服务器数量
13.数据共享平台:计算传输性能数量以及核心网性能数据量、家宽/企宽软探针数据量
自智网络大屏展现
1.全国智能化水平展示
自动开通:展示5G专线工单、云互联工单、物联网工单、政企专线、SPN专线和PON专线的开通情况。
实时统计当日累计新增工单数,并滚动显示新增工单列表,以及工单开通时长。点击开通时长可以分类显示已归档工单列表以及归档工单的处理记录。
2.数据共享:统计网络所有性能数据量、核心DPI数据量、家宽企宽软探针数据量的日均值以及当日累计值。
3.AI赋能:统计上台能力数以及能力累计调用次数。筛选TOP10展现,实时刷新调用次数。
4.自动配置:统计无线参数自动配置、局数据制作指令、网络云配置指令、IP设备参数指令条数的日均值和当前值。
5.自动巡检:统计核心网设备自动巡检指令、网络云服务器自动巡检指令、IP网设备自动巡检指令、传输网设备自动巡检指令条数的日均值和当前值。可以进一步钻取查询核心网设备自动巡检的巡检日志。
6.分省核心能力:从主屏可以钻取31省的核心能力。点击各省来联动显示每个省的11个核心业务场景、5个网络专业以及12类业务。
数据全景视图
基于一期的建设情况,本期完成丰富数据全景视图数据展示能力,完善数据采集(包括OMC采集状态/连通性/数据量情况展示), 完成数据处理情况、共享情况、租户使用情况、数据源系统信息、数据应用情况、数据存储与模型数量情况展示
通用能力共享
一期建设主要在数据能力方面,并未进行通用能力相关建设。按照规划,二期需要建设通用技术能力,需要完成服务API管控、通用GIS引擎、短信通知共享、数据AI推理能力建设。
服务API管控
API服务管控,对O域各系统API服务能力进行统一注册和访问管控,形成服务API目录,实现服务调用接口统一监控;同时,API服务可以对接公司智慧中台共享能力,对外形成能力输出。API网关需具备以下能力:通过API网关,实现对第三方应用的API开放或跨域API调用,应用服务提供方可以通过API网关注册服务和管理服务;在API请求接入接出的过程中提供身份验证、鉴权、传输数据加解密/模糊化等安全访问控制能力,保障API访问的高安全性;提供API请求调用监控、负载均衡、请求路由等可视化运维监控能力;网关服务支持集群化和容器化部署,基于云计算技术实现动态扩缩容和故障自愈。
服务统一服务注册 提供API基础信息、参数信息、权限信息注册、导入功能。数据共享平台功能支撑对网络域API服务能力进行统一注册能力,通过新增API服务注册,实现网络域各系统API服务能力进行统一注册功能。
API服务目录 数据共享平台提供API服务目录管理,形成服务API服务列表,可以根据查询条件查询API。
API服务管控 可以提供API上线、下线、暂停、恢复功能,并准实时通知网关。
API服务访问安全 API请求接入接出的过程中提供身份验证、鉴权、传输数据加解密/模糊化等安全访问控制能力,保障API访问的高安全性。需要具备订阅身份认证(识别和认证订阅者APPID、secret)、API访问鉴权(根据订阅关系校验接口访问权限)、数据签名(根据接口字段进行SHA-RSA签名)、支持SSL认证(如支持HTTPS协议)、数据脱敏(基于接口级动态过滤器进行数据脱敏)能力。
功能架构
服务API管控功能架构
API开放门户
合作伙伴视图:合作伙伴视图是提供给合作伙伴的统一服务入口,为服务提供者和能力消费者提供运营运维视图,支持用户管理、能力管理、应用管理等功能。
运营者视图:运营者视图是提供给能力开放平台运营者的统一入口,为其提供合作伙伴信息查询、固定流控与临时流控变更审批、能力调用与管理审批、业务日志查询、系统管理与API 管理等相关运营管理功能。
能力集成管控
网络流量控制:用于请求接入的前期流量管控,包括黑白名单过滤、SSL认证、防篡改/防攻击,熔断限流等流量控制,以及按策略将流量引流到对应的中心机房和机房内集群负载,同时对下游节点提供健康监测;
服务访问路由:提供路由解析、路由选择、微服务集群负载均衡、服务发现及灰度发布路由等能力;
API请求过滤器:支持可插拔动态的API请求及响应的过滤策略配置,同时支持过滤链的组装;
协议转换:提供API接入和接出的协议转换和参数映射能力支持;
流量调度:提供限流、熔断、按业务定义分流等能力支持;
API模拟测试:为订阅者提供API订阅时的模拟测试的配置和执行;
网关监控:依赖Log4X统一日志采集平台提供API调用日志的采集、分析,并提供告警能力。
技术架构
服务API管控技术架构
API网关对外提供HttpRestful格式的服务调用(预留其它协议的支持);
服务订阅者向API网关发送服务调用请求,经过流量网关和API网关两层过滤:
流量网关提供流量接入和请求解析,根据流量分发策略执行流量分发;
API网关提供服务请求报文解析、服务过滤策略执行;
服务接入经过过滤器处理后,向下对接服务治理平台进行服务发现和路由调用,包括对接CSF服务发现和SpringCloud框架下的Eureka服务发现,同时支持直接路由调用app应用中心的服务;
管理控制台提供流量策略和服务请求过滤策略配置,持久化存入数据库并推送至redis缓存,智能网关从缓存中获策略配置参数;
服务日志、监控及告警,依赖Log4X统一日志采集平台技术组件的对接。
核心能力
能力集成管控
开发者视图
用户管理
用户管理是指开发者针对自身在能力开放平台的用户信息的相关管理功能。
用户状态分为普通用户和开发者两种。
用户管理包括用户注册、个人信息查看与修改、合作信息变更、解除认证、合作关系申请、用户锁定、密码修改、找回密码、账号注销。
开发者注册
用户注册是指用户在服务网关平台录入开发者信息,完成开发者账号创建的过程。
支持邮箱/手机号码两种注册方式,系统发送激活链接到用户邮箱或激活验证码到用户手机。激活成功后,即可登录开发者视图。
邮箱方式注册
手机方式注册
开发者首页
开发者首页提供给开发者一些基本功能和信息查看,包括个人信息查看、开发者应用统计展示、应用下服务统计展示、上线应用展示、最新公告展示、站内信展示、新上线服务展示。
公告
开发者视图展示运营者发布的公告和公告时间。
公告列表
公告详情
站内信
站内信是指为开发者提供站内信推送功能,推送内容包括审核结果系统默认通知、运营者发布的指定接收人站内信。
应用管理
应用管理是指开发者在能力开放平台上进行应用相关管理功能,包括应用查询、应用创建、我的收藏。单击页面最下方联系我们,可查看客服人员联系方式(QQ、服务邮箱)。
应用查询
支持开发者按照应用名称、应用编码、创建时间、应用状态四个维度进行应用查询。开发者可以查看查询列表中应用的详情信息。
应用查询条件内容字段:应用编码、应用名称、应用状态、创建时间。
应用列表内容字段:应用名称、应用编码、应用状态、创建时间、操作。
应用列表内容数量:查询结果分页显示,每页默认展示十条数据。
应用列表只查询当前登录用户注册的应用。
应用创建、修改
应用创建申请是指开发者进行应用创建的过程,包括基础信息填写(应用名称、加密类型、签名算法、加密算法、授权回调地址、应用描述),创建申请提交后,等待运营者审批。上线状态的应用可以修改应用、下线应用。上线状态的应用可以授权服务。
提供开发者进行应用创建的功能。
应用基础信息提交保存成功后,应用状态为待审核status为0(待审核),审核表aop_approval_sheet表新增一条approval_type为1(应用创建审核 )状态status为0(待审核)的待审核记录。审批通过后应用状态为上线(status 为1)。审核不通过的应用状态为审核不通过(status为4)
上线的应用可以修改应用。
上线的应用可以下线应用操作,下线后的状态为订阅者下线(status为2)。
应用名称、加密类型、签名算法、加密算法、授权回调地址、应用描述保存到AOP_API_APP表
应用创建时:
支持三种加密类型对报文中的业务参数进行加密:整体加密、不加密。整体加密即对整个业务参数内容进行加密,不加密即不对业务参数进行加密。加密类型保存在AOP_API_APP(应用表)中ENC_TYPE字段,其中A表示整体加密,N表示不加密。
加密算法支持AES算法。
选择AES算法加密(对称加密)时,可自定义加密密钥,使用自定义的密钥进行加密。自定义密钥保存在AOP_APPINFO(应用表)中ENCRYPT_SECRET字段;若未自定义加密密钥,则使用自动生成的APP_KEY(应用密钥)作为密钥进行加密。
签名算法支持MD5、SHA256两种算法。MD5算法:第三方应用平台MD5加密待签名字符串。
SHA256算法:第三方应用平台使用SHA256算法加密待签名字符串。
待签名字符串的生成规则:(1)从原始报文中获取系统参数和业务参数,如系统参数和业务参数在原始报文中分开,则系统参数与业务参数之间用&content=连接。(2)将系统参数和业务参数按字母大小顺序排列 (3)将系统参数的value和业务参数的value按1)的顺序排列,即value1value2…(4)如果某个变量没有值,那么该变量的value对将不出现在待签名字符串中。
6.应用创建完需要同步到redis,之后的任何状态变更都把应用基本信息同步redis
应用创建
应用修改
应用详情
订阅者视图提供应用详情查看功能,查询应用的基本信息。
应用详情页面内容字段:应用名称、应用编码、应用状态、应用密钥、加密类型、加密算法、签名算法、授权回调地址、RSA公钥、应用描述、授权类型、CRM工号。
更加应用编码查询表AOP_API_APP
应用下线
订阅者可以对上线状态的应用下线操作。下线状态的应用可以上线应用。
1.上线的应用可以下线应用操作,下线后的状态为订阅者下线(status为2)。
2.订阅者下线状态的应用可以上线恢复操作,上线的状态status为1。
3.状态操作保存到AOP_API_APP表中
4.状态变更后会把应用基本信息表数据同步到redis
应用下线
应用申请授权服务
订阅者可以对上线状态的应用申请授权服务,申请多个服务。申请完的状态为待审核,运营者审核通过授权状态为绑定。订阅者可以对绑定状态的授权服务解绑操作,暂停操作,下线操作;可以对暂停的授权状态恢复绑定操作。可以对解绑状态的授权服务重新申请绑定。运营者审核不通过的话授权状态为审核不通过。订阅者可以对审核不通过的授权服务重新申请绑定。
处理流程
应用申请授权服务
应用申请服务列表
应用授权服务详情
订阅者可以查看授权服务的详情,查看服务的基本信息,服务的版本信息,服务版本参数信息
根据授权服务编码到服务表(AOP_API_OPEN)查询服务的基本信息。
根据授权服务编码到服务版本表(AOP_API_VERSION)查询出服务的所有版本信息
根据授权服务编码和版本号到参数表(AOP_AOP_API_PARAMETER)查询出服务对应版本的所有输入输出参数信息
服务管理
服务列表
开发者视图提供服务列表查询功能,展示服务列表以及服务详细信息。
服务列表内容字段:服务名称、服务编码、协议、请求方式、超时时间、创建时间。
服务详情内容字段:
服务基本信息:服务编码、服务名称、状态、请求方式、协议、所属标签、资源路径、描述。
服务版本信息:版本名称、版本、描述、请求参数(参数名称、类型、是否加密、是否必填、长度、默认值、规则、说明)、请求数据模板、响应参数(参数名称、类型、是否加密、是否必填、长度、默认值、规则、说明)、响应参数模板。
3.可以根据服务名称模糊查询服务列表,查询结果分页展示,10条一页。
服务列表
服务详情
运营者视图
运营者视图是提供给能力开放平台运营管理人员的统一入口,为其提供开发者管理、应用管理、能力管理、统计查询、系统安全管理、待办审核管理、公告管理、服务管理、流程管理、系统管理、日志管理、监控管理的管理功能,并提供一站式流程化的运维管控服务入口视图。
运营者首页
运营者视图首页展示待办审核统计(审核中、审核通过、审核不通过)、待办审核列表、服务数量统计、应用数量统计、订阅者数量统计。
应用管理
应用管理提供运营者可应用查询、维护等功能,包括应用查询、查看应用详情、修改授权模式、修改权限、下线。对授权的绑定服务暂停、恢复绑定功能。
应用查询
运营者视图提供应用查询功能。
1.应用查询条件内容字段:应用编码、应用名称、应用状态、创建时间。
2.应用列表内容字段:应用名称、应用编码、应用状态、创建时间、操作。
3.应用列表内容数量:查询结果分页显示,每页默认展示十条数据。
4.收缩展示应用授权的服务列表,分页展示,每5条展示一页
应用详情
运营者视图提供应用详情查看、查看应用基本信息。
1.应用详情页面内容字段:应用名称、应用编码、应用状态、应用密钥、加密类型、加密算法、签名算法、授权回调地址、RSA公钥、应用描述、授权类型、CRM工号。
授权模式修改
服务网关中的安全认证模块与4A、静态资源平台、统一权限平台进行对接,提供4A授权模式,为服务消费者(应用)生成凭证和会话,保证内外网的应用和客户端请求接入的安全。
服务网关中的服务三方认证模块与客户接入号登录模块、统一权限对接,提供两种授权类型:客户端模式和授权码模式,为使用三方应用的客户进行服务访问授权,保证客户信息在被许可的情况下被第三方获取。
服务网关运营者视图提供应用授权模式修改功能。
处理流程
授权模式修改
权限修改
服务网关运营者视图提供应用权限修改功能。应用可以绑定多个权限实体。服务版本参数也绑定权限实体,如果应用授权了某个服务,应用的权限实体包含这个服务的版本参数的权限实体,应用调用这个服务时,返回的报文看不到这个参数。
处理流程
应用下线
运营者视图提供运维者对应用进行下线操作。
业务流程
应用下线
应用对授权服务暂停、恢复
运维者可以对绑定状态的授权服务暂停操作,可以对暂停的授权状态恢复绑定操作。
处理流程
应用授权的服务详情
运维者可以查看授权服务的详情,查看服务的基本信息,服务的版本信息,服务版本参数信息
应用授权服务列表内容字段:服务名称、服务编码、授权状态、操作。
应用授权服务详情页面内容字段:服务基本信息:服务编码、服务名称、状态、请求方式、超时时间、协议、资源路径、描述。服务版本信息:版本名称、版本号、描述、请求参数、响应参数3.根据授权服务编码到服务表查询服务的基本信息。
根据授权服务编码到服务版本表查询出服务的所有版本信息
根据授权服务编码和版本号到参数表查询出服务对应版本的所有输入输出参数信息
服务管理
服务管理提供运营者可服务管理、页面管理、标签管理等功能。包括创建新服务、服务的上下线、创建服务版本、修改服务、查看服务详情、版本上下线、修改版本、查看版本详情、页面的上下线、页面的编辑与删除、新增标签、标签关联服务、修改删除标签、删除标签服务关联关系。
服务查询
运营者视图提供服务查询功能。
服务查询内容字段:服务名称、服务编码、服务状态、创建时间。
服务列表内容字段:服务编码、服务名称、协议、请求方式、创建时间、状态。
服务创建
运营者视图提供服务创建功能。
服务创建内容字段:服务名称(文本)、服务编码(自动生成,可编辑)、协议(单选)、请求方式(单选)、超时时间、资源路径(restful格式如/{id}/{name}/test)、描述。
资源路径是指外部应用发起服务调用请求,接入网关平台的真实资源路径。
服务创建
服务修改
运营者视图提供服务修改功能。
服务修改内容字段:服务名称(文本)、服务编码(灰显,不可编辑)、协议(单选)、请求方式(单选)、超时时间、资源路径(灰显,不可编辑)、描述。
服务详情
运营者视图提供服务详情功能。
服务详情内容字段:服务名称、服务编码、状态、请求方式、协议、超时时间、所属标签、资源路径、描述、创建时间。
服务版本管理
运营者视图提供服务版本管理功能,包括服务版本创建、上线、下线、修改、详情查看。
服务版本创建过程包括服务基本信息填写、参数配置、提交保存三个步骤。
服务版本创建内容字段:
信息填写:版本(文本)、版本名称(文本)、访问路径(文本)、访问方式(单选)、路由策略(单选)、超时时间、重试次数、版本描述。
参数配置-新增参数:参数名称、类型、出入参、长度、是否必填、参数规则、默认值、是否加密、参数说明。
软件版本号由三部分组成,第一部分主版本号,第二部分为子版本号,第三个部分为阶段版本号 xx.xx.xx 每位x的范围分别为1-99,0-99,0-99。
服务版本创建完成后,服务版本状态为待上线。运维人员可对待上线状态的服务版本进行上线、修改、详情查看操作。
信息填写
参数配置
新增参数
提交保存
服务下线
运营者视图提供服务下线功能。
服务标签管理
运营者视图提供服务标签管理功能。服务标签是开放服务的集合,在应用和服务授权关系创建时通过服务标签方式选择服务,更为便捷。
服务标签管理页面内容字段:服务标签、服务标签关联的服务列表、待选服务列表。
服务标签新增页面内容字段:标签名称、标签编码、描述。
提供服务标签新增、修改、删除、功能。
服务标签下的服务支持增加、删除操作。
审核管理
待办审核管理提供运营人员对应用创建、应用授权服务、公告创建相关申请的审核管理。
运营者视图提供待办审核管理功能,对待审核任务执行审核通过/不通过操作。审核类型包括:应用创建、应用授权服务、公告创建相关申请。
支持运营者查看待审核任务列表、查看审核任务详细信息、执行审核通过/不通过操作。
应用创建审核详细信息页面内容字段:应用名称、应用编码、状态、应用密钥、加密类型、加密算法、签名算法、授权回调地址、RSA公钥、应用描述。
应用授权服务审核详细信息页面内容字段:应用名称、应用编码、状态、应用密钥、加密类型、加密算法、签名算法、授权回调地址、RSA公钥、应用描述、申请授权服务。
公告创建审核详细信息页面内容字段:公告标题、公告状态、发布时间、失效时间、公告内容、公告备注。
审核通过页面内容字段:授权类型(授权码、客户端、4A模式)、CRM工号、实体权限(选择需要关联使用的权限实体)、审核意见。
审核不通过页面内容字段:审核意见。
待审核任务列表
应用创建审核详情
应用授权服务审核
公告创建审核
审核不通过
审核通过
路由管理
节点分组
运营者视图提供节点分组管理,将相关服务节点划分为一组集合。在设置路由规则时,需要关联节点分组使用。
支持运营者查看节点分组列表、查看节点分组详细信息、新增节点分组、修改节点分组、删除节点分组。
新增节点分组页面内容字段:节点分组名称、节点分组编码、协议、节点获取方式(静态/动态)、节点集合、客户端路径。
节点获取方式为静态时,需要设置节点集合,节点集合存储模式为:IP1:PORT1;IP2:PORT2或域名1;域名2;,且以分号;结尾。
客户端路径是指调用接出端接口前,对参数或者协议等进行自定义处理和包装的代码类。
节点分组详情页面内容字段:节点分组名称、节点分组编码、协议、节点获取方式、节点集合、客户端路径、状态、创建人、创建时间。
修改节点分组页面内容字段:节点分组名称、节点分组编码(灰显,不可编辑)、协议、节点获取方式、节点集合、客户端路径。
节点分组列表页面内容字段:节点分组名称、节点分组编码、协议、节点类型(即节点获取方式)、节点集合、客户端路径、创建时间、操作。
节点分组列表
节点分组创建
节点分组修改
路由规则设置
运营者视图提供路由规则设置功能。服务路由规则用于设置服务网关平台向后端服务提供者调用服务时的路由策略和路由节点选择。
支持运营者查看路由规则列表、查看路由规则详细信息、新增路由规则、修改路由规则、失效除路由规则。
新增路由规则页面内容字段:控制对象(选择服务及版本/选择服务标签)、节点分组编码、特征值,新增成功同步到redis。
特征值字段输入格式为:type|key1|equals|value1。其中type是特征值类型, '0'普通/ '1'正则表达式;'equals'是等号,'0'不等于/ '1'等于;' value1'是特征值。举例:“0|apiCode|0|5”,表示应用编码不等于5。
路由规则详情页面内容字段:标签编码、标签名称、服务编码、服务名称、版本、特征值、节点分组编码、状态。
修改路由规则页面内容字段:控制对象(不可编辑)、节点分组编码、特征值,修改成功同步到redis。
路由规则列表页面内容字段:规则、标签编码、服务编码、服务版本编码、节点分组、特征值、创建时间、操作。
路由规则列表
新建路由规则
路由规则详情
修改路由规则
黑白名单管理
运营者视图提供黑白名单管理功能,实现调用者的合法性、安全性校验,保障系统安全性。黑白名单控制范围包括三个维度:服务及版本/服务标签、IP、特征值。
支持运营者查看黑白名单列表、查看黑白名单详细信息、新增黑白名单、修改黑白名单、失效黑白名单。
新增黑白名单页面内容字段:
服务:控制对象(服务)、选择服务、选择版本、类型、IP、特征值。
标签:控制对象(标签)、选择服务标签、类型、IP、特征值。
特征值字段输入格式为:type|key1|equals|value1。其中type是特征值类型, '0'普通/ '1'正则表达式;'equals'是等号,'0'不等于/ '1'等于;' value1'是特征值。举例:“0|apiCode|0|5”,表示应用编码不等于5。
黑白名单详情页面内容字段:标签编码、标签名称、服务名称、服务编码、版本、类型、IP、特征值、状态。
黑白名单列表
新增黑白名单-服务维度
新增黑白名单-服务标签维度
规则详情
修改规则
过滤器管理
过滤器管理
服务网关通过提供动态和静态的策略配置支持防SQL注入、防XSS跨站攻击。网关配置基本规则,需由专业安全系统提供详细的过滤规则信息。
支持运营者查看过滤器列表、查看过滤器详细信息、新增过滤器、修改过滤器、关闭过滤器。
新增过滤器页面内容字段:类型(过滤器/数据插件)、编码、名称、内容、说明。
类型是过滤器时,编码必须是类全路径,形如:com.asiainfo.aifgw.controlchain.gw.filters.inbound.DebugFilter。
过滤器详情页面内容字段:类型、编码、名称、内容、说明、是否开启、创建时间。
修改过滤器页面内容字段:类型(灰显,不可编辑)、编码(灰显,不可编辑)、名称、内容、说明。
新增过滤器
过滤器详情
过滤器修改
过滤器关系管理
运营者视图提供过滤器关系管理,设置过滤器的生效范围,如全局生效或指定应用、服务及版本维度生效。
支持运营者查看过滤器关系列表、查看过滤器关系详细信息、新增过滤器关系、修改过滤器关系、失效过滤器关系。
新增过滤器关系页面内容字段:选择应用、选择服务及版本、数据插件、执行类型(before:服务调用前执行;after:服务调用后执行)、执行顺序(数字越小优先级越高)、说明。
过滤器关系列表页面内容字段:应用编码、服务编码、服务版本编码、插件编码、执行类型、执行顺序、关系状态、创建时间、操作。
过滤器关系详情页面内容字段:应用编码、应用名称、服务编码、服务名称、服务版本编码、执行类型、执行顺序、状态、备注。
修改过滤器关系页面内容字段:选择应用(不可更改)、选择服务及版本(不可更改)、数据插件、执行类型、执行顺序、说明。
过滤器关系列表
新增过滤器关系
过滤器关系详情
过滤器关系修改
系统管理
站内信管理
站内信包括系统默认发送至开发者(审核结果通知)、运营者主动向开发者发送站内信两种类型。运营者视图提供为指定开发者发送站内信的功能。
支持运营者查看站内信列表、查看站内信详细信息、新建站内信。
新建站内信页面内容字段:标题、接收人、内容。
站内信详情页面内容字段:标题、接收人、创建时间、内容。
站内信列表
新增站内信
站内信详情
公告管理
运营者视图提供公告管理功能。公告创建完成后,状态为待审核,等待相关人员审批。审批完成后公告状态为生效中。
支持运营者查看公告列表、查看公告详细信息、新增公告、失效公告。
新增公告页面内容字段:公告标题、定时发布、失效时间、内容、备注。
公告详情页面内容字段:公告标题、公告状态、审核意见、发布时间、失效时间、公告内容、公告备注。
公告列表页面内容字段:公告标题、公告状态、发布时间、失效时间、操作。
公告列表
新增公告
公告详情
API网关
安全审计
功能定义
安全审计主要通过对采集的日志进行审计分析,识别针对服务网关的非正常服务请求接入,做相应的安全管控操作。审计日志送kafka,由安全审计系统自行采集。
处理流程
服务网关通过日志平台收集日志发送给安全审计系统;
安全审计进行回溯、分析、决策,识别恶意调用;
向网关发起限流规则,对恶意特征的调用进行流控。
流量管控
功能定义
在大数据量高并发访问时,经常会出现服务或接口面对暴涨的请求而不可用的情况,甚至引发连锁反映导致整个系统崩溃。服务网关通过对应用、IP等维度进行限流设置,目前支持漏桶算法和令牌桶算法进行流速控制。
处理流程
运维管理者在控制台运维者视图配置流量控制规则。
流量控制规则提交成功后,信息同步到redis中。
Redis中的数据变更信息(规则信息)通过restful接口生效到服务网关。
开发者发送能力调用请求时,服务网关根据APP_ID、ABILITY_ID,IP、OPEN_ID、OPER_ID匹配生效状态的流量规则,实现多维度流量控制。
根据具体的业务场景使用不同的限流方式(漏桶/令牌桶)执行对应算法:漏桶强制性限制单位时间流量,不允许突发;令牌桶允许突发,取决于桶内令牌是否耗尽。桶容量越大,允许突发程度越高。
API熔断
功能定义
通过优化熔断策略,实现按时间片窗口熔断服务,暂时停止对该服务的调用,防止整个系统崩溃。
处理流程
运维管理者在控制台运维者视图配置熔断规则,包括熔断窗口时间,恢复时间,熔断阀值,接口编码,应用标识。
熔断规则提交成功后,信息同步到redis中。
Redis中的数据变更信息(熔断信息)通过restful接口生效到服务网关。
开发者发送能力调用请求时,服务网关采用单位时间片基数,窗口右移,一旦当前时间点窗口累积值超过阈值,则当前时间点为熔断点,立即执行熔断。到达恢复时间后,再恢复该服务接口。
黑白名单控制
功能定义
对服务服务调用限制特定的IP可以访问,或者特定的IP不能访问,实现对调用者的合法性和安全性的校验,保障系统的安全性。
处理流程
运维人员通过运维者视图,针对外部接入系统配置允许/禁止访问的IP地址(即黑白名单)。IP地址支持通配符。
缓存黑白名单配置,并通过restful接口分发到服务网关。
服务网关根据appId识别外部接入系统,并根据请求来源IP地址和黑白名单配置判定放行还是拦截。
防SQL注入、XSS攻击
功能定义
服务网关通过提供动态和静态的策略配置支持防SQL注入、防XSS跨站攻击。网关配置基本规则,需由专业安全系统提供详细的过滤规则信息。
处理流程
运维人员通过运维者视图,针对全局或者接口配置危险SQL(防SQL注入)或者危险脚本(防XSS跨站攻击)的关键词或者表达式。
缓存黑白名单配置,并分发到服务网关。
服务网关根据敏感关键词或表达式,拦截危险请求。
网关认证、鉴权
功能定义
开发者应用向服务网关平台发起服务调用时,服务网关平台通过令牌校验对当前应用的身份进行认证。
服务网关中的安全认证模块与4A、静态资源平台、统一权限平台进行对接,给服务消费者(应用)生成凭证和会话,保证内外网的应用和客户端请求接入的安全。
处理流程
请求接入方向网关认证平台发起登录认证请求,获取令牌;
根据令牌获取静态资源票据,并写入会话;
API调用传入会话信息,网关进行登录权限、静态资源权限、API调用权限认证。
网关服务第三方认证、鉴权
功能定义
在第三方应用的调用服务涉及访问用户隐私数据资源时,服务网关对应用用户是否授权进行校验认证,确保用户隐私信息的安全。
服务网关中的服务三方认证模块与客户接入号登录模块、统一权限对接,给三方应用的客户进行服务访问授权,保证客户信息在被许可的情况下被第三方获取。
处理流程
给应用建立系统工号,并且给系统工号赋服务权限;
第三方应用客户端展现网关认证平台的登录界面,提示用户登录赋权;登录成功使用授权码重定向第三方应用业务界面;
第三方应用后台使用授权码、应用等信息获取令牌;
第三方应用后台使用令牌访问服务;
SSL证书颁发
功能定义
服务网关SSL认证证书的获取由证书管理CA中心负责颁发。
处理流程
网关生成服务端私钥;
网关生成证书请求文件;
将证书请求文件发送给CA中心申请服务端SSL证书;
CA中心反馈服务端SSL证书;
网关导入服务端SSL证书;
网关配置服务端SSL认证;
数字签名防篡改
功能定义
应用/客户按约定对请求报文进行数字签名处理,服务网关收到调用请求后进行签名验证,防止业务数据被篡改,保证业务数据操作的真实性,实现交易过程的安全保护。
处理流程
应用/客户端按照约定的报文组合方式和签名算法,对请求报文进行签名。
应用发起接口调用请求时,数字签名结果作为系统参数sign,随请求一起传递。
服务网关根据签名判断请求是否被篡改(服务网关同时支持SSL实现传输加密,也可保证报文在传输过程中不被篡改)。
服务网关返回成功/失败接口响应。
传输加密控制
功能定义
传输加密控制指对第三方平台和能力开放平台之间的数据进行加密传输,防止业务数据被篡改,保证业务数据操作安全性和可靠性。
目前服务网关支持基于私有的加密方式或公有的SSL方式或两者组合,实现传输加密。
处理流程
第三方应用向服务网关发起调用建立连接请求;
服务网关接收到请求,返回加密签名的公钥给应用;
应用生成随机秘钥,并且使用公钥加密随机秘钥,发送给服务网关
服务网关使用私钥解密,获取随机秘钥
服务网关和客户端应用使用此随机密钥进行数据加解密传输数据
传输模糊化控制
功能定义
根据预先配置的模糊化规则,对接口返回消息的敏感信息进行数据变形,实现敏感隐私数据的可靠保护,防止数据的泄露和滥用。
处理流程
开发人员、运维人员通过运维者视图,使用动态脚本(groovy)选择需要模糊化的字段,并配置相应的模糊化规则。模糊化规则支持左侧偏移、右侧偏移和中间位数等方式。
缓存模糊化规则配置,并分发到服务网关。
服务网关拦截返回消息,根据规则对接口返回消息进行模糊化处理。
接口访问字段控制
功能定义
根据权限、配置的不同,提供服务接口数据的全部或者部分的返回,避免数据跨权限获取,实现接口数据的权限控制。
处理流程
外部接入应用的开发者在开发者视图中,针对接口选择其返回消息的字段,申请数据权限。
审批通过后,规则分发到服务网关。
服务网关拦截返回消息,根据appId识别外部接入应用,并根据配置筛选并重组返回消息。
API访问鉴权
功能定义
API访问鉴权是指服务网关在开放者APP调用服务时,通过令牌校验对当前应用的身份进行认证。
处理流程
用户在浏览器上点击“登陆”
开发者应用调用授权接口请求授权码
服务网关返回登陆窗口
用户在登录窗口中填写登陆用户和密码
登陆成功后,如果应用调用能力所访问的数据需要用户对应用进行授权,而应用尚未获取此用户的有效授权,能力开放平平台返回授权窗口,引导用户进行授权。
用户通过授权页面对应用进行授权。
能力开放平台确认授权模式,返回授权码。
授权码返回到应用回调地址。
应用使用授权码调用开放平台令牌接口,请求访问令牌。
应用获取访问令牌和刷新令牌。
可插拔动态API请求及响应过滤策(过滤链组)略配置
功能定义
根据动态配置滤器功,可以对请求进行全局过滤(数据过滤),以及数据响应过滤。
处理流程
外部请求到服务网关,会进行数字签名,API访问鉴权等一些验证工作,再调用原子服务之前,可以对业务全局过滤或者数据插件等操作
原子服务返回报文之前,还可以动态去返回报文做过滤处理。
策略引流
功能定义
通过设置特征值和机房集群建立对应关系,当请求报文带着特征值,请求可以引流到对应的机房内服务。
处理流程
1.外部请求到达流量网关,流量网关根据请求报文获取特征值,从特征值可以找到对应的机房的服务,如果特征值有对应的机房集群服务,则通过这次请求,映射到对应的服务器,如果特征值没有对应的机房集群服务,则拒绝这次请求.
2.流量网关监控机房的健康状态,通过心跳监测服务是否可用,如果检查可以用,把该服务的状态设置(U),如果检测不通,把该服务的状态设置E。
路由服务生命周期
功能定义
根据请求报文特征值,找到对应的节点组合,根据路由策略(轮询,权重等方式)访问微服务集群服务。
处理流程
1.外部请求到达服务网关,根据APP_CODE,API_CODE,版本号,特征值等数据查对应的微服务集群。
2.根据服务路由策略(轮询,权重等方式),来请求集群中的微服务。
服务参数映射
功能定义
在服务网关平台中,一个服务可以由多个子服务组装拼接,服务与服务参数之间需要有明确的映射关系;运营者注册的服务参数和各业务系统提供的服务参数(业务接口变动、已存在接口不能变动等原因)并不是完全一致,有些服务参数的值是枚举值,无需每次都在请求报文中携带这些参数,对服务参数进行裁剪、拼接可以提高服务接口复用性,减少业务接口开发量。
处理流程
1.在视图配置服务,或者服务与服务之间参数裁剪,拼接等进行参数映射,然后同步到redis
2.外部系统请求,调用服务网关,根据APP_CODE,APP_API等进行参数映射,到达服务与服务之间参数的无缝对接。
警告内容
功能定义
服务网关通过埋点对接log4x统一日志采集监控平台,如果外部请求服务发生错误,则通过消息接口推送到告警平台。
处理流程
核心业务流程
服务调用处理流程
服务上架流程
服务下架/变更流程
开发者账号创建、审批流程
应用创建、审批流程
服务订阅、审批流程
通用GIS引擎
通用GIS服务引擎,部署上研院自研的GIS平台,以地图服务API的方式支撑总部网管系统GIS需求。GIS平台需要包括核心地图服务子系统、POI搜索、地理编码系统和管理控制服务。
通过提供功能部署所需环境与技术支撑,完成地图REST API服务、二维地图展现、地图组件、业务图层服务、二维底图管理功能、权限管理、业务图层管理、统计及监控、POI搜索、地理编码功能的部署。
通过以上功能部署支持支撑总部故障管理系统使用地图服务,支撑资源管理系统使用传输外线、空间资源管理模块、传输外线资源管理模块服务。
短信通知共享
短信转发网关能力
短信转发网关,数据共享平台提供短信转发服务,以API接口形式提供短信通知消息转发服务,支撑网管系统短信发送需求。
短信转发网关提供对外消息投递时间设置、优先级设置、失败重投设置、多次重投抑制设置等信息投递功能;
短信转发网关需要同时具备IP黑白名单配置、手机号码白名单配置、限速策略配置、登录次数配置等投递管控能力。
短信转发网关具备存量历史消息和待发送消息功能,针对历史消息和待发送消息具备查询、删除功能。
短信转发网关具备用户访问令牌管理功能。
短信转发能力开放
短信发送能力入驻API管控,短信转发API统一注册到数据共享平台API服务管控,通过API服务管控实现短信转发网关能力对外统一输出。
数据AI推理
数据AI推理能力
数据共享平台集成提供数据AI推理能力 部署研究院自研的九天AI平台,提供AI训练和AI推理功能,提供算法管理、模型管理功能。
AI推理能力开放
AI推理能力入驻API管控,九天AI平台能力统一注册到数据共享平台API服务管控,通过API服务管控实现AI能力对外统一输出。各网管业务系统通过统一开放接口,实现AI推理服务调用。
数据共享平台建设可基于数据共享平台数据实现一项本地推理分析应用能力。