招标需求拆解与产品功能对应

这是一篇关于招标需求拆解与产品功能对应的思维导图，包含数据接入服务、 数据处理、数据治理、 数据仓库等。

数据集成服务系统指标

• 数据接入服务
  • 1.数据在线引接
    • 在线引接
    • 结构化、半结构化、非结构化
    • 数据库、文件、消息等多种数据源
    • 引接模式、抽取任务、引接频度、输出目标库类型进行策略配置
    • 在线采集（实时）
    • 周期性采集
    • 数据引接服务生命周期管理
    • 引接服务访问授权管理
    • 引接服务运行监控
    • 引接服务审计分析
    • 多个数据资源池同步交换
  • 2.数据离线导入
    • 离线数据文件的导入
    • csv、excel、json文件导入
  • 3。数据末端采集
    • 对接其他数据采集平台
  • 4。数据存储管理
    • 本地存储
    • 关系型数据库
    • nosql
    • 图数据库
    • 分布式文件系统
• 数据处理
  • 1.数据抽取
    • 数据库对接
    • 接口对接
    • 协议对接
    • 报表填报
    • 人工导入
    • 结构化、半结构、非结构化（视频、音频、文件）
    • 离线、实时采集
    • 适配关系型、文件系统、分布式数据库
    • 增量入库、全量入库
    • FTP、本地、HDFS采集图片、文档等非结构化数据
    • 两两数据库间的数据交换
    • 支持关系型、NOSQL、数据仓库、文件系统、对象存储消息队列、websocket、HTTP、api、ssh等30种以上的数据源类型
    • 批流一体、先进大数据引擎
  • 2.数据清洗
    • 数据过滤
    • 数据去重
    • 数据校验
    • 格式转换
    • 清洗任务流程
    • 任务监控管理
    • 数据清洗转换支持实时和离线处理
    • 可视化清洗转换流程编排、规则管理
    • 支持在组件中引用数据标准
  • 3.数据关联
    • 提供数据和其他业务数据、数据模型相关联，支持关联回填、关联提取、关联分析
  • 4.数据比对
    • 结构化比对
    • 关键词比对
    • 结构化和非结构化融合比对
    • 二进制比对
    • 文件特征比对
  • 5.数据分发
    • 支持任务调度、配置，包括分发任务注册
    • 根据分发任务注册信息获取数据、按照模版组装数据、并向指定下端模块发送组装后的数据报文
  • 6。协议适配
    • 支持各种数据的接入适配。支持网络和分布式文件系统、关系型数据库、非关系型数据库、文件共享服务器、数据访问接口、消息总线、安全边界接入等多种采集方式
    • 支持接入通过RFID、音视频监视器、物联网传感器、二维码采集器等感知技术采集的各类动态信息
    • 支持实时、离线和全量、增量等多种数据接入模式。
• 数据治理
  • 1.元数据管理
    • 支持数据源分类管理、数据源配置信息管理
    • 数据源的元数据信息采集、更新与维护
    • 元数据描述信息的匹配与管理
    • 支持元数据检索与预览，支持搜索元数据信息与搜索结果展示，搜索项支持到数据项颗粒度，支持可视化展现接入数据量、数据变化情况和数据共享情况等数据信息；
    • 支持元数据采集和维护。能够依托元数据管理模块，遵循元数据准入标准，从多种数据源采集和存储元数据；数据治理全过程追踪元数据信息，做好更新和维护，做到能够可视化数据
  • 2.数据资源目录
    • 构建数据资源目录，以主题库和专题库的数据资源为管理对象，支持注册、更新、启用、停用、注销、查询等业务功能；通过分类分级管理，构建统一、标准、规范的数据资产目录；
  • 3.数据标准管理
    • 支持元模型管理，提供库、表、视图、服务、文件、资源目录等元数据描述信息定义，元模型定义的属性类型可以关联数据字典、数据元；
    • 支持数据元管理；按业务领域、业务主题、信息分类维护标准数据元素
    • 支持数据标准导入
    • 支持值域与数据字典的关联
    • 支持数据元标准与数据字段的对标
    • 提供数据字典的统一管理、数据字典变更情况记录、浏览、数据字典的导入、导出
    • 根据标准体系定义数据质量规则库，构建数据质量评价指标体系
    • 支撑标准规范管理，国家标准/行业标准等标准规范的管理
    • 支持标准文件管理功能，支持按业务、属性对标准文件进行分类管理，文件格式包括WPS、docx、pdf、excel、多媒体文件格式、同时支持文件上传下载
  • 4.数据建模与组织
    • 支持概念模型管理，提供概念模型的设计，提供E-R图的形式设计概念模型
    • 支持逻辑模型管理，支持参照和引用数据标准设计逻辑模型，包括标准数据元引用、字典引用；
    • 支持物理模型管理，提供根据逻辑模型一键生成物理模型的功能
    • 支持逻辑模型和物理模型的相互转换
    • 支持将数据模型部署到各类关系型数据库
    • 支持可视化建模，为用户屏蔽SQL语句的编写，提供可视化在线设计与开发逻辑模型、物理模型，支持数据资源池层级与主题域管理
  • 5.数据质量管理
    • 支持质量规则管理，提供质量规则编辑、更新、删除、管理功能
    • 支持数据质量检查，支持质量规则配置、提供字段检查和数据表检查规则配置
    • 支持规范性、完整性、准确性、一致性等检查规则
    • 支持通过编写脚本自定义检查规则
    • 支持批量数据质量检查规则任务导入、导出
    • 支持质量监控，支持基于质量元数据的数据质量信息进行监控，以数据可视化对数据质量变化情况进行展示，并能对审核任务进行监控、管理
    • 支持质量分析评估，对数据质量问题进行质量分析评估；支持按一定规则进行异常值监测，支持对评估结果生成质量评价报告；
    • 支持数据质量报告以表格或图形的形式进行可视化展现，并针对数据质量检查的结论，记录数据质量检查结果，分析问题数据产生原因，确定数据质量责任人，
    • 周期性的生成质量报告，同时可对数据质量报告进行管理；
• 数据仓库
  • 1.数据资产视图
    • 支持资产注册、分类管理和可视化展示，支持可视化图表的方式呈现数据资产使用情况和占用空间情况等统计信息；
    • 支持可视化呈现数据量、数据标准、数据质量评估结果、对外提供的数据服务个数、访问次数等信息
  • 2.数据标签管理
    • 支持利用数据标签标识数据资源体系中的数据表和字段
    • 支持手动、自动对数据打标签
    • 支持标签搜索、申请和使用数据
  • 3.数据世系分析
    • 支持可视化呈现世系数据之间的关系
    • 支持展示数据在处理过程中的整个历史，包括数据的起源及数据处理的后继过程
  • 4.数据资产检索
    • 支持数据资产检索和查询门户
    • 支持对数据资产的精确检索、模糊搜索、分类检索、标签检索、多维组合搜索等功能
• 数据分析
  • 支持提供数据分析算法库
  • 支持将算法集成、封装成算法模型包的能力
• 数据共享交换
  • 1.数据资源目录编制
    • 支持数据资源目录的导入和导出
    • 支持对领域、对象、主题数据手动及按照标准模版自动编目的功能
    • 对领域数据、对象数据、zuozhan数据、主题数据的资源分类增、改、删、查等功能
    • 支持数据资源的编目、上报、审核、发布
    • 支持批量编目
    • 支持数据资源生成唯一的资源编码
    • 支持数据资源数量的分类统计
    • 支持数据资源目录的全量、增量导出
  • 2。数据资源服务
    • 支持数据产品的统一注册、更新、注销、停用、启用
    • 支持资源编目注册、支持批量模版导入注册等功能；
    • 支持数据资源注册及审批
    • 支持用户更新数据资源目录、支持对更新操作进行审批
    • 支持资源注销，支持对注销操作进行审批
    • 支持用户对数据资源进行重新启用，支持对启用操作进行审批
    • 支持资源停用，支持对停用操作进行审批
    • 对数据资源进行上报汇总，支持手动汇总和定时任务汇总
    • 支持资源分发功能，可将数据资源按需全部或部分下发，支持手动或定时任务分发
  • 3。数据目录门户
    • 支持对数据资源目录和服务目录的检索
    • 支持数据资产可视化，图表展示的能力
    • 支持数据资源的申请、授权和使用，支持数据库表、文件、API、订阅等多种使用方式
  • 4。数据服务开发
    • 支持数据资源服务化，支持服务注册、共享
    • 支持流量控制
    • 支持用户鉴权
    • 支持IP黑白名单
    • 支持数据缓存等功能
    • 支持服务权限控制，支持按角色或机构授权
    • 支持服务监控功能，支持服务调用统计
  • 5。跨级数据共享交换
    • 支持数据资源在各级数据资源池间共享和交换
    • 支持数据库表方式进行共享交换
    • 支持文件方式进行共享交换
    • 支持通过API数据服务共享
    • 支持全量数据的交换
    • 支持按照资源更新频率进行增量数据交换