导图社区 系统集成项目管理工程师第3版 软考中项 第2章 信息技术发展
系统集成项目管理工程师第3版/软考中项/第2章 信息技术发展,信息技术是在信息科学的基本原理和方法下,获取信息、处理信息、传输信息和使用信息的应用技术总称。
编辑于2024-03-14 10:17:07系统集成项目管理工程师第3版/第18章 职业道德规范,道德是由一定的社会经济关系所决定的特殊意识形态。社会存在决定社会意识,而社会经济关系是最根本的社会存在。
系统集成项目管理工程师第3版/第17章 法律法规与标准规范,法是由国家制定、认可并保证实施,以权利义务为主要内容,由国家强制力保证实施的社会行为规范及其相应的规范性文件的总称。
系统集成项目管理工程师第3版/第16章 监理基础知识,信息系统监理通常直接面对业主单位和承建单位,在双方之间形成一种系统的工作关系,在保障工程质量、进度、投资控制和合同管理、信息管理,协调双方关系中处于重要的、不可替代的地位。
社区模板帮助中心,点此进入>>
系统集成项目管理工程师第3版/第18章 职业道德规范,道德是由一定的社会经济关系所决定的特殊意识形态。社会存在决定社会意识,而社会经济关系是最根本的社会存在。
系统集成项目管理工程师第3版/第17章 法律法规与标准规范,法是由国家制定、认可并保证实施,以权利义务为主要内容,由国家强制力保证实施的社会行为规范及其相应的规范性文件的总称。
系统集成项目管理工程师第3版/第16章 监理基础知识,信息系统监理通常直接面对业主单位和承建单位,在双方之间形成一种系统的工作关系,在保障工程质量、进度、投资控制和合同管理、信息管理,协调双方关系中处于重要的、不可替代的地位。
信息技术发展
一、 概要
信息技术是在信息科学的基本原理和方法下,获取信息、处理信息、传输信息和使用信息的应用技术总称。
信息技术是实现信息化的手段,是信息系统建设的基础。
新一代信息技术已成为世界各国投资和重点发展的战略性产业。
二、 信息技术及其发展
i. 概要
信息技术是以微电子学为基础的计算机技术和电信技术的结合而形成的,对声音的、图像的、文字的、数字的和各种传感信号的信息进行获取、加工、处理、存储、传播和使用的技术。
按表现形态的不同,信息技术可分为硬技术(物化技术)与软技术(非物化技术)。前者指各种信息设备及其功能,如传感器、服务器、智能手机、通信卫星、笔记本电脑。后者指有关信息获取与处理的各种知识、方法与技能,如语言文字技术、数据统计分析技术、规划决策技术、计算机软件技术等。
ii. 计算机软硬件
1. 计算机硬件 (Computer Hardware)
(1) 是指计算机系统中由电子、机械和光电元件等组成的各种物理装置的总称。这些物理装置按系统结构的要求构成一个有机整体,为计算机软件运行提供物质基础。
(2) 主要分为 口诀:空运存储的出入设备
1||| 控制器
控制器:根据事先给定的命令发出控制信息,使整个电脑指令执行过程一步一步地进行,是计算机的神经中枢,其功能是对程序规定的控制信息进行解释并根据其要求进行控制,调度程序、数据和地址,协调计算机各部分工作及内存与外设的访问等。
主要功能: 从内存中取出一条指令,并指出下一条指令在内存中的位置,对指令进行译码或测试,并产生相应的操作控制信号,以便启动规定的动作;指挥并控制CPU、内存和输入/输出设备之间数据流动的方向。
2||| 运算器
运算器的功能是对数据进行各种算术运算和逻辑运算,即对数据进行加工处理。
运算器的基本操作包括加、减、乘、除四则运算,与、或、非、异或等逻辑操作,以及移位、比较和传送等操作,亦称算术逻辑部件(ALU)。计算机运行时,运算器的操作和操作种类由控制器决定,运算器接受控制器的命令而进行动作,即运算器所运行的全部操作都是由控制器发出的控制信号来指挥的。
3||| 存储器
存储器的功能是存储程序、数据和各种信号、命令等信息,并在需要时提供这些信息。存储器分为计算机内部的存储器(简称内存)和计算机外部的存储器(简称外存)。 内存储器从功能上可以分为 读写存储器RAM、只读存储器ROM两大类。
计算机存储容量以字节为单位,它们是:字节B( 1Byte=8bit)、千字节(1KB=1024B)、兆字节(1MB=1024KB)、吉字节(1GB=1024MB)、太字节(1TB=1024GB)。
计算机的外存储器一般有:软盘和软驱、硬盘、光盘等,以及基于USB接口的移动硬盘、可擦写电子硬盘、优盘等
4||| 输入设备
输入设备是计算机的重要组成部分,输入设备与输出设备合称为外部设备,简称外设,输入设备的作用是将程序、原始数据、文字、字符、控制命令或现场采集的数据等信息输入到计算机。
常用的输入设备有键盘、鼠标、麦克风、摄像头、扫描仪、扫码枪、手写板、触摸屏等。
5||| 输出设备
输出设备也是计算机的重要组成部分,它把外算机的中间结果或最后结果、机内的各种数据符号及文字或各种控制信号等信息输出出来。
常用的输出设备有:显示器、打印机、激光印字机和绘图仪等。
2. 计算机软件(Computer Software)
(1) 是指计算机系统中的程序及其文档,程序是计算任务的处理对象和处理规则的描述;文档是为了便于了解程序所彻的阐明性资料。
(2) 如果把计算机比喻为一个人的话,那么硬件就表示人的身躯,而软件则表示人的思想、灵魂。一台没有安装任何软件的计算机我们把它称之为“裸机”。
(3) 分为
1||| 系统软件
系统软件是指控制和协调计算机及外部设备,支持应用软件开发和运行的系统,是无须用户干预的各种程序的集合,主要功能是调度,监控和维护计算机系统;负责管理计算机系统中各种独立的硬件,使得它们可以协调工作。系统软件使得计算机使用者和其他软件将计算机当作一个整体而不需要顾及到底层每个硬件是如何工作的。
2||| 应用软件
应用软件是用户可以使用的各种程序设计语言以及用各种程序设计语言编制的应用程序的集合,分为软件包和用户程序。
应用软件包是利用计算机解决某类问题而设计的程序的集合,多供用户使用。 应用软件是为满足用户不同领域、不同问题的应用需求而提供的软件。
3||| 中间件
中间件是处于操作系统和应用程序之间的软件。它使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享和功能共享的目的。中间件是位于平台(硬件和操作系统)和应用之间的通用服务,这些服务具有标准的程序接口和协议。针对不同的操作系统和硬件平台,不管底层的计算机硬件和系统软件怎样更新换代,只要将中间件进行升级更新,并保持中间件对外的接口定义不变,应用软件几乎不需要进行任何修改,从而保证了应用软件的持续稳定运行。
3. 硬件和软件互相依存。硬件是软件赖以工作的物质基础,软件的正常工作是硬件发挥作用的重要途径。随着计算机技术的发展,在许多悄况下,计算机的某些功能既可以由硬件实现,也可以由软件来实现。因此硬件与软件在一定意义上来说没有绝对严格的界线。
iii. 计算机网络
1. 在计算机领域中,网络就是用物理链路将各个孤立的工作站或主机相连在一起,组成数据链路,从而达到资源共享和通信的目的。计算机将地理位置不同并具有独立功能的多个计算机系统通过通信设备和线路连接起来,结合网络软件(网络协议、信息交换方式及网络操作系统等)实现不同计算机资源之间的共享。
2. 通信基础
通信是指人与人、人与自然之间通过某种行为或媒体进行的信息交流与传递。 电(光)通信指由一地向另一地进行信息的传输与交换 的传递过程。 通信的目的是传递消息(messsage)中包含的信息(information)。 连续消息是指消息的状态随时间变化而连续变化,如话音等。 离散消息指消息的状态是离散的,如符号、数据等。
通信系统和模型
一个通信系统包括三大部分:源系统(发送端或发送方)、 传输系统(传输网络)和目的系统(接收端或接收方)。
现代通信的关键技术
(1) 从总体上看,通信技术实际上就是通信系统和通信网的相关技术。通信系统是指点对点通信所需的全部设施,而通信网是由许多通信系统组成的多点之间能相互通信的全部设施。
(2) 包含
1||| 数字通信技术
是用数字信号作为载体来传输信息,或用数字信号对载波进行数字调试后再传输的通信方式。它可传输电报、数字数据等数字信号,也可传输经过数字化处理的语声和图像等模拟信号。
2||| 信息传输技术
主要用于管理和处理信息所采用的各种技术的总称,它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件;它也常被称为信息和通信技术。
3||| 通信网络技术
将各个孤立的设备进行物理连接,实现实现人与人,人与计算机,计算机与计算机之间进行信息交换的链路,从而达到资源共享和通信的目的。
3. 网络基础
(1) 从网络作用范围分类
1||| 个人局域网(PersonalAreaNetwork,PAN)
在个人工作的地方把属于个人使用的电子设备(如便携式电脑等)用无线技术连接起来的自组网络,因此也常称为无线个人局域网WPAN(Wireless PAN)。从计算机网络的角度来看,PAN是一个局域网,其作用范围通常在10m左右。
2||| 局域网(Local Area Network, LAN)
通常指用微型计算机或工作站通过高速通信线路相连(速率通常在10Mb/s以上),其地理范围通常为1km左右。通常覆盖一个校园、一个单位、一栋建筑物等。
3||| 城域网(Metropolitan Area Network, MAN)
作用范围可跨越几个街区甚至整个城市,其作用距离约为5-50km。
4||| 广域网(Wide Area Network, WAN)
使用节点交换机连接各主机,其节点交换机之间的连接链路一般是高速链路,具有较大的通信容量。广域网的作用范围通常为几十公里到几千公里,可跨越一个国家或一个洲进行长距离传输数据。
(2) 从网络使用者角度分类
1||| 公用网(Public Network)
指电信公司出资建造的面向大众提供服务的大型网络,也称为公众网。
2||| 专用网(Private Network)
指某个部门为满足本单位的特殊业务工作所建造的网络,这种网络不向本单位以外的人提供服务,如电力、军队、铁路、银行等均有本系统的专用网。
4. 网络设备
(1) 信息在网络中的传输主要有以太网技术和网络交换技术。网络交换是指通过一定的设备(如交换机等),将不同的信号或者信号形式转换为对方可识别的信号类型从而达到通信目的的一种交换形式,常见的有数据交换、线路交换、报文交换和分组交换。
(2) 在计算机网络中,按照网络层次不同,网络交换可以分为:
1||| 物理层交换(如电话网)
2||| 链路层交换(二层交换--对 MAC地址进行变更)
3||| 网络层交换(三层交换--对IP地址进行变更)
4||| 传输层交换(四层交换--对端口进行变更,比较少见)
5||| 应用层交换
(3) 在网络互连时,各节点一般不能简单地直接相连,而是需要通过网络互连设备来实现。按照 OSI 参考模型的分层原则,中间设备要实现不同网络之间的协议转换功能。
(4) 根据它们工作的协议层的不同进行分类:
1||| 中继器(实现物理层协议转换,在电缆间转换二进制信号);
2||| 网桥(实现物理层和数据链路层协议转换);
3||| 路由器(实现网络层和以下各层协议转换);
4||| 网关(提供从最底层到传输层或以上各层的协议转换);
5||| 交换机
(5) 在实际应用中,各厂商提供的设备都是多功能组合且向下兼容的
(6) 随着无线技术运用的日益广泛,目前,市面上基于无线网络的产品非常多,主要有无线网卡、无线AP、无线网桥和无线路由器等。
5. 网络标准协议
(1) 网络协议是为计算机网络中进行数据交换而建立的规则、标准或约定的集合。网络协议由三个要素组成,分别是语义、语法和时序。语义是解释控制信息每个部分的含义,它规定了需要发出何种控制信息,完成的动作以及做出什么样的响应;语法是用户数据与控制信息的结构与格式,以及数据出现的顺序:时序是对事件发生顺序的详细说明。人们形象地将这三个要素描述为:语义表示要做什么,语法表示要怎么做,时序表示做的顺序。
(2) OSI
国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合制定的开放系统互连参考模型(Open System Interconnect ,OSI)。
其目的是为异构计算机互连提供一个共同的基础和标准框架,并为保持相关标准的一致性和兼容性提供共同的参考。
OSI采用了分层的结构化技术,从下到上共分为七层:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。
广域网协议是在OSI参考模型的最下面三层操作,定义了在不同的广域网介质上的通信。广域网协议主要包括:PPP点对点协议、ISDN综合业务数字网、xDSL(DSL数字用户线路的统称:HDSL、SDSL、MVL、ADSL)、DDN数字专线、x.25、FR帧中继、ATM异步传输模式。
(3) IEEE802协议族
IEEE802规范定义了网卡如何访问传输介质(如光缆、双绞线、无线等),以及在传输介质上传输数据的方法,还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。遵循IEEE802标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。
IEEE802规范包括一系列标准的协议族,其中以太网规范IEEE 802.3是重要的局域网协议,内容包括:
(4) TCP/IP
TCP/IP协议是互联网协议的核心。在应用层中,TCP/IP协议定义了很多面向应用的协议,应用程序通过本层协议利用网络完成数据交互的任务。这些协议主要有:
基于TCP
1||| FTP(File Transfer Protocol,文件传输协议)
是网络上两台计算机传送文件的协议,是通过Internet把文件从客户机复制到服务器上的一种途径。传输模式包括Bin(二进制)和ASCII(文本文件)两种,除文本文件外都应该使用二进制模式传输。
2||| HTTP(Hypertext Transfer Protocol,超文本传输协议)
是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,使网络传输减少。它不仅保证计算机正确快速地传输超文本文档,还可以确定传输文档中的哪一部分以及哪部分内容首先显示等。
3||| SMTP(Simple Mail Transfer Protocol,简单邮件传输协议)
是一种提供可靠且有效传输电子邮件的协议。 SMTP 是建立在 FTP 文件传输服务上的一种邮件服务,主要用于传输系统之间的邮件信息并提供与电子邮件有关的通知。
4||| Telnet(远程登录协议)
是登录和仿真程序,它的基本功能是允许用户登录并进入远程计算机系统。以前,Telnet 是一个将所有用户输入送到远程计算机进行处理的简单的终端程序。目前,它的一些较新的版本是在本地执行更多的处理,可以提供更好的响应,并且减少了通过链路发送到远程计算机的信息数量。
基于UDP
1||| TFTP(Trivial File Transfer Protocol,简单文件传输协议)
是用来在客户机与服务器之间进行简单文件传输的协议,提供不复杂、开销不大的文件传输服务。建立在UDP之上,提供不可靠的数据流传输服务,不提供存储授权与认证机制,使用超时重传的方式来保证数据的到达。
2||| DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)
是基于客户机/服务器结构而设计的。所有的IP网络设定的数据都由DHCP服务器集中管理,并负责处理客户端的DHCP要求;而客户端则会使用从服务器分配下来的IP环境数据。DHCP分配的IP地址可以分为三种方式:固定分配、动态分配和自动分配。
3||| DNS(Domain Name System,域名系统)
在Internet上的域名与IP地址之间是一一对应的,域名虽然便于人们记忆,但机器之间只能互相认识IP地址,它们之间的转换工作称为域名解析,域名解析需要由专门的域名解析服务器来完成,DNS就是进行域名解析的服务器。DNS通过用户友好的名称来查找计算机和服务。
4||| SNMP(Simple Network Management Protocol,简单网络管理协议)
是为了解决Internet上的路由器管理问题而提出的,它可以在IP、IPX、AppleTalk和其他传输协议上使用。SNMP是指一系列网络管理规范的集合,包括协议本身、数据结构的定义和一些相关概念。目前,SNMP已成为网络管理领域中事实上的工业标准,并被广泛支持和应用,大多数网络管理系统和平台都是基于SNMP的。
(5) TCP和UDP
在OSI的传输层有两个重要的传输协议,分别是TCP(传输控制协议,Transmission Control Protocol)和UDP (用户数据报协议,User Datagram Protocol),这些协议负责提供流量控制、错误校验和排序服务。
TCP是整个TCP/IP协议族中最重要的协议之一,它在IP协议提供不可靠数据服务的基础上,采用了重发技术,为应用程序提供了一个可靠的、面向连接的、全双工的数据传输服务。TCP协议一般用于传输数据量比较少且对可靠性要求高的场合。
UDP是一种不可靠的、无连接的协议,它可以保证应用程序进程间的通信,与TCP相比,UDP是一种无连接的协议,它的错误检测功能要弱得多。可以这样说,TCP有助于提供可靠性,而UDP则有助于提高传输速率。UDP协议一般用于传输数据量大,对可靠性要求不是很高,但要求速度快的场合。
6. 软件定义网络SDN
软件定义网络(Software Defined Network, SDN)是一种新型网络创新架构,是网络虚拟化的一种实现方式,它可通过软件编程的形式定义和控制网络,其通过将网络设备的控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络变得更加智能,为核心网络及应用的创新提供了良好的平台。
利用分层的思想,SDN将数据与控制相分离。在控制层,包括具有逻辑中心化和可编程的控制器,可掌握全局阿络信息,方便运营商和科研人员管理配置网络和部署新协议等。在数据层,包括哑交换机(与传统的二层交换机不同,专指用于转发数据的设备),仅提供简单的效据转发功能,可以快速处理匹配的数据包,适应流位日益增长虳衙求。两层之间采用开放的统一接口(如Openflow等)进行交互。控制器通过标准接口向交换机下发统一标准规则,交换机仅需按照这些规则执行相应的动作即可。SDN打破了传统网络设备的封闭性。
SDN的整体架构由下到上(由南到北)分为数据平面、控制平面和应用平面。其中,数据平面由交换机等网络通用硬件组成,各个网络设备之间通过不同规则形成的SDN数据通路连接;控制平面包含了逻辑上为中心的SDN控制器,它掌握着全局网络信息,负贲各种转发规则的控制;应用平面包含沿各种基于SDN的网络应用,用户无须关心底层细节就可以编程、部署新应用。
控制平面与数据平面之间通过 SDN 控制数据平面接口 (Control-Data-Plane Interface, CDPI) 进行通信,它具有统一的通信标准,主要负贡将控制器中的转发规则下发至转发设备,最主要应用的是OpenFlow协议。控制平面与应用平面之间通过SDN北向接口(North Bound Interface, NBI)进行通信,而NBI并非统一标准,它允许用户根据自身需求定制开发各种网络管理应用。
SDN中的接口具有开放性,以控制器为逻辑中心,南向接口负责与数据平面进行通信,北向接口负责与应用平面进行通信,东西向接口负责多控制器之间的通信。最主流的南向接口CDP!采用的是OpenFlow协议。OpenFlow最基本的特点是基于流(Flow)的概念来匹配转发规则,每一个交换机都维护一个流表(FlowTable),依据流表中的转发规则进行转发,而流表的建立、维护和下发都是由控制器完成的。针对北向接口,应用程序通过北向接口编程来调用所需的各种网络资源,实现对网络的快速配置和部署。东西向按门使控制器具有可扩展性,为负载均衡和性能提升提供了技术保障。
7. 第五代移动通信技术
第五代移动通信技术(5th Generation Mobile Communication Technology, 5G)是具有高速率、低时延和大连接特点的新一代移动通信技术。
国际电信联盟(JTU) 定义了 5G 的八大指标:
5G 国际技术标准重点满足灵活多样的物联网需要。在正交频分多址(Orthogonal Frequency Division Multiple Access, OFDMA)和多入多出(Multiple Input Multiple Output, MIMO)基础技术上,5G为支持三大应用场景,采用了灵活的全新系统设计。在频段方面,与4G支持中低频不同, 5G同时支待中低频和高频频段。为了支持高速率传输和更优覆盖,5G采用LDPC(一种具有稀疏校验矩阵的分组纠错码)、Polar(一种基于信道极化理论的线性分组码)新型信道编码方案、性能更强的大规模天线技术等。为了支持低时延、高可靠,5G采用短帧、快速反馈、多层/多站数据重传等技术。
国际电信联盟(ITU)定义了5G的三大类应用场景,即增强移动宽带(eMBB)、超高可靠低时延通信(uRLLC)和海量机器类通信(mMTC)。增强移动宽带主要面向移动互联网流量爆炸式增长,为移动互联网用户提供更加极致的应用体验;超高可靠低时延通信主要面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求:海量机器类通信主要面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求。
iv. 存储和数据库
1. 存储技术
(1) 存储分类根据服务器类型分为:封闭系统的存储和开放系统的存储。封闭系统主要指大型机等服务器。开放系统指基于包括麒麟、欧拉、UNIX、Linux等橾作系统的服务器。开放系统的存储分为:内置存储和外挂存储。
(2) 外挂存储根据连接的方式分为
1||| 直连式存储(Direct-Attached Storage, DAS)
DAS,也可称为SAS(Server-Attached Storage,服务器附加存储)。DAS被定义为直接连接在各种服务器或客户端扩展接口下的数据存储设备,它依赖于服务器,其本身是硬件的堆叠,不带有任何存储操作系统。在这种方式中,存储设备是通过电缆(通常是SCSI接口电缆)直接到服务器的,I/O(输入/输出)请求直接发送到存储设备。
2||| 网络化存储(Fabric-Attached Storage, FAS)根据传输协议又分为
a. 网络接入存储(Network-Attached Storage, NAS)
NAS也称为网络直联存储设备或网络磁盘阵列,是一种专业的额网络文件存储及文件备份设备,它是基于LAN(局域网)的,按照TCP/IP协议进行通信,以文件的I/O(输入/输出)方式进行数据传输。一个NAS里面包括核心处理器、文件服务管理工具以及一个或者多个硬盘驱动器,用于数据的存储。
b. 存储区域网络(Storage Area Network, SAN)
SAN是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。SAN由三个基本的组件构成:接口(如SCSI、光纤通道、ESCON等)、连接设备(交换设备、网关、路由器、集线器等)和通信控制协议(如IP和SCSI等)。这三个组件再加上附加的存储设备和独立的SAN服务器,就构成一个SAN系统。SAN主要包含FC SAN和IP SAN两种,FC SAN的网络介质为光纤通道,而IP SAN使用标准的以太网。IP SAN可以将SAN为服务器提供的共享特性以及IP网络的易用性很好地结合在一起,并且为用户提供了类似服务器本地存储的较高性能体验。
(3) 存储虚拟化
存储虚拟化(Storage Virtualization)是“云存储”的核心技术之一,它把来自一个或多个网络的存储资源整合起来,向用户提供一个抽象的逻辑视图,用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。
存储虚拟化使存储设备能够转换为逻辑数据存储。虚拟机作为一组文件存储在数据存储的目录中。数据存储是类似千文件系统的逻辑容器。它隐藏了每个存储设备的特性,形成一个统一的模型,为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源,提告资源利用率和灵活性、应用正常运行时间。
(4) 绿色存储
绿色存储(Green Storage)技术是指从节能环保的角度出发,用来设计生产能效更佳的存储产品,降低数据存储设备的功耗,提高存储设备每瓦性能的技术。
绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统,生产更低能耗的存储系统或组件,降低产品所产生的电子碳化合物,其最终目的是提高所有网络存储设备的能源效率,用最少的存储容量水满足业务需求,从而消托最低的能源。以绿色理念为指导的存储系统最终是存储容量、性能、能耗三者的平衡。
绿色存储技术涉及所有存储分享技术,包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件服务和存储应用软件、觅复数据删除、自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术,其目的是提高所有网络存储技术的能源效率。
2. 数据结构模型
(1) 数据结构模型是数据库系统的核心。数据结构换型描述了在数据库中结构化和操纵数据的方法,模型的结构部分规定了数据如何被描述(例如树、表等)。模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排列和更新等操作。
(2) 常见的数据结构模型有三种:层次模型、网状模型和关系模型。层次模型和网状模型又统称为格式化数据模型。
1||| 层次模型
层次模型是数据库系统最早使用的一种模型,它用“树”结构表示实体集之间的关联,其中实体集(用矩形框表示)为结点,而树中各结点之间的连线表示它们之间的关联。(只能处理一对多的实体联系)
层次模型中任何一个给定的记录值只能按其层次路径查看,没有一个子女记录值能够脱离双亲记录值而独立存在。
主要优点包括:
a. 层次模型的数据结构比较简单清晰
b. 层次数据库的查询效率高,性能优于关系模型,不低于网状模型。
c. 3:层次模型提供了良好的完整性支持。
主要缺点包括:
a. 现实世界中很多联系是非层次性的,不适合用层次模型表示结点之间具有多对多联系。
b. 如果一个结点具有多个双亲结点等,用层次模型表示这类联系就很笨拙,只能通过引入冗余数据或者创建非自然的数据结构来解决
c. 对插入和删除操作的限制比较多,因此应用程序的编写比较复杂。
d. 查询子女结点必须通过双亲结点。
e. 由于结构严密,层次命令趋于程序化。
2||| 网状模型
用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。
网状模型中以记录作为数据的存储单位。记录包含若干数据项。网状数据库的数据项可以是多值的和复合的数据。每个记录有一个惟一地标识它的内部标识符,称为码(DatabaseKey,DBK),它在一个记录存入数据库时由数据库管理系统DBMS自动赋予。DBK可以看作记录的逻辑地址,可作记录的“替身”,或用于寻找记录。网状数据库是导航式(Navigation)数据库,用户在操作数据库时不但说明要做什么,还要说明怎么做。例如在查找语句中不但要说明查找的对象,而且要规定存取路径。
主要优点包括:
a. 能够更为直接地描述现实世界,可表示实体间的多种复杂联系。
b. 具有良好的性能,存取效率较高。
主要缺点包括:
a. 结构比较复杂,用户不容易使用。
b. 数据独立性差,由于实体间的联系本质上是通过存取路径表示的,因此应用程序在访问数据时要指定存取路径。
3||| 关系模型
关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。关系模型是以集合论中的关系概念为基础发展起来的。关系模型中无论是实体还是实体间的联系均由单一的结构类型关系来表示。
主要优点包括:
a. 数据结构单一:
关系模型中,不管是实体还是实体之间的联系,都用关系来表示,而关系都对应一张二维数据表,数据结构简单、清晰。
b. 关系规范化,并建立在严格的理论基础上:
构成关系的基本规范要求关系中每个属性不可再分割,同时关系建立在具有坚实的理论基础的严格数学概念基础上。
c. 概念简单,操作方便:
关系模型最大的优点就是简单,用户容易理解和掌握,一个关系就是一张二维表格,用户只需用简单的查询语言就能对数据库进行操作。
主要缺点包括:
a. 存取路径对用户透明,查询效率往往不如格式化数据模型
b. 为提高性能,必须对用户的查询请求进行优化,增加了开发数据库管理系统的难度
3. 常用数据库类型
(1) 关系型数据库(SQL)
网状数据库和层次数据库已经很好地解决了数据的集中和共享问题,但是在数据独立性和抽象级别上仍有很大欠缺。用户在对这两种数据库进行存取时,仍然需要明确数据的存储结构,指出存取路径。为解决这一问题,关系数据库应运而生,它采用了关系模型作为数据的组织方式。
关系数据库是在一个给定的应用领域中,所有实体及实体之间联系的集合。关系型数据库支持事务的ACID原则,即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)这四种原则保证在事务过程当中数据的正确性。
主要特征包括
1||| 表中的行、列次序并不重要
2||| 行 (row):表中的每一行,又称为一条记录
3||| 列 (column):表中的每一列,又称为属性、字段field域
4||| 主键PK (Primary key):用于惟一确定一条记录的字段外键FK域
5||| 领域 (domain):属性的取值范围,如,性别只能是“男”和“女”两个值
(2) 非关系型数据库(Not Only SQL, NoSQL)
非关系型数掘库是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。NoSQL数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。
主要特征包括
1||| 非结构化的存储
2||| 基于多维关系模型
3||| 具有特定的使用场景
常见的非关系数据库分为:
1||| 键值数据库
类似传统语言中使用的哈希表。可以通过key来添加、查询或者删除数据库,因为使用key主键访问,会获得很高的性能及扩展性。Key/Value极型对于信息系统来说,其优势在于简单、易部署、高并发。
2||| 列存储(Column-oriented)数据库
将数据存储在列族中,一个列族存储常被一起查询,比如人们经常会查询某个人的姓名和年龄,而不是薪资。这种悄况下姓名和年龄会被放到一个列族中,薪资会被放到另一个列族中。这种数据库通常用来应对分布式存储海量数据。
3||| 面向文档(Document-Oriented)数据库
文档型数据库可以看作是键值数据库的升级版,允许之间嵌套键值,而且文档型数据库比键值数据库的查询效率更高。面向文档数据库会将数据以文档形式存储。
4||| 图形数据库
允许人们将数据以图的方式存储。实体会作为顶点,而实体之间的关系则会作为边。
4. 数据仓库
传统的数据库系统中缺乏决策分析所需的大盘历史数据信息,因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要,在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境—一数据仓库。
数据仓库相关的基础概念包括
1||| 消洗/转换/加载(Extract/Transformation/Load, ETL)
用户从数据源抽取出所有的数据,经过数据清洗、转换,奻终按照预先定义好的数据仓库模型,将数据加载到数据仓 库中去。
2||| 元数据
关于数据的数据,指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息。典型的元数据包括:数据仓库表的结构、数据仓库表的属性、数据仓库的源数据(记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等。
3||| 粒度
数据仓库的数据单付中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
4||| 分割
结构相同的数据被分成多个数据物理单元。任何给定的数据单元屈于且仅屈千一个分割。
5||| 数据集市
小型的,面向部门或工作组级的数据仓库。
6||| 操作数据存储(Operation Data Store, ODS)
能支持组织日常的全局应用的数据集合,是不同千DB的一种新的数据环埮,是DW扩展后得到的一个混合形式。它具有四个基本特点:面向主题的、集成的、可变的、当前或接近当前的。
7||| 数据模型
逻辑数据结构,包括由数据库管理系统为有效进行数据库处理提供的操作和约束;用于表示数据的系统。
8||| 人工关系
在决策支待系统环境中用1一表示参照完整性的一种设计技术。
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用于支持管理决策。
体系结构
1||| 数据源
它是数据仓库系统的基础,是整个系统的数据源泉。通常包括组织内部信息和外部信息。内部信息包括存放千关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。
2||| 数据的存储与管理
它是整个数据仓库系统的核心。数据仓库的组织管理方式决定了它有别千传统数据库,同时也决定了其对外部数据的表现形式。针对现有各业务系统的数据,进行抽取、消理并有效集成,按照主题进行组织。数据仓库按照数据的稷盖范围可以分为组织级数据仓库和部门级数据仓库(通常称为数据集市)。
3||| 联机分析处理(On-LineAnalyticProcessing,OLAP)服务器
OLAP对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:基于关系数据库的OLAP(Relational OLAP, ROLAP)、基于多维数据组织的OLAP(Multidimensional OLAP, MOLAP)和基于混合数据组织的OLAP(Hybrid OLAP, HOLAP)。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放千多维数据库中;HOLAP基本数据存放千关系数据库管理系统(Relational Database Management System, RDBMS)之中,聚合数据存放于多维数据库中。
4||| 前端工具
前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。
v. 信息安全
i. 常见的信息安全问题主要表现为:计算机病毒泛滥、恶意软件的入侵、黑客攻击、利用计算机犯罪、网络有告信息泛滥、个人隐私泄露等。随着物联网、云计鍔、人工智能、大数据等新一代信息技术的广泛应用,信息安全也面临着新的问题和挑战。
ii. 信息安全基础
信息安全属性
1. 保密性
含义
信息不被泄露给未授权的个人、实体和过程,或不被其使用的特性。
确保所传输的数据只被其预定的接收者读取
实现的方式
1||| 加密
2||| 访问控制
3||| 信息隐写
2. 完整性
含义
"保护资产的正确和完整的特性。"
确保接收到的数据就是发送的数据,数据不应该被改变。
检验完整性的3个方面:
1||| 阻止未授权主体作出的修改
2||| 阻止授权主体可以做未授权的修改,比如误操作
3||| 确保数据没有被改变,这需要某种方法去进行验证
3. 可用性
含义
需要时,授权实体可以访问和使用的特性。
确保数据在需要时可以使用。
信息安全三元组=信息安全目标
4. 其他属性及目标
(1) 真实性
(2) 可核查性
(3) 不可抵赖性
(4) 可靠性
针对信息系统安全可以划分为四个层次:
(1) 设备安全
信息系统设备的安全是信息系统安全的首要问题。信息系统的设备安全是信息系统安全的物质基础。除了硬件设备外,软件系统也是一种设备,也要确保软件设备的安全。
主要包括
1||| 设备的稳定性
设备在一定时间内不出故障的概率。
2||| 设备的可靠性
设备能在一定时问内正常执行任务的概率。
3||| 设备的可用性
设备随时可以正常使用的概率。
(2) 数据安全
很多情况下,即使信息系统设备没有受到损坏,但其数据安全也可能已经受到危害,如数据泄露、数据篡改等。由于危害数据安全的行为具有较高的隐蔽性,数据应用用户往往并不知情,因此,危害性很高。
其安全属性包括
1||| 秘密性
2||| 完整性
3||| 可用性
(3) 内容安全
内容安全是信息安全在政治、法律、道德层次上的要求。
内容安全包括
1||| 信息内容在政治上是健康的。
2||| 信息内容符合国家的法律法规。
3||| 信息内容符合中华民族优良的道德规范。
广义的内容安全还包括
1||| 内容保密
2||| 知识产权保护
3||| 信息隐藏和隐私保护
如果数据中充斥着不健康的、违法的、违背道德的内容,即使它是保密的、未被篡改的,也不能说是安全的。
(4) 行为安全
数据安全本质上是一种静态的安全,而行为安全是一种动态安全。
包括
1||| 行为的秘密性:
行为的过程和结果不能危害数据的秘密性。必要时,行为的过程和结果也应是秘密的。
2||| 行为的完整性:
行为的过程和结果不能危害数据的完整性,行为的过程和结果是预期的。
3||| 行为的可控性:
当行为的过程出现偏离预期时,能够发现、控制或纠正。
行为安全强调的是过程安全,体现在组成信息系统的硬件设备、软件设备和应用系统协调工作的程序(执行序列)符合系统设计的预期,这样才能保证信息系统的整体安全。
iii. 加密与解密
1. 为了保证信息的安全性,就需要采用信息加密技术对信息进行伪装,使得信息非法窃取者无法理解信息的真实含义,信息的合法拥有者可以利用特征码对信息的完整性进行校验。采用加密算法对信息使用者的身份进行认证、识别和确认,以对信息的使用进行控制。
2. 加密技术包括两个元素:算法和密钥。密钥加密技术的密码体制分为对称密钥体制和非对称密钥体制。相应地,对数据加密的技术分为两类,即对称加密(私人密钥加密)和非对称加密(公升密钥加密)。对称加密以数踞加密标准(Data Encryption Standard, DES)算法为典型代表,非对称加密通常以RSA(Rivest Shamir Adleman)算法为代表。对称加密的加密密钥和解密密钥相同,而非对称加密的加密和解密密钥不同,加密密钥可以公开而解密密钥需要保密。
3. 对称加密技术
对称加密采用了对称密码编码技术,它的特点是文件加密和解密使用相同的密钥。信息接收双方都需事先知道密匙和加解密算法,且其密匙是相同的,之后便是对数据进行加解密了。对称加密算法用来对敏感数据等信息进行加密。对称加密算法使用起来简单快捷,密钥较短,且破译困难。
4. 非对称加密技术
公开密钥密码的基本思想是将传统密码的密钥K 一分为二,分为加密钥Ke 和解密钥Kd,用加密钥Ke控制加密,用解密钥Kd控制解密,这样即使是将Ke公开也不会暴露Kd,也不会损害密码的安全。由于Ke是公开的,只有Kd是保密的,所以便从根本上克服了传统密码在密钥分配上的困难。由于RSA密码 既可用于加密,又可用于 数字签名,安全、易懂,因此RSA密码已成为目前应用最广泛 的公开密钥密码。
5. Hash函数
Hash函数将任意长的报文M映射为定长的Hash码,也称为报文摘要,它是所有报文位的函数,具有错误检验能力:即改变报文的任何一位或多位,都会导致hash码的改变。在实现认证过程中发送方将hash码附于要发送的报文之后发送给接收方,接收方通过重新计算hash码来认证报文,从而实现保密性、报文认证以及数字签名的功能。
6. 数字签名
签名是证明当事者的身份和数据真实性的一种信息。在信息化环境下,以网络为信息传输基础的事物处理中,事物处理各方应采用电子形式的签名,即数字签名(Digital Signature)。目前,数字签名已得到一些国家的法律支持。
完善的数字签名体系应满足以下3个条件:
1||| 签名者事后不能抵赖自己的签名。
2||| 任何其他人不能伪造签名。
3||| 如果当事的双方关于签名的真伪发生争执,能够在公正的仲裁者面前通过验证签名来确认其真伪。
利用RSA密码可以同时实现数字签名和数据加密。
7. 认证
认证( Authentication)又称鉴别、确认,它是证实某事是否名副其实或是否有效的一个过程。
认证和加密的区别在于:加密用以确保数据的保密性,阻止对手的被动攻击,如截取、窃听等;而认证用以确保报文发送者和接收者的真实性以及报文的完整性,阻止对手的主动攻击,如冒充、篡改、重播等。认证往往是许多应用系统中安全保护的第一道设防,因而极为重要。
认证系统常用的参数有口令、标识符、密钥、信物、智能卡、指纹、视网纹等。
认证和数字签名技术都是确保数据真实性的措施,但两者有着明显的区别:
1||| 认证总是基于某种收发双方共享的保密数据来认证被鉴别对象的真实性,而数字签名中用于验证签名的数据是公开的。
2||| 认证允许收发双方互相验证其真实性,不准许第三者验证,而数字签名允许收发双方和第三者都能验证。
3||| 数字签名具有发送方不能抵赖、接收方不能伪造和具有在公证人前解决纠纷的能力,而认证则不一定具备。
iv. 信息系统安全
1. 信息系统一般由计算机系统、网络系统、操作系统、数据库系统和应用系统组成。
2. 与此对应,信息系统安全主要包括
(1) 计算机设备安全
保证计算机设备的运行安全是信息系统安全最重要的内容之一
除完整性、机密性和可用性外,还包括
1||| 抗否认性
抗否认性是指能保障用户无法在事后否认曾经对信息进行的生成、签发、接收等 行为的特性。一般通过数字签名来提供抗否认服务。
2||| 可审计性
利用审计方法,可以对计算机信息系统的工作过程进行详尽的审计跟踪,同时保 存审计记录和审计日志,从中可以发现问题。
3||| 可靠性
计算机在规定的条件下和给定的时间内完成预定功能的概率。
(2) 网络安全
网络作为信息的主要收集、存储、分配、传输、应用的载体,其安全对整个信息的安全起着至关重要甚至是决定性作用。网络环境为信息共享、信息交流、信息服务创造了理想空间。互联网与生俱来的开放性、交互性和分散性特征,在满足人们开放、灵活、快速地分享信息的同时,也同时带来了网络安全的相关问题。
网络安全的相关问题:
1||| 信息泄漏、信息污染、信息不易受控
2||| 信息泄密、信息破坏、信息侵权和信息渗透
3||| 网站遭受恶意攻击而导致损坏和瘫痪
常见的网络威胁包括:
1||| 网络监听
2||| 口令攻击
3||| 拒绝服务攻击(Dos)及分布式拒绝服务(DDos)攻击
4||| 漏洞攻击
5||| 僵尸网络
6||| 网络钓鱼
7||| 网络欺骗
8||| 网站安全威胁:SQL注入攻击、跨站攻击、旁注攻击等
9||| 高级持续性威胁(APT)
(3) 操作系统安全
按照安全威胁的表现形式来分,有以下几种:
1||| 计算机病毒
2||| 逻辑炸弹
3||| 特洛伊木马
4||| 后门:指的是嵌在操作系统的一段非法代码
5||| 隐蔽通道:系统中不受安全策略控制的、违反安全策略、非公开的信息泄漏路径
(4) 数据库系统安全
数据库系统是存储、管理、使用和维护数据的平台。数据库安全主要指数据库管理系统安全,其安全问题可以认为是用于存储而非传输的数据的安全问题。
(5) 应用系统安全
应用系统安全是以计算机设备安全、网络安全和数据库安全为基础的。同时,采取有效的防病毒,防篡改和版本检查审计,确保系统自身执行程序和配置文件的合法性,完整性是极其重要的安全保证措施。
v. 网络安全技术
1. 防火墙
防火墙是建立在内外网络边界上的过滤机制,内部网络被认为是安全和可信赖的,而外部网络(通常是Internet)被认为是不安全和不可信赖的。防火墙可以监控进出网络的流量,仅让安全、核准的信息进入,同时抵制企业内部发起的安全威胁。防火墙的主要实现技术有:数据包过滤、应用网关和代理服务等。
2. 入侵检测与防护
入侵检测与防护的技术主要有两种:入侵检测系统(lntrusion Detection System,IDS)和入侵防护系统( Intrusion Prevention System,IPS)。
入侵检测系统(IDS)注重网络安全状况的监管,通过监视网络或系统资源,寻找违反安全策略的行为或攻击迹缘并发出报警。因此绝大多数IDS系统都是被动的。
入侵防护系统(IPS)则倾向于提供主动防护,注重对入侵行为的控制。其设计宗旨是预先对入侵活动和攻击性网络流量进行拦截,避免其造成损失。IPS是通过直接嵌入到网络流量中实现这一功能的,即通过…个网络端口接收来自外部系统的流量,经过检查确认其中不包含异常活动或可疑内容后,樽通过另外一个端口将它传送到内部系统中。这样一来,有问题的数据包,以及所有来自同一数据流的后续数据包,都能在IPS设备中被清除掉。
3. 虚拟专用网络
VPN(Virtual Private Network,虚拟专用网络),是依靠ISP(Intemet服务提供商)和其他NSP(网络服务提供商),在公用网络中建立专用的、安全的数据通信通道的技术。VPN可以认为是加密和认证技术在网络传输中的应用。
VPN网络连接由客户机、传输介质和服务器三部分组成,VPN的连接不是采用物理的传输介质,而是使用称之为“隧道”的技术作为传输介质,这个隧道是建立在公共网络或专用网络基础之上的。常见的隧道技术包括:点对点隧道协议(Point-to PointTunneling Protocol,PPTP)、第2层隧道协议(Layer 2 Tunneling Protocol.L2TP)和IP安全协议(IPSec)。
4. 安全扫描
安全扫描包括漏洞扫描、端口扫描、密码类扫描(发现弱口令密码)等。
安全扫描可以应用被称为扫描器的软件来完成,扫描器是最有效的网络安全检测工具之一,它可以自动检测远程或本地主机、网络系统的安全弱点以及所存在可能被利用的系统漏洞。
5. 网络蜜罐技术
蜜罐( Honeypot)技术是一种主动防御技术,是入侵检测技术的一个重要发展方向,也是一个“诱捕”攻击者的陷阱。蜜罐系统是一个包含漏洞的诱骗系统,它通过模拟一个或多个易受攻击的主机和服务,给攻击者提供一个容易攻击的目标。攻击者往往在蜜罐上浪费时间,延缓对真正目标的攻击。由于蜜罐技术的特性和原理,使得它可以对入侵的取证提供重要的信息和有用的线索,便于研究入侵者的攻击行为。
vi. Web威胁防护技术
1. Web访问控制技术
访问控制是Web站点安全防范和保护的主要策略,它的主要任务是保证网络资源不被非法访问者访问。
2. 单点登录(SSO)技术
为应用系统提供集中统一的身份认证,实现“一点登录、多点访问”。
3. 网页防篡改技术
(1) 时间轮询技术
利用网页检测程序,以轮询方式读出要监控的网页,与真实网页相比较,来判断网页内容的完整性,对于被篡改的网页进行报警和恢复。
(2) 核心内嵌技术
所谓核心内嵌技术即密码水印技术。该技术将篡改检测模块内嵌在Web服务器软件里,它在每一个网员流出时都进行完整性检查,对于篡改网页进行实时访问阻断,并予以报警和恢复。
(3) 事件触发技术
就是利用操作系统的文件系统或驱动程序接口,在网页文件的被修改时进行合法性检查,对于非法操作进行报警和恢复。
(4) 文件过滤驱动技术
是一种简单、高效、安全性又极高的一种防篡改技术。通过事件触发方式,对Web服务器所有文件夹中的文件内容,对照其底层文件属性,经过内置散列快速算法进行实时监测;若发现属性变更,则将备份路径文件夹中的内容复制到监测文件夹的相应文件位置,使得公众无法看到被篡改页面。
4. Web内容安全
内容安全管理分为电子邮件过滤、网页过滤、反间谍软件三项技术
vii. 下一代防火墙
1. 下一代防火墙,即Next Generation Firewall,简称NGFW)是一种可以全面应对应用层威胁的高性能防火墙。通过深入洞察网络流量中的用户、应用和内容,并借助全新的高性能单路径异构并行处理引擎,NGFW能够为用户提供有效的应用层一体化安全防护,帮助用户安全地开展业务并简化用户的网络安全架构。
2. 随着信息系统采用SOA和Web2.0普及使用,更多的通信量都只是通过少数几个端口及采用有限的几个协议进行,这也就意味着基于端口/协议类安全策略的关联性与效率都越来越低,传统防火墙已基本无法探测到利用僵尸网络作为传输方法的威胁。
3. NGFW在传统防火墙数据包过滤、网络地址转换(NAT)、协议状态检查以及VPN功能的基础上,新增如下功能:
(1) 入侵防御系统(IPS)
NGFW的DPI功能中包含IPS
(2) 基于应用识别的可视化
NGFW 根据数据包的去向,阻止或允许数据包。它们通过分析第 7 层(应用程序层)的流量来做到这一点。传统的防火墙不具备这种能力,因为它们只分析第 3 层和第 4 层的流量。
(3) 智能防火墙:
可收集防火墙外的各类信息,用于改进阻止决策或作为优化阻止规则的基础。比如利用目录集成来强化根据用户身份实施的阻止或根据地址编制黑名单与白名单。
viii. 安全行为分析技术
传统的安全产品、技术、方案基本都是基于已知特征进行规则匹配来进行分析和检测。基于特征、规则和人下分析,以“特征”为核心的检测分析存在安全可见性盲区,有滞后效应、容易被绕过,以及难以适应攻防对抗的网络现实和快速变化的组织环境、外部威胁等问题。另一方面,虽然大多数的攻击可能来自组织以外,但严重的损害往往是内部人员造成的,只有管理好内部威胁,才能保证信息和阿络安全。
用户和实体行为分析(User and Entity Behavior Analytics, UEBA)提供了用户画像及基于各种分析方法的异常检测,结合基本分析方法(利用签名的规则、模式匹配、简单统计、阙值等)和高级分析方法(监督和无监督的机器学习等),用打包分析来评估用户和其他实体(主机、应用程疗、网络、数据库等),发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。
UEBA是一个完整的系统,涉及符法、工程等检劓部分,以及用户与实体风险评分排序、调杳等用户交换和反锁。从架构上来看,UEBA系统通常包括数据获取层、算法分析层和场烘应用层。
ix. 网络安全态势感知
1. 网络安全态势感知(Network Security Situation Awareness)是在大规倓网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示,并据此预测未来的网络安全发展趋势。它是一种基十环境的、动态的、整体的洞悉安全风险的能力。在安全大数据的基础上进行数据整合、特征提取等,然后应用一系列态势评估符法生成网络的整体态势状况,应用态势预测算法预测态势的发展状况,并使用数据可视化技术,将态势状况和预测情况展示给安全人员,方便安全人员直观便捷地了解网络当前状态及预期的风险。
2. 网络安全态势感知的关键技术主要包括:
(1) 海量多元异构数据的汇聚融合技术
(2) 面向多类型的网络安全威胁评估技术
(3) 网络安全态势评估与决策支撑技术
(4) 网络安全态势可视化
vi. 信息技术的发展
作为信息技术的基础,计算机软硬件、阿络、存储和数据库、信息安全等都在不断的发展创新,引领蓿当前信息技术发展的潮流。
在计算机软硬件方面,计算机硬件技术将向超高速、超小型、平行处理、智能化的方向发展,计算机硬件设备的体积越来越小、速度越来越高、容量越来越大、功耗越来越低、可靠性越来越高。计算机软件越来越丰富,功能越来越强大,“软件定义一切”概念成为当前发展的主流。
在网络技术方面,计算机阿络与通信技术之间的联系日益密切,甚至是已经融为一体。作为国家最蓝要的基础设施之一,5G成为当前的主流,面向物联网、低时延场景的窄带物联网(Narrow Band Internet of Things, NB-IoT)和增强型机器类型通信(enhanced Machine-Type Communication, eMTC)、工业物联陨(Industrial Internet of Things, lloT)和低延时高可靠通信(Ultra Reliable Low Latency Communication, URLLC)等技术,将进一步得到充分发展。
在存储和数据库方面,数据量的不断爆炸式增长推动数据库技术不断向着模型拓展、架构解耦的方向演进。
在信息安全方面,传统计算机安全理念将过渡到以可信计算理念为核心的计算机安全,由网络普及应用引发的技术与应用模式的变革,正在进一步推动信息安全网络化关键技术的创新;同时信息安全标准的研究与制定,信息安全产品和服务的集成和融合,正引领着当前信息安全技术标准化和集成化发展。
三、 新一代信息技术及应用
I. 物联网、云计算、大数据、区块链、人工智能、虚拟现实等新一代信息技术与信息资源充分利用的全新业态,是信息化发展的主要趋势,也是信息系统集成行业未来的主要业务范畴。
II. 物联网
i. 物联网主要解决物品与物品(Thing to Thing, T2T)、人与物品(Human to Thing, H2T)、人与入(Human to Human, H2H)之间的互连。另外,许多学者在讨论物联网时经常会引入M2M的概念:可以解释为人与人(Man to Man)、人与机器(Man to Machine)或机器与机器(Machine to Machine)。
ii. 技术基础
1. 物联网架构可分为三层
(1) 感知层
由各种传感器构成,包括温度传感器,二维码标签、RFID标签和读写器,摄像头,GPS等感知终端。感知层是物联网识别物体、采集信息的来源。
(2) 网络层
由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成,是整个物联网的中枢,负责传递和处理感知层获取的信息。
(3) 应用层
是物联网和用户的接口,它与行业需求结合以实现物联际的智能应用。
2. 物联网的产业链包括传感器和芯片、设备、网络运营及服务、软件与应用开发和系统集成。物联网技术在智能电网、智慧物流、智能家居、智能交通、智慧农业、环境保护、医疗健康、城市管理(智慧城市)、金融服务与保险业、公共安全等方面有非常关键和重要的应用。
iii. 关键技术
1. 传感器技术
传感器是一种检测装置,它能“感受”到被测量的信息,并能将检测到的信息按一定规律变换成为电信号或其他所摇形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节,也是物联网获取物理世界信息的基本手段。
射频识别技术(Radio Frequency Identification, RFID)是物联网中使用的一种传感器技术,在物联网发展中备受关注。RIFD可通过无线电信号识别特定目标并读写相关数据,而无须识别系统与特定目标之间建立机械或光学接触。RFID是一种简单的无线系统,由一个询问器(或阅读器)和很多应答器(或标签)组成。标签由耦合元件及芯片组成,每个标签具有扩展词条唯一的电子编码,附着在物体上标识目标对象,它通过天线将射频信息传递给阅读器,阅读器就是读取信息的设备。RFID技术让物品能够“开口说话”。这就赋予了物联网一个特性即可跟踪性。就是说人们可以随时掌握物品的准确位置及其周边环境。
2. 传感网
微机电系统(Micro-Electro-Mechanical Systems, MEMS)是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起,组成具有多功能的微型系统,集成于大尺寸系统中,从而大幅地提高系统的自动化、智能化和可靠性水平。MEMS赋予了普通物体新的生命,它们有了属于自己的数据传输通路、存储功能、操作系统和专门的应用程序,从而形成一个庞大的传感网。
3. 应用系统框架
物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。它将使对象实现智能化的控制,涉及5个重要的技术部分:机器、传感器硬件、通信网络、中间件和应用。该框架基于云计算平台和智能网络,可以依据传感器网络获取的数据进行决策,改变对象的行为控制和反馈。
iv. 应用和发展
在工业、衣业、环境、交通、物流、安保等基础设施领域的应用,有效地推动了这些方面的智能化发展,使得有限的资源能更加合理地使用分配;在家居、医疗健康、教育、金触与服务业、旅游业等领域的应用,通过与社会科学和社会治理的充分融合,实现了服务范围、服务方式和服务质量等方面的巨大变革和进步。
III. 云计算
i. 云计算(Cloud Computing)是分布式计算的一种,在云计算早期,就是简单的分布式计算,进行任务分发并对计算结果进行合并。当前的云计算已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗余和虚拟化等计算机技术混合演进并跃升的结果。
ii. 技术基础
1. 云计算是一种基于互联网的计算方式,通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源,按需求提供给网上的终端设备和终端用户。云计算也可以理解为向用户屏蔽底层差异的分布式处理架构。在云计算环境中,用户与实际服务提供的计算资源相分离,云端集合了计算设备和资源。
2. 当使用云计算服务时,用户不需要安排专门的维护人员,云计算服务的提供商会为数据和服务器的安全做出相对较高水平的保护。由于云计算将数据存储在云端(分布式的云计算设备中承担计算和存储功能的部分),业务逻辑和相关计算都在云端完成,因此,终端只需要一个能够满足基础应用的普通设备即可。
3. 按照云计算服务提供的资源层次,可以分为基础设施即服务(Infrastructure as a Service, IaaS)、平台即服务(Platform as a Service, PaaS)和软件即服务(Software as a Service, SaaS)三种服务类型。
(1) IaaS向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验,其单纯出租资源的盈利能力有限。
(2) PaaS向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在千直接的经济效益,而更注重构建和形成紧密的产业生态。
(3) SaaS向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS一般采用Web技术和SOA架构,通过Internet向用户提供多租户、可定制的应用能力,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。
iii. 关键技术
1. 云计算的关键技术主要涉及
(1) 虚拟化技术
虚拟化是一个广义术语,在计算机领域通常是指计算元件在虚拟的基础上而不是直实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显话提高计算机的工作效率。
容器(Container)技术是一种全新意义上的虚拟化技术,属于操作系统虚拟化的范畴,也就是由操作系统提供虚拟化的支持。目前最受欢迎的容器环境是Docker。容器技术将单个操作系统的资源划分到孤立的组中,以便更好地在孤立的组之间平衡有冲突的资源使用需求。使用容器技术可将应用隔离在一个独立的运行环境中,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。
(2) 云存储技术
云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式,该方式整合应用了计算机系统的软硬件优势,可较为快速、高效地对海批数据进行在线处理,通过多种云技术平台的应用,实现了数据的深度挖掘和安全管理。
分布式文件系统作为云存储技术中的重要组成部分,在维待兼容性的基础上,对系统复制和容错功能进行提升。
(3) 多租户和访问控制管理
是云计算应用的核心问题之一,云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。
云计算访问控制模型就是按照特定的访问策略来描述安全系统,建立安全模型的一种方法。根据访问控制模型功能的不同,研究的内容和方法也不同,常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于UCON模型的云计算访问控制、基于BLP模型的云计算访问控制等。
基于 ABE 密码机制的云计算访问控制包括 4 个参与方:数据提供者、可信第三方授权中心、云存储服务器和用户。首先,可信授权中心生成主密钥和公开参数,将系统公钥传给数据提供者,数据提供者收到系统公钥之后,用策略树和系统公钥对文件加密,将密文和策略树上传到云服务器;然后,当一个新用户加入系统后,将自己的属性集上传给可信授权中心并提交私钥申请请求,可信授权中心针对用户提交的属性集和主密钥计算生成私钥,传给用户;最后,用户下载感兴趣的数据。如果其属性集合满足密文数据的策略树结构,则可以解密密文;否则,访问数据失败。
(4) 云安全技术
云安全研究主要包含两个方面的内容,一是云计算技术本身的安全保护工作,涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;二是借助于云服务的方式来保障客户端用户的安全防护需求,通过云计算技术来实现互联网安全,涉及基于云计算的病毒防治、木马检测技术等。
在云安全技术的研究方面,主要包含:
1||| 云计算安全性
主要是对于云自身以及所涉及的应用服务内容进行分析,重点探讨其相应的安全性间题,这里主要涉及如何有效实现安全隔离,保降互联网用户数据的安全性,如何有效防护恶意网络攻击,提升云计算平台的系统安全性,以及用户接入认证以及相应的信息传输审计、安全等方面的工作。
2||| 保障云基础设施的安全性
主要就是如何利用相应的互联网安全基础设备的相应资源,有效实现云服务的优化,从而保赔满足预期的安全防护的要求。
3||| 云安全技术服务
如何保障实现互联网终端用户的安全服务要求,能有效实现客户端的计算机病毒防治等相关服务工作。从云安全架构的发展情况来看,如果云计算服务筒的安全等级不高,会造成服务用户需要具备更强的安全能力、承担更多管理职责。
2. 为了提升云安全体系的能力,保陷其具有较强的可靠性,云安全技术要从开放性、安全保障体系结构的角度考虑。
(1) 云安全系统具有一定的开放性,要保障开放环境下可信认证:
(2) 在云安全系统方面,要积极采用先进的网络技术和病毒防护技术;
(3) 在云安全体系构建过程中,要保证其稳定性,以满足海量数据动态变化的需求。
iv. 应用和发展
1. 云计算经历十余年的发展,已逐步进入成熟期,在众多领域正发挥着越来越大的作用,“上云”将成为各类组织加快数字化转型、鼓励技术创新和促进业务增长的第一选择,甚至是必备的前提条件。
2. 云计算将进一步成为创新技术和最佳工程实践的重要载体和试验场。从AI与机器学习、IoT与边缘计算、区块链到工程实践领域的DevOps、云原生和Service Mesh,都有云计算厂商积极参与、投入和推广的身影。以人工智能为例,从前而提到的TaaS中GPU计算资源的提供,到面向特定领域成熟模型能力开放(如各类自然语言处理、图像识别、语言合成的API),再到帮助打造定制化AJ模型的机器学习平台,云计算实际上已成为Al相关技术的基础。
3. 云计算将顺应产业互联网大潮,下沉行业场景,向垂直化、产业化纵深发展。
4. 发展带来新的问题:
(1) 虽然云端己经能提供相当高的可用性,但为了避免单一供应商出现故障时的风险,关键应用仍须架设必要的技术冗余;
(2) 当业务规模较大时,从商业策略角度看,也需要避免过于紧密的厂商鄉定,以寻求某种层面的商业制衡和主动权。
5. “创新、垂直、混合、生态”这四大趋势伴随云计算快速发展。云计算对IT硬件资源与软件组件进行了标准化、抽象化和规模化,某种意义上颠覆和重构了 IT 业界的供应链,是当前新一代信息技术发展的巨大的革新与进步。
IV. 大数据
i. 大数据(Big Data)指无法在一定时间范困内用常规软件工具进行捕捉、管理和处理的数据集合,是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
ii. 技术基础
1. 大数据是具有体益大、结构多样、时效性强等特征的数据,处理大数据需要采用新型计贷架构和智能算法等新技术。大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程,涉及数据模型、处理膜型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质橄控制等方面的研究。
2. 一般来说,大数据主要特征包括:
(1) 数据海量
从TB级别跃升到PB级别(IPB=l024TB)、EB级别(IEB=I024PB),甚至达到ZB级别(IZB=I024EB)。
(2) 数据类型多样
大数据的数据类型繁多,一般分为结构化数据和非结构化数据。相对于以往便千存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
(3) 数据价值密度低
数据价值密度的高低与数据总豐的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值”提纯”,成为目前大数据背景下亟待解决的难题。
(4) 数据处理速度快
为了从海量的数据中快速挖掘数据价值,一般要求要对不同类型的数据进行快速的处理,这是大数据区分于传统数据挖掘的最显著特征。
iii. 关键技术
1. 大数据技术作为信息化时代的一项新兴技术,涉及数据的处理、管理、应用等多个方面。具体来说,技术架构是从技术视角研究和分析大数据的获取、管理、分布式处理和应用等。
2. 大数据技术架构主要包含
(1) 大数据获取技术
大数据获取的研究主要集中在数据采集、整合和清洗三个方面。数据采集技术实现数据源的获取,然后通过整合和清理技术保证数据质量。
数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术,从网站上获取数据信息。除了网络中包含的内容之外,对于网络流费的采集可以使用DPI或DFI等带宽管理技术进行处理。
数据整合技术是在数据采集和实体识别的基础上,实现数据到信息的高质证整合。数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换校型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。
数据清洗技术一般根据正确性条件和数据约束规则,清除不合理和错误的数据,对重要的信息进行修复,保证数据的完整性。包括数据正确性语义模型、关联模型和数据约束规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与修复结果的评估模型和评估方法等。
(2) 分布式数据处理技术
分布式计算是随着分布式系统的发展而兴起的,其核心是将任务分解成许多小的部分,分配给多台计算机进行处理,通过并行工作的机制,达到节约整体计算时间,提高计算效率的目的。目前,主流的分布式计算系统有Hadoop、Spark和Storm。Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速的大数据处理,而Storm常用于在线的、实时的大数据处理。
大数据分析与挖掘技术主要指改进已有数据挖掘和机器学习技术:升发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;创新基于对象的数据连接、相似性连接等大数据融合技术:突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
(3) 大数据管理技术
大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。
大数据存储技术主要有三个方面
1||| 采用MPP架构的新型数据库集群;
2||| 围绕Hadoop衍生出相关的大数据技术;
3||| 基于集成的服务器、存储设备、操作系统、数据库管理系统,实现具有良好的稳定性、扩展性的大数据一体机。
多数据中心的协同管理技术是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作流调度、负载均衡,整合多个数据中心的存储和计算资源,从而为构建大数据服务平台提供支撑。
大数据隐私性技术的研究,主要集中于新型数据发布技术,尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私,从而实现数据安全和隐私保护的需求。
(4) 大数据应用和服务技术
1||| 大数据应用和服务技术主要包含分析应用技术和可视化技术。
2||| 大数据分析应用主要是面向业务的分析应用。在分布式海位数据分析和挖掘的基础上,大数据分析应用技术以业务摇求为驱动,面向不同类型的业务需求开展专题数据分析,为用户提供高可用、高易用的数据分析服务。
3||| 可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络(图)可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。
iv. 应用和发展
1. 在互联网行业,从大榄的数据中挖掘用户行为,反向传输到业务领域,支持更准确的社会营销和广告,可增加业务收入,促进业务发展、。
2. 在政府的公共数据领域,结合大数据的采集、治理和集成,将各个部门搜集的信息进行剖析和共享,能够发现管理上的漏洞,增进财税增收和加大市场监管程度,大大改变政府管理模式提高社会治理水平。
3. 在金融领域,大数据征信是重要的应用领域。通过大数据的分析和画像,为金融业务提供有效支撑。
4. 在工业领域,结合海压的数据分析,能够为工业生产过程提供准确的指导。
5. 在社会民生领域,大数据的分析应用能够更好地为民生服务。
V. 区块链
i. “区块链”概念于2008年在《比特币:一种点对点电子现金系统》中被首次提出,并在比特币系统的数据加密货币体系中成功应用,已成为政府、组织和学者等重点关注和研究的热点。区块链技术具有多中心化存储、隐私保护、防篡改等特点,提供了开放、分散和容错的事务机制,成为新一代匿名在线支付、汇款和数字资产交易的核心,被广泛应用于各大交易平台,为金融、监管机构、科技创新、农业以及政治等领域带来了深刻的变革。
ii. 技术基础
1. 区块链概念可以理解为以非对称加密算法为基础,以改进的默克尔树(MerkleTree)为数据结构,使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。
2. 区块链分为四大类:
(1) 公有链(PublicBlockchain)
(2) 联盟链(ConsortiumBlockchain)
(3) 私有链(PrivateBlockchain)
(4) 混合链(HybridBlcokchain)
3. 一般来说,区块链的典型特征包括:
(1) 多中心化
链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构,运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系,从而建立可信的分布式系统。
(2) 多方维护
激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程,并通过共识机制选择特定节点将新产生的区块加入到区块链中。
(3) 时序数据
区块链运用带有时间戳信息的链式结构来存储数据信息,为数据信息添加时间维度的属性,从而可实现数据信息的可追溯性。
(4) 智能合约
区块链技术能够为用户提供灵活可变的脚本代码,以支持其创建新型的智能合约。
(5) 不可篡改
在区块链系统中,因为相邻区块间后序区块可对前序区块进行验证,若篡改某一区块的数据信息,则衙递归修改该区块及其所有后序区块的数据信息,然而每一次哈希的重新计算代价是巨大的,且须在有限时间内完成,因此可保障链上数据的不可篡改性。
(6) 开放共识
在区块链网络中,每台物理设备均可作为该网络中的一个节点,任意节点可自由加入且拥有一份完整的数据库拷贝.
(7) 安全可信
数据安全可通过基于非对称加密技术对链上数据进行加密来实现,分布式系统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被篡改和伪造,从而具有较高的保密性、可信性和安全性。
iii. 关键技术
1. 从区块链的技术体系视角看,区块链基于底层的数据基础处理、管理和存储技术,以区块数据的管理、链式结构的数据、数字签名、哈希函数、默克尔树、非对称加密等,通过基于P2P网络的对称式网络,组织节点参与数据的传播和验证,每个节点均会承担网络路由、验证区块数据、传播区块数据、记录交易数据、发现新节点等功能,包含传播机制和验证机制。为保陷区块链应用层的安全,通过激励层的发行机制和分配机制,在整个分布式网络的节点以最高效率的方式达成共识。
2. 分布式账本
分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成,而且每一个节点保存一个唯一、真实账本的副本,它们可以参与监督交易合法性,同时也可以共同为其作证;账本里的任何改动都会在所有的副本中被反映出来。
分布式账本技术能够保障资产的安全性和准确性,具有广泛的应用场景,特别在公共服务领域,能够重新定义政府与公民在数据分享、透明度和信任意义上的关系,目前已经广泛应用到金融交易、政府征税、土地所有权登记、护照管理、社会福利等领域。
3. 加密算法
散列算法
也叫数据摘要或者哈希算法,其原理是将一段信息转换成一个固定长度并具备以下特点的字符串:如果某两段信息是相同的,那么字符也是相同的:即使两段信息十分相似,但只要是不同的,那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。典型的散列算法有MD5、SHA和SM3,目前区块链主要使用SHA256算法。
非对称加密算法
由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。任何获悉用户公钥的人都可用用户的公钥对信息进行加密,与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系,只有用户本身才能解密该信息,任何未受授权用户甚至信息的发送者都无法将此信息解密。常用的非对称加密算法包括RSA、Elgamal、D-H、ECC(椭圆曲线加密算法)等。
4. 共识机制
区块链共识问题需要通过区块链的共识机制来解决。共识算法能保证分布式的计算机或软件程序协作一致,对系统的输入输出做出正确的响应。
区块链的共识机制的思想是:在没有中心点总体协调的情况下,当某个记账节点提议区块数据增加或减少,并把该提议广播给所有的参与节点,所有节点要根据一定的规则和机制,对这一提议是否能够达成一致进行计算和处理。
目前,常用的共识机制主要有PoW、PoS、DPoS、Paxos、PBFT等。
根据区块链不同应用场景中各种共识机制的特性,共识机制分析可基于:
(1) 合规监管
是否支持超级权限节点对全网节点、数据进行监管。
(2) 性能效率
交易达成共识被确认的效率。
(3) 资源消耗
共识过程中耗费的CPU、网络输入输出、存储等资源。
(4) 容错性
防攻击、防欺诈的能力。
iv. 应用和发展
1. 区块链将成为互联网的基础协议之一。
区块链作为一种可以传输所有权的协议,将会基于现有的互联网协议架构,构建出新的基础协议层。区块链(协议)会和传输控制协议/因特网互联协议(TCP/IP)一样,成为未来互联网的基础协议,构建出一个高效的、多中心化的价值存储和转移网络。
2. 区块链架构的不同分层将承载不同的功能。
类似TCP/IP协议栈的分层结构,入们在统一的传输层协议之上,发展出了各种各样的应用层协议,最终构建出了今天丰富多彩的互联网。未来区块链结构也将在一个统一的、多中心化的底层协议基础上,发展出各种各样应用层协议。
3. 区块链的应用和发展呈螺旋式上升趋势。
区块链作为数字化浪潮中下一个阶段的核心技术,其发展周期将比预想得要长,影响的范围和深度也会远远超出人们的想象,将会构建出多样化生态的价值互联网,从而深刻改变未来商业社会的结构和每个人的生活。
VI. 人工智能
i. 人工智能是研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的技术科学。
ii. 技术基础
人工智能从产生到现在,其发展历程经历了6个主要阶段:
1. 起步发展期(]956年至20世纪60年代初)
2. 反思发展期(20世纪60年代至20世纪70年代初)
3. 应用发展期(20世纪70年代初至20世纪80年代中)
4. 低迷发展期(20世纪80年代中至20世纪90年代中)
5. 稳步发展期(20世纪90年代中至2010年)
6. 蓬勃发展期(2011年至今)
从当前的人工智能技术进行分析可知,其在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。
iii. 关键技术
1. 机器学习
机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行“学习"的技术。机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面,其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究,迁移学习、多核学习和多视图学习等强化学习方法是当前的研究热点。
神经网络是机器学习的一种形式,该技术出现在20世纪60年代,并用于分类型应用程序。它根据输入、输出、变世权重或将输入与输出关联的“特征”来分析问题。它类似千神经元处理信号的方式。深度学习是通过多等级的特征和变址来预测结果的神经网络模型,得益千当前计算机架构更快的处理速度,这类模型有能力应对成千上万个特征。与早期的统计分析形式不同,深度学习模型中的每个特征通常对于人类观察者而言意义不大,使得该模型的使用难度很大且难以解释。深度学习模型使用一种称为反向传播的技术,通过模型进行预测或对输出进行分类。强化学习是机器学习的另外一种方式,指机器学习系统制订了目标而且迈向目标的每一步都会得到某种形式的奖励。
机器学习模型是以统计为基础的,而且应该将其与常规分析进行对比以明确其价值增量。它们往往比基于人类假设和回归分析的传统“手工”分析模型更准确,但也更复杂和难以解释。相比于传统的统计分析,自动化机器学习模型更容易创建,而且能够揭示更多的数据细节。
2. 自然语言处理
自然语言处理(Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
自然语言处理主要应用于机器翻译、舆悄监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。
自然语言处理,即实现人机间自然语言通信,或实现自然语言理解和自然语言生成)是十分困难的,困难的根本原因是自然语言文本和对话的各个层次上广泛存在着各种各样的歧义性或多义性。自然语言处理解决的核心问题是信息抽取、自动文摘/分词、识别转化等,用于解决内容的有效界定、消歧和模糊性、有瑕疵的或不规范的输入、语言行为理解和交互。当前,深度学习技术是自然语言处理的重要技术支撑,在自然语言处理中需应用深度学习模型,如卷积神经网络、循环神经网络等,通过对生成的词向狱进行学习,以宪成自然语言分类、理解的过程。
3. 专家系统
专家系统是一个智能计算机程序系统,通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成,其内部含有大位的某个领域专家水平的知识与经验,它能够应用人工智能技术和计算机技术,根据系统中的知识与经验,进行推理和判断,模拟入类专家的决策过程,以便解决那些需要人类专家处理的复杂问题。简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
在人工智能的发展过程中,专家系统的发展已经历了三个阶段,正向第四代过渡和发展。第一代专家系统以高度专业化、求解专门问题的能力强为特点。但在体系结构的完整性、可移植性、系统的透明性和灵活性等方面存在缺陷。第二代专家系统属于单学科专业型、应用型系统,其体系结构较完整,移植性方面也有所改善,而且在系统的人机接口、解释机制、知识获取技术、不确定推理技术、增强专家系统的知识表示和推理方法的启发性、通用性等方面都有所改进。第三代专家系统屈多学科综合型系统,采用多种人工智能语言,综合采用各种知识表示方法和多种推理机制及控制策略,并运用各种知识工程语言、骨架系统及专家系统开发工具和环境来研制大型综合专家系统。
当前人工智能的专家系统研究已经进入到第四个阶段,主要研究大型多专家协作系统、多种知识表示、综合知识库、自组织解题机制、多学科协同解题与并行推理、专家系统工具与环境、人工神经网络知识获取及学习机制等。
iv. 应用和发展
经过60多年的发展,人工智能在算法、贺力(计货能力)和算料(数据)等方而取得了重要突砐,正处于从“不能用”到“可以用"的技术拐点,但是距离“很好用”还存在诸多瓶颈。实现从专用人工智能向通用人工智能的跨越式发展,既是下一代人工智能发展的必然趋势。
1. 从人工智能向人机混合智能发展。
借鉴脑科学和认知科学的研究成果是人工智能的一个重要研究方向。人机混合智能旨在将人的作用或认知模型引入到人工智能系统中,提升人工智能系统的性能,使人工智能成为人类智能的自然延伸和拓展,通过人机协同更加高效地解决复杂问题。
2. 从“人工+智能“向自主智能系统发展。
当前人工智能领域的大监研究集中在深度学习,但是深度学习的局限是需要大量工干预。因此,科研人员开始关注减少人工干预的自主智能方法,提高机器智能对环境的自主学习能力。
3. 人工智能将加速与其他学科领域交叉渗透。
人工智能是一门综合性的前沿学科和高度交叉的复合型学科,需要与计算机科学、数学、认知科学、神经科学和社会科学等学科深度融合。借助于生物学、脑科学、生命科学和心理学等学科的突破,将机理变为可计算的模型,人工智能将与更多学科深入地交叉渗透。
4. 人工智能产业将蓬勃发展。
“人工智能+X"的创新模式将随着技术和产业的发展日趋成熟,对生产力和产业结构产生革命性影响,并推动人类进入普惠型智能社会。
5. 人工智能的社会学将提上议程。
为了确保人工智能的健康可持续发展,使其发展成果造福千民,需要从社会学的角度系统全面地研究人工智能对人类社会的影响,制定完善人工智能法律法规。
VII. 虚拟现实
i. 如何把人类的感知能力和认知经历及计算机信息处理环境直接联系起来,是虚拟现实产生的业大背景。
ii. 技术基础
1. 虚拟现实(Virtual Reality, VR)是一种可以创立和体验虚拟世界的计算机系统。通过虚拟现实系统所建立的信息空间,是一个包容多种信息的多维化的信息空间(Cyberspace),人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分的发挥。在硬件方面,需要高性能的计算机软硬件和各类先进的传感器;在软件方面,主要是需要提供一个能产生虚拟环境的工具集。
2. 虚拟现实技术的主要特征包括
(1) 沉浸性
(2) 交互性
(3) 多感知性
(4) 构想性(想象性)
(5) 自主性
3. 随着虚拟现实技术的快速发展,按照其“沉浸性”程度的高低和交互程度的不同,虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等,向增强式虚拟现实系统(Augmented Reality, AR)和元宇宙的方向发展。
iii. 关键技术
1. 人机交互技术
与传统的只有键盘和鼠标的交互模式不同,是一种新型的利用VR眼镜、控制手柄等传感器设备,能让用户真实感受到周围事物存在的一种三维交互技术,将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合,是目前主流的人机交互手段。
2. 传感器技术
VR技术的进步受制千传感器技术的发展,现有的VR设备存在的缺点与传感器的灵敏程度有很大的关系。
3. 动态环境建模技术
虚拟环境的设计是VR技术的重要内容,该技术是利用三维数据建立膨拟环境模型。目前常用的虚拟环境建模工具为计算机辅助设计(Computer Aided Design, CAD),操作者可以通过CAD技术获取所需数据,并通过得到的数据建立满足实际需要的虚拟环境模型。除了通过CAD技术获取三维数据,多数悄况下还可以利用视觉建模技术,两者相结合可以更有效地获取数据。
4. 系统集成技术
包括信息同步、数据转换、模型标定、识别和合成等技术,由于VR系统中储存着许多的语音输入信息、感知信息以及数据模型,因此VR系统中的集成技术显得越发重要。
iv. 应用和发展
1. 硬件性能优化迭代加快。
轻薄化、超清化加速了虚拟现实终端市场的迅速扩大,虚拟现实设备的显示分辨率、帧率、自由度、延时、交互性能、重址、眩晕感等性能指标日趋优化。
2. 网络技术的发展有效助力其应用化的程度。
泛在网络通信和高速的网络速度,有效提升了虚拟现实技术在应用端的体验。借助于终端轻型化和移动化5G技术,高峰值速率、毫秒级的传输时延和干亿级的连接能力,降低了对虚拟现实终端侧的要求。
3. 虚拟现实产业要素加速融通。
虚拟现实产业呈现出从创新应用到常态应用的产业趋势,在舞台艺术、体育智慧观赛、新文化弘扬、教育、医疗等领域普遍应用。“虚拟现实+商贸会展”成为后疫情时代的未来新常态,“虚拟现实+工业生产”是组织数字化转型的新动能,“虚拟现实+智慧生活”大大提升了未来智能化的生活体验,“虚拟现实+文娱休闲”成为新型信息消费模式的新载体等。
4. 新技术驱动新商业。
元宇宙等新兴概念为虚拟现实技术带来了“沉浸和叠加”“激进和渐进”“开放和封闭”等新的商业理念,大大提升了其应用价值和社会价值,将逐渐改变人们所习惯的现实世界物理规则,以全新方式激发产业技术创新,以新模式、新业态等方式带动相关产业跃迁升级。
四、 新一代信息技术发展展望
(1)泛在智能的网络连接设施将是网络技术的发展重点,能够实现网络、应用、终端向下一代互联网平滑演进升级,物联数通的新型感知基础设施将会成为国家战略的组成部分,云网一体化建设发展将实现云计算资源和网络设施有机融合,算力和算法中心的构建将提供低时延、高可靠、强安全边缘计算能力。
(2)大数据技术将继续成为未来发展主流,以数据资源开发利用、共享流通、全生命周期治理和安全保障为重点,建立完善数据要素资源体系,激发数据要素价值,提升数据要素赋能作用,数据治理技术、数据应用和服务技术、数据安全技术将会进一步加强。
(3)新一代信息技术的持续创新将会成为国家战略,坚持创新在国家信息化发展中的核心地位,把关键核心技术自立自强作为数字中国的战略支撑,面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,深入实施创新驱动发展战略,构建以技术创新和制度创新双轮驱动、充分释放数字生产力的创新发展体系。
(4)从信息化技术转向数字化技术,将是未来国家、社会、产业数字化转型的重要支撑。关键软硬件技术的突破将持续引领技术的发展前沿,先进专用芯片生态、协同优化计算机软硬件生态、完善开源移动生态将会成为未来信息化生态的基础。
(5)新一代信息技术将继续深入与产业结合,引领产业数字化转型发展。互联网、大数据、人工智能等同各产业深度融合,推进产业数字化和绿色化协同转型,发展现代供应链,提高全要素生产率,促进节能减排,有力提升经济质量效益和核心竞争力,将成为技术发展的重要落脚点和支撑点。
(6)新一代信息技术的发展,将有效支撑社会治理现代化的发展,从而有效地构建共建、共治、共享的数字社会治理体系。深化大数据、人工智能等信息技术在立体化智能化社会治安防控体系、一体化智慧化公共安全体系、平战结合的应急信息化安全体系的应用,将会有效推进新型智慧城市的高质量发展。
(7)新一代信息技术的融合发展,将会打造协同高效的数字政府服务体系,提升党政机关信息化建设水平,推动政务数据共享流通,推进“一网通办”让群众办事更便捷,打造市场化法治化国际化营商环境。
(8)信息技术发展落脚点将更加聚焦“以信息技术健全基本公共服务体系,改善人民生活品质,让人民群众共享信息化发展成果”。数字教育,普惠数字医疗,数字社保、就业和人力资源服务,数字文旅和体育服务将会成为信息技术价值的重要价值体现。
(9)提升信息技术的国际竞争力,积极参与全球网络空间治理体系改革,推动“数字丝绸之路”高质量发展,数字领域国际规则研究制定、多层次的全球数字合作伙伴关系构建、高质量引进来、高水平走出去将会成为信息技术竞争力的重要体现。
(10)信息技术有序发展的治理体系是基础,网络安全、信息安全、数据安全的监管技术,数字技术应用审查机制、监管法律体系、网络安全保障体系和技术能力的建设将会成为技术和管理融合的重要方向。