导图社区 三论:系统论、信息论、控制论
三论:系统论、信息论、控制论——系统与要素、系统的结构、结构方法与功能方法、信息传递的历史、信息交流的特点。
编辑于2022-02-24 17:55:52《方法论与工程化解决方案》知识总结,本书借助数据仓库实现一套用户画像系统的方案。从实际工程案例出发,结合多业务场景,内容涵盖开发离线批处理计算的标签及流式计算标签,为读者的分析、开发、搭建用户画像系统,并借助该用户画像系统为运营人员制定运营用户的策略提供端到端的解决方案。
数据仓库与数据挖掘相关背景、概念、技术信息梳理,包含1数据资源、2数仓的概念与结构、3数仓的设计与开发、4联机分析处理OLAP、5数据挖掘、6数据预处理、7数据挖掘常用算法等内容。
大数据技术涉及到的中间件和解决方案梳理,思维导图展示了大数据处理流程中的关键组件及其相互关系,从数据采集、存储、处理到分析,涵盖了大数据技术的各个方面。
社区模板帮助中心,点此进入>>
《方法论与工程化解决方案》知识总结,本书借助数据仓库实现一套用户画像系统的方案。从实际工程案例出发,结合多业务场景,内容涵盖开发离线批处理计算的标签及流式计算标签,为读者的分析、开发、搭建用户画像系统,并借助该用户画像系统为运营人员制定运营用户的策略提供端到端的解决方案。
数据仓库与数据挖掘相关背景、概念、技术信息梳理,包含1数据资源、2数仓的概念与结构、3数仓的设计与开发、4联机分析处理OLAP、5数据挖掘、6数据预处理、7数据挖掘常用算法等内容。
大数据技术涉及到的中间件和解决方案梳理,思维导图展示了大数据处理流程中的关键组件及其相互关系,从数据采集、存储、处理到分析,涵盖了大数据技术的各个方面。
三论
系统论
1古代朴素的系统思想
宇宙论
东方宇宙以太极图为代表
万物由阴阳二气组成
西方宇宙论以原子论代表
唯物主义哲学家德谟克利特认为世界是由最小的物质原子组成,各种不同的原子,形成不同层次的世界
亚里士多德,认为万物由四种因素构成:目的因,动力因,形式因,质料因。并提出整体大于部分之和的思想。
近代探索
机械论
世界是由许多做机械运动的部分相加起来的
科学主张
依靠实验和对具体事物的分析
形而上学
孤立地、静止地分析事物的思想
19世纪的科学探索
能量守恒定律
各种能量可以相互转化,而且总量不变
细胞学
构成生物的最小单位是细胞,细胞是有生命的,不同于无机物
进化论
动物是由低级到高级不断进化而来的
元素周期表
十九世纪下半叶,俄国化学家门捷列夫发现了元素周期律,证明各元素间的内在联系
马克思主义理论
辩证唯物主义,强调世界是相互联系着的事物的统一体
历史唯物主义,用系统观点(经济基础/上层建筑;生产力/生产关系)分析社会问题
2系统论的创立和发展
诞生标识
1954年,美籍奥地利理论生物学家贝塔朗菲,以及其他经济学家、生物学家、生理学家,成立了“一般系统论研究会”,宣告了系统论的诞生。
背景
近代科学分化越来越细,探究内容越来越深,但相互之间关系越来越割裂,忽视了事物发展的普遍规律,迫切需要一种理论来实现各门学科的沟通和进行指导。
基础
系统工程的兴起。系统工程是现代管理技术,他把系统思想和方法应用于各种复杂工程的设计和管理方面。
二十世纪四十年代,贝尔电话公司在发展微波通信网络时,按工程时间和顺序,把工作划分为规划、研究、发展、发展中的研究和通用工程五个阶段,形成了一套系统工程的方法。系统工程由此诞生,并逐步推广到其他生产和科研领域。由于系统工程综合运用运筹学、控制论、信息论、管理科学,并采用电子计算技术,因而上升为理论,形成系统工程学。
3系统与要素
系统
处在一定相互联系中与环境发生关系的各组成部分的整体
要素
要素是组成系统的各个部分。要素是构成系统的实体,离开要素,系统就不存在。系统又不是要素的简单相加,它还包括要素间的关系,要素有机地组织起来才构成系统整体。
4系统的结构
结构是系统内各要素的组织形式,是要素间的关系。
结构直接觉着系统的性质(石墨/金刚石)
在系统的发展中,要素是活动的,而结构则是相对稳定的。结构使事物保持稳定性和连续性。
结构是系统与要素的中介
结构的改变是系统质变的标志
5系统的层次
层次是要素的等级划分
系统的高层次往往是主导力量,而系统的低层次往往是基础结构
低层次的要素不会直接对系统发生作用,它必须先作用于高层次的要素,并通过它来影响系统整体。
6系统的功能
系统在特定环境中发挥的作用或能力就叫作系统的功能
功能是系统的外在行为,是纵向的、动态的方面。结构联结着系统与要素,功能联结着系统与环境。
结构作为内在根据决定着系统的行为,即结构决定功能。
系统对环境的作用不是单向的。环境收到系统的作用后,会把其结果作为信息返回到系统中去,系统根据这些信息就会调节自己的活动,从而更好地发挥功能。这个过程,就叫作反馈。
以反馈调节为中介,功能就不仅仅被结构所决定,而且能动地改变着系统的结构,从而使系统更加完善。
7系统的原则
整体性原则
系统大于各部分之和
相关性原则
相关性原则指的是,系统的要素之间,要素与系统整体之间,系统与环境之间的普遍联系,它们互相制约,互相影响,不可分割开来。
自组织性和动态性原则
系统能够自动调节自身的组织和活动的特性,就构成了系统论的自组织性原则系统的自组织、自调节能力源于系统结构的有机性,并且具备反馈功能。
动态性原则是自组织性原则的另一面,它指的是系统不是静止不变的,而是出于动态中的。
目的性原则
系统活动最终趋向于有序和稳态
由于系统具有自组织、自调节能力,通过反馈适应环境,保持系统稳态,这样就呈现某种目的性
系统的目的性使系统的活动表现为异因同果、殊途同归
优化原则
指通过系统的组织、自调节活动,达到系统在一定环境下的最佳结构,发挥最好功能。
系统的优化离不开一定的现实环境,只是相对的优化,且优化不是一次完成的,它随着人的认识的神话和环境条件的变化而逐步提高,这就是“多级优化”。
进行系统优化,要从实际条件出发,进行可行性研究。
转化原则
8耗散结构理论
系统与环境关系
a孤立系统:不与外界发生物质和能量交换,系统处于死的平衡态。金属、结晶体可认为是该类系统。
b封闭系统:与环境发生能量交换,但不发生物质交换。如天体运行借助万有引力,交换能量,不交换物质。
c开放系统:与环境发生物质和能量交换。
创始人
比利时俄裔科学家伊里亚·普里戈金
理论概述
一个远离平衡态的非线性的开放系统(不管是物理的、化学的、生物的乃至社会的、经济的系统)通过不断地与外界交换物质和能量,在系统内部某个参量的变化达到一定的阈值时,通过涨落,系统可能发生突变即非平衡相变,由原来的混沌无序状态转变为一种在时间上、空间上或功能上的有序状态。这种在远离平衡的非线性区形成的新的稳定的宏观有序结构,由于需要不断与外界交换物质或能量才能维持,因此称之为“耗散结构”(dissipative structure)。
理论启示
有高度组织性的系统必须是开放的,与环境进行物质和能量交换,才能维持机体的生存。
事物发展变化存在着两种趋势:由增熵走向无序和由减熵走向有序。
开放意味着获得生命力,而孤立和封闭则导致僵化
9系统思维
三种认知水平
1感性认识
只涉及具体存在的现象,并对它作简单的分类。
2系统的知识
对事物本质的,实体的掌握。系统的知识把事物看做一个系统,深入分析他的构成,从而掌握事物的本质。
3元系统的知识
对事物的具体的综合的掌握。不仅把事物自身看做一个系统,进行系统分析,而且把事物置于更大的系统中,考察它与环境的多种联系。
10结构方法与功能方法
中西医示例
西医用结构方法
西医注重解剖、时延,他的理论侧重于对人体各器官和机体结构的研究,因此西医关于病理的阐述都是实在的描述,比如发烧现象被解释为发言的副现象,而发炎是细菌引起的,治疗的办法是消灭细菌。
中医用功能方法
中医注重机体功能的研究,它通过机体活动现象的判断来调节机体功能,因此中医关于病理的阐述都是功能的描述,比如发烧被解释为上火,而上火是由于风寒、情绪等造成的机体功能失调,治疗办法就是增强抵抗力,调节机体功能。
结构方法
结构方法是对系统的横断面、静态的掌握。系统的性质是由结构决定的,要素由结构联结成系统整体,结构又把要素分成若干层次,因此,结构是系统的关键。
从结构上掌握系统就是弄清楚系统的要素,以及他们之间的关系、层次,从而掌握系统整体和未来。
功能方法
通过系统活动的过程、能力、作用等方面来研究系统,是对系统外部联系的研究,是一种动态的,纵向的研究方法。
两种方法相结合
两种方法互相补充,形成完整的系统方法。
11系统模型
系统模型是系统方法的具体形式,是系统分析的重要手段。系统模型与实际系统间存在着结构上或功能上的相似关系。
系统间存在着异构同功(结构不同,但功能相同)和异质同构(构成要素不同,但结构相同)的关系,因此可以在结构不同的情况下模拟系统的功能,在质料(要素)不同的情况下模拟系统的结构,从而在功能上或结构上以魔性的研究来代替实际系统的研究。
模型的划分
按形态划分
具体模型
用具有代表性的具体系统来建立模型。具体模型包括实物模型,缩尺模型。
抽象模型
以语言、符号、图表、数学、图形等手段来表述事务系统。聚体育数学模型,符号模型,理想模型等。
按性质划分
结构模型
找出系统的要素、结果、层次及各方面的关系,用以组成模型。
功能模型
找出系统的输入和输出,以及反馈过程,来把握系统的行为方式。
制定模型的方法
类比法
一种经验的、直觉的方法,通过对系统的结构或功能的分析,运用逻辑、概念、范畴来建立系统模型。适用于社科方面。
演绎法
运用数学工具(集合论等)来测定并描述系统的变化,凭借计算机等科学手段,更科学、精确。适用于自然科学领域。
12系统工程
简单地说,系统工程就是把一项实践当做一个一个系统,运用系统方法和系统模型来加以组织。
系统工程是组织管理各项系统的规划、研究、设计、制造、实验和应用的具有普遍意义的科学方法。
系统工程以最优化为目标。选择最有利的方案来实施,称为系统工程的根本目标。
协同性是达到最优化的重要原则,系统工程就是把各项具体工作协调起来,使其互相配合,同步发展。
系统工程具有高度的科学性,运筹学和控制论是系统工程的技术理论基础。
系统工程学是一门综合性学科,它运用运筹学、控制论、信息论、管理科学等多种学科,并且采用计算机技术手段,对各项具体工作进行协调,以完成复杂系统的设计和管理。
13系统决策
系统决策是运用系统方法,指定可选择方案并确定最佳方案的活动。
系统决策包括建立系统化的程序,运用数学手段、计算机技术等因素,从而使决策科学化。
系统化的决策环节
1提出问题
全局性、战略性的关键问题
2确定目标
切实可行的、符合实际的
3获取信息
围绕目标收集大量信息,了解有关情况。是决策的基础。
信息必须准确无误。
信息必须迅速传递到决策中枢。
4设计方案
根据掌握的信息、资料,围绕确定的目标,设计出若干种可能的解决问题的途径、办法。
设计方案要尽可能把各种可能性考虑在内,以便有更多地选择余地。
5决策
决策即在预选方案中选取最佳方案,或者从中综合出一个方案。所谓最佳方案,包括可行性,是在现实条件下能够做到的最佳选择。
6反馈
决策付诸实施后,要受到实践的检验。不合理的方面在实践中被发现,反馈回去,以便及时修正方案。
14哲学意义
因果论的补充
传统线性因果论
每一事物的变化必有另一事物的作用作为原因,原因直接产生结果,原因与结果一一对应。
补充:非线性因果论
事物间的作用不是简单的直线式的,不是原因直接产生结果。在事物与事物相互作用的中间,存在着中间环节,这就是系统的自组织性、自调功能。
系统的变化是多种事物作用的结果,即多因一果。除此之外,还存在着一因多果。
严格决定论的补充
严格决定论
一切事物都是被严格规定按一定规律发展的,没有偶然的事物。
补充
耗散结构理论之处,耗散结构的变化是以涨落为中介,连接结构与功能,最后形成新的结构。这样未来事件的发展受反常涨落的影响而不可预测,环境的扰动对系统只有概率性的影响,不能找出直接的一一对应的决定关系。所以,在世界上,个别现象无法预测,但在整体上可以通过概率做出预测。
信息论
1信息的含义
通俗的讲,信息就是“消息”,是事物存在和发展变化的情况。生物体从外部环境中获得的消息中反映的情况,就叫作信息。
信息并不是外部环境本身,而是外部环境发出来的消息中所包含的、表现外部环境的东西,即外部环境存在和发展变化的情况。
信息与消息
信息是消息的内容,消息是信息的形式或载体
一条消息中可能包含很多信息,或者很少的信息,甚至没有一点信息
同一信息可以寓于不同形式的消息之中
2信息传递的历史
1利用声音、语言传递
2利用文字传递
3利用烽火、击鼓、吹号、漂流瓶传递信息
4使用印刷记录、驻存和传递信息
5电报、电话、留声机、电子计算机
3信息的特性
1信息是不断运动变化的
2信息存在于尚未确定的事物中
所谓尚未确定的事物,就是运动着的事物存在着种种可能出现的状态,并且究竟会出现什么状态是人们预先不完全或完全不知道的。
3信息具有知识属性,即借助信息,人们可以获得知识,消除认识上的不确定性,由不知转化为已知。
4信息的功能
1作为决策的依据
2帮助人们控制、调节各种活动
3帮助人们互相通信、沟通联络
5信息交流系统
信息交流系统就是信息传递的媒介物和线路网
两个人面对面谈话就是最简单最原始的信息交流系统
6信息交流程序
信息经过编码,由信源发出,通过信道传递至信宿,在通过译码对信息解读,这一过程就是信息交流的基本程序。
信息变换
信息由一种形式变为另一种形式叫做信息的变换。信息传递离不开信息的变换,信息传递过程就是信息变换过程。
在传递信息过程中,把信息变换成便于传递的形式叫作编码;接收信息时,将编码的信息进行解释变换的过程叫做解码。
组成
信息源
简称信源,指信息的来源。信源一般以符号形式发出信息。
信道
信息传递的通道
信宿
信息传递的终点
7信息交流前提
通信双方必须使用同一种语言
8信息交流方式
口头交流
通话、语言
书面交流
文字、符号、邮件
9信息交流的特点
信息的发送和接收方具有目的性,会积极分析信息,理解信息,运用信息,纠正、补充和发展信息,向对方提供着新信息,由此取得双方对事物认识的一致或接近。
10信息度量方法
信息度量概念
信息度量即对信息数量的测定,就是给信息以定量的表示。
度量信息的本质
信息实际上就是运动着的事物的不确定性的东西。人们交流信息,互相通信,实质上就在于消除守信者在收到消息之前,对信源发出的那条消息的不确定性。信息度量大小的本质就是能够消除对信源认识的不确定性所需的信息量的多少。
11信息量的单位
bit
一比特,就是含有两个独立等概率的可能状态的事件所具有的不确定性被全部消除所需的信息量。
一个事件的等可能性是2的多少整数次方,他的信息量就是多少比特。
12平均信息量
信源可能发出的全部符号所包含的信息量之和,就是信源具有的总信息量。按平均计算,我们接收到一个符号所得到的信息量,就叫做信源的平均信息量。
13熵
物理学中的熵
克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念,熵的本质是一个系统“内在的混乱程度”。若系统内部越有序,熵值约小,系统内部越混乱,则熵值越大。对于宇宙间能量的分布,克劳修斯认为宇宙间的熵是随时间而增大的,宇宙中无数的院子原来是有秩序地排列的,以后由于它们自由地无规则运动,使得能量分布不断地均匀化了,于是宇宙就由有秩序变为无秩序了。
克劳修斯的熵的定义和理论被称为热力学第二定律
热力学三大定律
第一定律:能量守恒定律
第二定律:熵增定律,热量可以自发地从高温物体传递到低温物体
第三定律:绝对零度时,所有纯物质的完美晶体的熵值为零,但绝对零度不可达到
信息论中的熵
信源输出的平均信息量称为信源的熵,并且称信息为负熵。信息量增加,不确定性减少,有秩序程度增加,信息熵减少;信息量少,不确定大,混乱程度增加,信息熵增加。
14自然语言的多余度
多余度概念
把一个消息中所包含的符号比传递这个消息的信息所需的符号多的程度,叫做这个消息的多余度。
多余度产生的原因
自然语言作为信源输出的消息符号既不是各自独立的,概率也不是彼此相等的。
多余度的意义
多余度用于协助人们理解每一个词语的意思
实际熵
人们把自然语言的熵叫做信息源的实际熵
相对熵
一个信息源的实际熵与具有同样多符号等概率的信息源的最大熵之比,叫做该信息源的相对熵,或者叫做效率。
传信率
单位时间内信道传递的信息量,简称传信率,或传递信息的速度,比如每秒传递一比特信息量,就不如每秒钟传递二比特信息量效率高。
15信息交流障碍
信道不良
噪声
广义地说,凡是对人们接收信息造成干扰而使声音信号变样、图像信号变形的都叫噪声。
失真
把信号在传输过程中,与原有信号或标准相比发生的偏差叫作信号的失真。
编码和译码出错
16客服信息交流障碍
17提高传信率
提高信道容量
信道容量
一个信道的最大传信率叫做这个信道的信道容量,它表示一个信道在单位时间内传递的最大信息量。
减少多余度
压缩信源编码,增加每个信号携带的信息量
提高信号传输速度
18收集信息的基本要求
目的明确
材料可靠
认真求实
视野宽阔
19获取信息的主要技术
观察
调查
文件研究
控制论
1什么是控制
人类掌握和使用工具的过程就是控制活动。人是控制这,工具是控制对象。
2控制论研究内容
控制论是关于动物和机器中控制和通信的科学。控制论是以研究各种系统共同存在的控制规律为对象的一门科学。
3控制论产生基础
控制论的产生,是多科学理论较差影响的结果,主要包括电子学、数学、数理逻辑、神经生理学、心理学和语言学等。
4控制的“同构理论”
理论观点
认为,尽管机器与动物在质上有着天壤之别,但从机器控制的动作和人的行为过程来看,它们都有一个相当确切的“同构性”。
机器动作和人的行为共通环节
1效应器官
执行某种特定的任务
2感觉器官
与外界交流,收集当前环境以及自己完成任务的消息
3中枢决策器官
选择、加工、存储信息;控制1和2
5信息在控制过程中的作用
控制的过程也是信息运动的过程,控制的过程就是借助不同形式、不同载体的信息运动去指挥各种物质运动和能力转换。
6控制的反馈机制
反馈联系和反馈
在控制过程中,把信息的双向运动称为反馈联系。
所谓反馈,就是控制系统把信息传输出去后,又将信息作用的结果返回到控制系统,并对控制系统的在输出发生影响。信息在这种循环往返的过程中,不断改变内容,实现控制,就是控制的反馈机制。
7反馈控制的两种方式
正反馈
输出后的信息与原输出的信息起着相同的作用,使总的输出增大的反馈调节
负反馈
输出的信息与原输出的信息起相反的作用,使总输出见效的反馈调节
8控制论的黑箱研究方法
黑箱方法概念
当一个系统内部结构不清楚,或者根本无法弄清楚他的内部结构时,借助从系统的输入来看系统的输出,而无需考虑系统内部的结构状态的方法。
在不打开黑箱的情况下,利用外部观测、实验,通过输入和输出信息,来研究黑箱功能和特性,探索其构造和机理的一种科学方法
9控制论功能模拟方法
功能模拟就是以不同自动系统中功能和行为的相似为基础,从控制和通讯方面用模型模拟原型的方法。
10控制论的哲学意义
控制论的出现,使唯物主义世界观的统一性原理更加丰富了。从治理从质和量两方面深刻揭示了生命、社会和人工技术三种不同运动形式有气共同的控制规律,他们都是控制系统。
11控制论的发展
20世纪四五十年代
经典控制论时期,着重于研究单机自动化或局部自动化。
20世纪六十年代
现代控制论时期,从单变量控制发展到多变量控制,从单纯的自动调节进展到最优控制。
20世纪七十年到现在
大系统理论时期,研究多变量、多输入、多输出的系统,通过模型化方法,对大系统的控制与信息的问题进行定性、定量和静态、动态的分析,估计系统现有运行状态,预测系统未来发展趋势,并对系统有关系能做出评价。
趋势
控制论向智能科学方向发展
12智能机器人
13机器能思维吗
机器的思维是对人类思维的模拟,不等同于人类的思维。
14人工智能的局限性
电脑由人脑创造,本身没有自觉地意识和目的
电脑的发展水平要依赖于人脑的发展水平,也要依赖于社会生产技术的发展水平
15人机共生的社会问题
16生物控制论
17社会控制论