导图社区 人工智能基础
- 149
- 1
- 1
- 举报
人工智能基础
人工智能基础知识，是一些比较传统的方法，不涉及深度学习，深度学习可以看我的另一个思维导图。本篇总结了人工智能概述、确定性知识系统、不确定性推理、智能搜索技术等。
编辑于2024-02-04 00:47:36- 相似推荐
- 大纲
人工智能基础
人工智能概述
AI基本概念
智能的概念
自然智能
定义
指人类和一些动物所具有的之力和行为能力
人类的自然智能
只人类在认识客观世界中，由思维过程和脑力活动所表现的综合能力
智能的不同观点和层次结构
观点
思维理论
智能来源于思维活动
知识阈值理论
智能取决于可运用的知识
进化理论
智能可由逐步进化来实现
层次结构
智能包含的特征能力
感知能力
记忆和思维能力
学习和自适应能力
行为能力
人工智能的概念
解释
用人工的方法在机器上实现智能
研究如何构造智能机器或系统，模拟延伸扩展人工智能
图灵测试
人工智能的研究目标
AI的产生与发展
孕育期
形成期
知识应用期
从学派分立走向综合
机器学习和深度学习引领发展
AI研究的基本内容
人工智能的学科位置
自然科学和社会科学的交叉
核心：思维与智能
基础学科：数学、思维科学、计算机
与脑学科和认知科学的交叉研究
智能模拟的方法和技术研究
机器感知
视觉
听觉
机器思维
机器学习
机器行为
AI研究的不同学派
符号主义
数理逻辑
知识工程
连接主义
仿生学
人工神经网络
行为主义
控制论
确定性知识系统
确定性知识系统概述
知识表示
知识的定义
知识的类型
要求
表示能力
正确有效的表示
可利用性
有利于进行有效推理
可组织性和可维护性
可以按某种方式把只是组织成知识结构
可理解性和可实现性
易读易懂易获取易实现
表示方法
类型
陈述性知识
知识本身和使用过程相互分离
过渡性知识
知识本身和使用过程结合在一起
基本方法
非结构化方法
谓词逻辑
产生式
结构化方法
语义网络
框架
知识推理
定义
结构
对多个判断分析和综合，做出新的判断
过程
对知识加工
心里过程主要形式
三段论
线性（线性三段论）
条件
概率
推理方法
推理逻辑
演绎
三段论
归纳
假设和证明
知识确定性
确定
不确定
机器实现
推理机（实现推理的程序）
推理控制策略
分类
推理策略
搜索策略
确定性知识表示方法
谓词逻辑表示法
逻辑学基础
命题
具有真假意义的陈述句(断言)
真值（命题的意义）
T/F
论域
由所讨论对象全体构成的集合，也成为个体域
谓词
用来表示谓词逻辑中的命题，如P(x1,x2,...,xn)。P:D^n->{T,F}。其中D^n={(x1,x2,...,xn)|x1,x2,xn∈D)
是D到{T,F}的映射，真值是T或F，可独立存在
函数
f:D^n->D。其中D^n={(x1,x2,...,xn)|x1,x2,xn∈D)
D到D的映射，函数的值是D中的元素，只能作为谓词的个体存在
连接词
┐、∧、∨、→、↔
量词
∀、∃
量词的辖域
指量词后面的单个谓词或者公式
约束变元
辖域中与量词同名的变元
自由变元
不受约束的变元
谓词逻辑表示的经典例子
条件部分
动作部分
删除表
添加表
特点
优点
自然 明确 精确 灵活 严密 模块化 易实现
缺点
知识表示能力差
只能表示确定性知识
知识库管理困难
缺乏知识的组织原则
存在组合过多
只能盲目推理
系统效率低
推理演算和知识含义分开
产生式表示法
基本方法
事实
概念
事实是断言一个语言变量的值或多个语言变量之间关系的陈述句
表示方法
(对象,属性,值)
(关系,对象1,对象2)
规则
形式
P->Q
IF A AND B THEN C
特性
优点
自然、模块、有效
效率低、不便于表示结构性知识
语义网络表示法
定义
实体和语义关系来表达知识的有向图
组成
节点
弧
语义单元
(节点1,弧,节点2)
基本网元
基本语义关系
实例关系：ISA
含义：是一个
体现：具体与抽象
分类关系（泛化关系）：AKO
含义：是一种
体现：子类与超类
成员关系：A-Member-of
含义：是一员
体现：个体与集体
属性关系：Have
含义：有
体现：具有一个属性
属性关系：Can
含义：能
体现：能做一件事情
包含关系（聚类关系）：Part-of
含义：是一部分
体现：部分与整体
注意：不具有属性的继承性
时间关系：Before/after
含义：前/后
位置关系：Locat-on/Locat-under/Locat-at
含义：在…上面/在…下面/在…
相近关系：Similar-to/Near-to
含义：相似/接近
推理
继承
抽象传递到实例
建立一个节点表，找ISA、AKO、A-Member-of
匹配
寻找相符
构造一个片段
特性
优点
结构化、联想性、自然性
缺点
非严格性
复杂性
框架表示法
框架理论
框架
人们只要把新的事物加入到框架当中，便可形成一个具体是实体
实例框架
对于一个框架，人们把细节填入后，就得到了具体实例。
框架系统
在框架理论中，框架是知识的基本单位
框架结构和框架表示
Frame<框架名>
槽名1：侧面名1 值1，值2，...
框架系统
纵向
AKO和ISA
横向
框架表示法的特征
优点
结构性、深层性、继承性、自然性、能表示因果
缺点
缺乏框架的形式理论、缺乏过程性的知识、清晰性难以保证
确定性知识推理方法
产生式推理
基本结构
综合数据库
存放推理过程的各种信息
问题的初始状态
输入的事实
中间结论以及最终结论
作为推理过程选择的依据
规则库（知识库）
作用
存放推理所需要的的所有规则
是产生式系统能够进行推理的根本
要求
完整、一致、准确、灵活、可组织
控制系统（推理机）
作用
控制系统运行
任务
选择匹配
按一定策略从规则库中选择规则和综合数据库中的已知事实进行匹配
冲突消解
对匹配成功的规则，按照某种策略执行
执行操作
将得出的结论加入综合数据库，若还有其他操作则继续执行
终止推理
检查综合数据库是否包含目标，如果有则停止推理
路劲解释
记住应用过的规则序列，给出问题的解释路径
推理方法
正向推理
反向推理
混合推理
自然演绎推理
逻辑基础
等价式
永真式
替换
合一
方法
使劲推
归纳演绎推理
归纳演绎推理的逻辑基础
真假
永真性
任意一个都满足
可满足性(相容性)
至少存在一个个体取值为真
永假性(不相容)
都不满足
范式
前束范式
所有量词都非否定的出现在公式的最前面且管辖整个公式
Skolem范式
前束范式的基础上，所有的存在量词都在全称量词的前面
子句集及其简化
子句
文字
原子谓词公式及其否定
子句
任何文字的析取式成为子句
空子句
不含任何文字的子句
永假
记做□或NIL
子句集
在谓词逻辑里，任何一个谓词公式都可以通过应用等价关系及推理规则变成相应的子句集
子句集的化简
消去谓词公式中的“→”、“↔”
P→Q可以写成┐P∨Q
P↔Q可以写成(P∧Q)∨(┐P∧┐Q)
减少否定符号的管辖范围，让否定符号只作用于一个谓词
┐(┐P)可以写成P
┐(P∧Q)可以写成(┐P)∨(┐Q)
┐(P∨Q)可以写成(┐P)∧(┐Q)
┐(∀x)P(x)可以写成(∃x)┐(P(x))
┐(∃x)P(x)可以写成(∀x)┐(P(x))
对变元标准化
给量词改名，让不同量词约束的变元名字不同
化为前束范式
将所有的量词都移到公式的左边，注意移动时不改变其相对顺序
消去存在量词
若存在量词不出现在全称量词的辖域(也就是说它的左边没有全程量词)
用一个新的个体常量替换约束的变元
如(∃x)P(x)可以写成P(y)
若存在量词在全称量词的辖域(也就是说它的左边没有全程量词)
用Skolem函数替换y变元
如y在x的辖域内，则y可以写成f(x)
化为Skolem标准形
减少∨的管辖范围，让∨只作用于一个谓词
P∨(Q∧R)可以写成(P∨Q)∧P(P∨R)
消去全称量词
由于全部变元都受到全称量词的约束且全程量词与次序无关。
可以直接省略
消去合取词∧
把谓词公式变成子句集
更换变元名称
任意两个子句中不出现相同的变元名
特性
由于Skolem化导致不唯一，但不影响可满足性
谓词公式F不可满足的充要条件是子句集不可满足
鲁滨逊归结原理
基本思想
子句之间是合取∧关系。所以子句只要有一个不满足，整个子句集就不满足
若子句集包含空子句，则子句集不可满足
首先把想要证明的问题否定，加入子句集。验证子句集是否有空子句。若有空子句则说明问题否定为假，否则继续归结。如果无论怎么归结都为真，则为真。
命题逻辑
归结推理
互补文字
若P为原子谓词公式，则P和┐P互补
归结
C1C2是子句(只有析取∨)。C1有L1，C2有L2。若L1和L2互补，则消去L1L2。将剩余部分按析取∨得到新子句C12。C1和C2是C12的亲本子句
特性
结果相同，过程不唯一
结论
C12是C1和C2的逻辑结论
C1和C2为真，则C12一定为真
C12代替C1和C2后，新的子句集S1的不可满足性可以推出S的不可满足性
C12加入C1和C2后，新的子句集S1的不可满足性可以互相推S的不可满足性
谓词逻辑
归结逻辑
没有公共变元时，进行合一操作，记为{a/y}
有公共变元时，先换掉，然后合一
不能同时消去两个对子
绕圈子或者无解，检查是否过程有问题
若内部有可合一的变元，应该先在内部进行合一
归结演绎推理的方法
原理
基于鲁滨逊归结原理的机器推理方法
过程
否定目标公式
把目标放入公式集中
把公式集化作子句集
对子句集进行归结
确定性知识系统简例
不确定性推理
不确定性推理的基本概念
不确定性推理的含义
从不确定的初始证据出发，运用不确定的知识，推出不确定但却合理或基本合理的结论
不确定性推理的适用范围
知识不完备不精确
描述模糊
多种原因导致同一结论
结果不唯一
不确定性推理的基本问题
知识的不确定性表示
考虑因素
问题的描述能力，推理中不确定性的计算
含义
知识确定性的程度，或静态强度
表示方法
概率[0,1]
可信度[-1,1]
证据的不确定性表示
证据的类型
证据组织
基本证据
组合证据
析取或合区。基于基本证据，有最大最小方法，概率方法，有界方法等
证据来源
初始，中间
表示方法
概率，可信度，模糊集
不确定性的匹配
含义
不确定的前提条件与不确定事实匹配
计算方法
设计一个计算相似程度的算法，并给出相似的限度，看是否落在限度内
不确定性的更新
如何用证据的不确定性去更新结论的不确定性
不同方法处理方式不同
如果把中间结论的不确定性传递到最终揭露
把当前结论及其不确定性 作为新的结论放入数据库进行传递
不确定性结论的合成
多个不同知识推出同一结论，但可信度不同
不确定性推理的类型
数值方法
基于概率
可信度方法
主观Bayes
证据理论
概率推理
模糊推理
非数值方法
可信度推理
可信度的概念
可信度是人们对某个事物或者现象为真的相信程度，具有一定的主观性
可信度推理模型
规则表示
IF E THEN H(CF(H,E))
定义
E是前提，H是结论，CF是可信度
CF(H,E)
取值范围是[-1,1]
CF(H,E)=MB(H,E)-MD(H,E)
定义
MB是信任增长度
MD是不信任增长度
结论
互斥，两者必有一个为0
取值范围是[-1,1]
可以来回推
MB(H)=MD(┐H)
MB(H)+MB(┐H)=0
可信度不是概率，不满足P(H)+P(┐H)=1
计算
计算单个证据对结论的可信度
更新公式
CF(H)=CF(H,E)*max(0,CF(E))
不考虑CF为假对于H的影响
组合证据
合取and：取最小值
析取or：取最大值
计算单个证据对结论的可信度
合成公式
如果除不尽，一般四舍五入保留两位小数
应用
血液病诊断专家系统MYCIN
主观Bayes推理
概率论基础
全概率公式、贝叶斯概率
推理模型
主要方法
更新H的后验概率
规则表示
IF E THEN (LS,LN) H
定义
(LS,LN)
都用来表示该知识的知识强度
LS
充分性度量
LN
必要性度量
O(X)
几率函数
P(x)=0↔O(x)=0
P(x)=1↔O(x)=+∞
O(X)=P(X)/(1-P(X))
P(X)=O(X)/(1+O(X))
结论
O(H|E)=LS*O(H)
O(H|┐E)=LN*O(H)
性质
LS
LS>1
E支持H，LS越大，E对H的支持越充分
LS趋近于+∞时，P(H|E)趋近于1，表示E将导致H为真
LS=1
E对于H没有影响
LS<1
E不支持H，LS越小，E对H的不支持越充分
LS=0时，P(H|E)=0，表示E将导致H为假
LN
把LS中的E换成┐E
计算
计算单个证据对结论的可信度
更新公式
当E肯定为真
当E肯定为假
当E与S无关
其他情况
组合证据
看P(E|S)
合取and：取最小值，直接舍弃大的那条证据
析取or：取最大值，直接舍弃小的那条证据
计算多个证据对结论的可信度
在计算中间，该合成时就合成，之后可以继承
应用
地矿勘探专家系统PROSPECTOR
模糊推理
模糊集
概念
μF是隶属函数，F是U的模糊集
μ(u)越大，隶属程度越高
模糊集合与其隶属函数不是等价的
表示
离散型
注意
/是分隔符，不是除号
+是连接符，不是加号
当隶属度为0时，可以省略，但不建议
例
F=1/20+0.8/30
连续型
例
一般的表示方法
注意
∫是关系符，不是数学中的积分符号
运算
F⊆G
对于任意的u属于U，都有μF(u)<=μF(u)
F∪G
对于每一个u，都取两者的最大值
F∩G
对于每一个u，都取两者的最小值
子主题 2
┐F(补集)
对于每一个u，都取1-μF(u)
模糊概念的匹配
语义距离
定义
例
作用
匹配度
定义
1-d(F,G)
可以给定一个阈值，来判断两个概念是否匹配
贴近度
注意外积一定要补充被省略掉的隶属度为0的元素
模糊关系
定义
类似笛卡尔积
模糊关系的构造
定义
类似笛卡尔积，先取小再取大
例
U是行，V是列
模糊关系的合成
定义
类似矩阵乘法，每个位置在计算时「先取小再取大」
例
模糊变换
运算同模糊关系的合成
模糊推理的方法
按照给定的推理模式，通过模糊集合和模糊关系的合成来实现
模糊知识表示
规则
IF x is F THEN y is G
证据
x is F`
模糊推理的方法
模糊假言推理
定义
例
模糊抗拒式推理
定义
例
假言三段论
定义
例
智能搜索技术
搜索概述
含义
搜索
利用知识构造一条代价最小的推理路线
智能搜索
利用搜索过程得到的中间信息来引导搜索向最优方向发展的算法
类型
基于空间搜索
状态空间
A算法
A*算法
与/或树
问题规约法
博弈树
极大/极小算法
α-β剪枝
基于随机算法
演化机制
遗传算法
免疫优化
免疫算法
种群寻优
蚁群算法
粒群算法
统计模型
模特卡罗算法
其他方法
爬山搜索算法
模拟退火算法
状态空间问题求解方法
状态空间问题表示
状态
表示问题求解过程中每一步问题状况的数据结构，可以用一个向量表示
操作
也称算符，将一种状态变换为另一种状态，描述状态之间的关系
状态空间
用来描述一个问题的全部状态以及状态之间的相互关系，可用一个三元组(S,F,G)表示
S
初始状态
F
操作集合
G
目标状态
可以用一个有向图来表示
节点表示状态
边表示操作
解题过程
选择合适的状态和操作
从某个初始状态出发，每次使用一个操作来建立操作序列，直到达到目标状态为止
由初始状态到目标状态使用的算符序列就是一个解
问题规约求解方法
基本思想
将问题分解或等价变换成一系列简单的子问题
在与或图上执行搜索的过程,其目的在于标明起始节点是可解的。即搜索不是去寻找到目标节点的一条路径,而是寻找一个解树。
表示方法
与/或树
定义
端节点
没有子节点的节点
终止节点
本原问题
可以直接解答的问题（递归的出口）
本原问题所对应的节点
可解节点
任何终止节点都是可解节点
如果是‘或’节点，当子节点至少有一个为可解借点，则是可解借点
如果是‘与’节点，当子节点全部为可解借点，则是可解借点
解树
由可解借点构成，并且由可解结点可以推出初始节点为可解借点，这样的子树为解树
搜索的盲目策略
深度和广度
状态空间的启发式搜索
启发性信息
可以指导搜索的信息
估价函数
估计节点的重要性
f(n)=g(n)+h(n)
g(n)
从初始节点S0到节点n的实际代价
h(n)
从n到目标节点Sn最优路径的估计代价
A算法
从Open表的所有节点中选择一个估价最小的展开
A*算法
对A算法中的g(n)和h(n)做出如下限制
g(n)是对最小代价g*(n)的估计，且g(n)>0
h(n)是最小代价h*(n)的下界，即h(n)<=h*(n)
与/或树的启发式搜索
解树的代价
若n为终止节点，代价h(n)=0
若n为或节点
代价h(n)=(子节点的代价+节点n到子节点的代价)的最小值
若n为与节点
和代价法
代价h(n)=(子节点的代价+节点n到子节点的代价)再求和
最大代价法
代价h(n)=(子节点的代价+节点n到子节点的代价)的最大值
若n是端节点，但不是终止节点
代价h(n)=∞
希望树
搜索过程中最有可能成为最优解树的那颗树
一般每次扩展两层
博弈树的启发式搜索
博弈
特点
自己回合是「或」，对方回合是「与」
与或节点交替出现
极大极小过程
生成部分博弈树，并对叶节点估值
叶节点
对我方有利的情况取正值，对对方有利的情况取负值
非叶节点
从叶节点向上倒推
对于我方节点，每次都选择估值最大的节点，所以我方节点的值应该是后继节点的最大值
对于对方节点，每次都选择估值最小的节点，所以我方节点的值应该是后继节点的最小值
α-β剪枝
边生成节点，边对节点估值
我方节点->α值：当前子节点的最大值
对方节点->β值：当前子节点的最小值
默认‘我’先走
剪枝方法
α剪枝
任何对方节点的β值小于等于前辈节点的α值，则停止搜索
剪掉的子树的根节点在α层就是α剪枝
β剪枝
任何我方节点的α值大于等于前辈节点的β值，则停止搜索
剪掉的子树的根节点在β层就是β剪枝
遗传算法
定义
过程
编码
类型
二进制编码
定义
将原问题的结构 变换成染色体的位串结构
操作
首先确定长度l，这与变量的定义域以及计算精度有关
缺点
在二进制中7和8很相近，但从0111变成1000差别很大（汉明悬崖）
格雷码
定义
对二进制编码的一种改良，要求两个连续整数的编码之间只能有一个码位不同
操作
实数编码
特点
浮点型
适用范围
高精度、多维度
字符编码
适应度函数
常用适应度函数
原始适应度函数
优点
直接反映最初目标
缺点
可能出现负数
标准适应度函数
极小
极大
加速变换
基本操作
选择操作
比例选择
轮盘赌
适应值越大，被选中的可能性就越大
繁殖池
排序选择
竞技选择
锦标赛选择
交叉操作
定义
部分基因重组
类型
二进制交叉
单点交叉
在某个点之前的不变，某个点之后的互换
两点交叉
在某两点之间的交换，前后不变
多点交叉
均匀交叉
实质交叉
变异操作
类型
二进制变异
0↔1之间变
实质变异
生物进化过程中选择通过遗传和变异起作用，同时又使变异和遗传向着适应环境方向发展。
机器学习
机器学习概述
学习的概念
学习的心理学观点
基于脑科学和认知科学
分类
连接论观点
学习的实质是连接的形成
认知论观点
学习的实质是学习者头脑中认知结构的变化
改变
行为
行为潜能
核心
以行为和行为潜能的变化为标志
由经验引起的行为改变
行为变化时间比较持久
学习的人工智能观点
知识的获取
核心
能力的改善
结果
一般性解释
机器学习的概念
什么是机器学习
机器模拟人类学习
主要研究内容
认知模拟
理论性分析
面向任务的研究
机器学习系统
具有适当的学习环境
具有一定的学习能力
能够利用所学知识求解问题
通过学习提高自身性能
机器学习的类型
有无导师的指导
监督学习
分类式学习方式
无监督学习
生成式学习方式
学习策略
记忆学习、传授学习、演绎学习、归纳学习
应用领域
专家形同学习、机器人学习、自然语言理解学习
机器学习系统的基本模型
环境
学习系统感知外界信息的集合，也是外界来源
学习环节
对环境提供的信息进行整理、分析形成只是，放入知识库
知识库
储存经过加工后的信息
执行环节
根据知识库执行任务
记忆学习
记忆化搜索
用空间换时间
存储结构
环境稳定性
记忆与计算的权衡
西蒙的西洋跳棋程序
示例学习
类型
例子来源
教师、学习者本身、外部环境
例子类型
仅利用正例
利用正例和反例
模型
示例空间
例子的集合
归纳过程
从示例中抽象出一般性的知识的归纳过程
规则空间
各种规律的集合
验证过程
从示例空间中选择新的实例，对刚刚归纳的规则做进一步验证和修改。
正例产生概念，反例不产生概念，正例使外延扩大，反例使外延缩小
归纳方法
常量化为变量
去掉条件
增加选项（∨运算）
曲线拟合（最小二乘法）
决策树学习
决策树的概念
在决策树中,同一路径上的所有属性之间为合取关系
ID3算法
概念
以信息熵的下降速度为属性选择标准的一种学习算法
以信息熵下降最大为原则分裂子树,逐步构造出决策树
信息熵
定义
信息熵是对信源整体不确定性的度量,其值越小,信源的不确定性越小。
熵量化公式
概率和信息熵是随机事件的一体两面
概率
某件事情有多大可能性发生
表征确定性
信息熵
某件事情有多少种可能性
表征不确定性
计算
均匀分布
一个事件有m种等概率的情况，那么他的熵是 n=log(m)
底数
2
比特
常用、默认
e
纳特
微分计算
10
贝尔
语言学
一般分布
定义
理解
联合熵
信息增益
定义
对两个信息量之间的差的度量
加权信息熵
公式
步骤
（4）
计算信息熵E(S,X)
注意：S是节点，如果是子节点下面所有的S都要换成Si，i是子节点的编号
分别对每一个属性xi
计算其对应的加权信息熵 E(S,xi)
先写明St中有哪些元素和占比，计算St的信息熵E(St,X)，重复这个过程直到全部算完
再带入公式计算E((S,X),xi)
计算其对应的信息增益G(S,Xi)
扩展信息增益最大的属性
人工神经网络连接学习
概述
人工神经网络
概念
人工神经元按照拓扑结构连接
缩写
ANN
结构
输入、计算、输出
连接学习
完成突触连接权值的修正和稳定
分类
浅层
感知器
BP网络
Hopfield网络
深层
人工神经网络的生物机理
结构
树突
输入
细胞体
计算
轴突
输出
类型
按照突起的数目分类
按照神经元的电生理特性分类
按照神经元的功能分类
人工神经元及人工神经网络的结构及模型
结构及模型
人工神经元
结构
MP模型
类型
阈值型
分段线性强饱和型
S型
子阈累计型
神经元模型可以看作一个简单的分类器
人工神经网络
概念
人工神经元互联形成的网络
分类
特点
大规模并行处理
信息的分布式存放
具有学习能力
人工神经网络的互联（拓扑）结构
前馈网络
概念
只包含前向联结
单层前馈网络
仅含有输入层和输出层，且只有输出层的神经元是可计算节点
多层前馈网络
除了输入层和输出层外，还至少含有一个或多个隐含层的前向网络
BP网络
反馈网络
概念
可含有反馈联结，循环联结
单层反馈网络
不含有隐含层的反馈网络
多层反馈网络
含有隐含层的反馈网络
Hopfield网络
稳定性是通过能量函数来描述的
人工神经网络的浅层模型
感知器模型
目的
对外部输入分类
如果外部输入是线性可分的（满足Σ(Wij*xi-θj)=0），那么就可以分为两类
单层感知器其网络拓扑结构是单层前馈网络
单层感知器解决线性可分问题
单层感知器中含有输入层和输出层
感知机
感知机实际上是通过构造超平面实现对不同点的分类
感知机中第一次引入了学习的概念,一定程度上模拟了人脑的学习功能
感知机与神经元模型最大的区别在于感知机模型可以对训练样本进行学习