人工智能导论

1956年，达特茅斯会议 – 定义“人工智能”学科，形成学科研究范畴，和主要研究流派。本图适用于人工智能导论期末考试复习~

人工智能导论

• 绪论
  • 人工智能学科的起源
    • 1956年，达特茅斯会议 – 定义“人工智能”学科，形成学科研究范畴，和主要研究流派。
  • 达特茅斯会议上的学科流派
    • 西蒙&纽维尔：逻辑理论家
      • 属于理性主义和符号主义
    • 麦卡锡：状态空间搜索法
      • 属于经验主义和符号主义
    • 明斯基：人工神经网络
      • 属于经验主义和连接主义
  • 两个维度
    • 人工智能第一个维度：智能机器如何模拟人类学习的过程和结果 （两个流派：理性主义和经验主义）
    • 人工智能第二个维度：机器如何模拟智能的特征 （两个流派：符号主义和连接主义）
  • 图灵测试
    • 判断一台机器是否具有智能
    • 实验内容：计算机和人做回答者，测试者如果分辨不出哪个是机器哪个是人，则可以判定这台计算机具有智能
• 知识表示
  • 基于符号逻辑的知识表示
    • 一阶谓词逻辑表示法
      • 命题逻辑
        • eg:
      • 谓词逻辑
        • 定义：
          • eg:
        • 全称量词和存在量词
          • eg:
    • 框架表示法
    • 产生式表示法
      • 规则表示，称为IF-THEN 表示，表示一种条件- 结果形式
      • 确定性规则知识的产生式表示的基本形式：IF P Then Q 或者 P → Q
        • eg: IF 室内温度 > 28度 THEN 打开空调
      • 不确定性规则知识的产生式表示的基本形式：IF P Then Q （置信度)或者 P → Q (置信度)
        • eg:IF 微生物的染色斑是革兰氏阴性，微生物外形为杆状，病人是中间宿主， Then 微生物为绿脓杆菌 （0.6）
      • 确定性事实一般用三元组表示
        • 属性型知识 （对象，属性，值）
          • eg:“篮球是圆的” 是属性知识，表示为（篮球，形状，圆形）
        • 关系型知识 （关系，对象1，对象2）
          • eg:“北京是中国的首都” 是关系知识，表示为（首都，中国，北京）
      • 不确定性事实一般用四元组表示
        • 属性型知识 （对象，属性，值，置信度）
          • eg:“明天很可能会下雨” 是不确定的属性知识，表示为（明天，天气，下雨，0.8）
        • 关系型知识 （关系，对象1，对象2，置信度）
          • “小月和小明可能是情侣” 是不确定的关系知识，表示为（情侣，小月，小明，0.6）
    • 知识图谱
      • 构成
        • 节点
          • 节点表示实体或概念
        • 边
          • 边表示实体的属性或实体间的关系
      • 本体知识表示
        • eg:
      • 自然语言处理
        • 信息抽取
          • 实体抽取
            • 从文本里提取出实体并对每个实体做分类/打标签
          • 关系抽取
            • 把实体间的关系从文本中提取出来
          • 属性抽取
            • 把对实体的完整描述的属性抽取出来
          • 事件抽取
            • 事件是发生在某一个特定时间点，时间段的事情
• 搜索技术
  • 宽度优先搜索和深度优先搜索
    • 熟练运用open表和closed表 了解队列和堆栈数据结构的应用
    • 宽度优先搜索
      • 横向
      • 基本概念： 主要考虑同级别的状态， 如果同级别状态不符合， 则前进至下一层， 继续搜索
      • Open表示一个队列，即先进先出（FIFO）数据结构
        • OPEN表右边进
        • eg
    • open表和closed表
      • 基本概念： Open表：记录已被生成但其子状态未被搜索的状态 Closed 表：记录了已被生成扩展过的状态
    • 深度优先搜索
      • 纵向
      • 基本概念： 主要考虑纵深搜索 如果达到最底层，仍然无解 则“回溯”至上一层 更换其他路线
      • Open表示堆栈结构，即先进后出（FILO）的数据结构
        • 左边进
        • eg
  • A算法和A*算法
    • 启发信息和估价函数 A*算法的性质
    • 估价函数
      • 定义：初始结点经过n结点到达目的结点的路径最小代价估计值
      • 公式：f(n)=g(n)+h(n)
        • f(n) 可以是定义节点经过n节点时处于最佳路径的概率，或是x节点和目的节点之间的距离，或是x格局的得分等
        • g(n):从起始状态到当前状态n的实际代价
        • h(n):从当前状态到目标状态的估计代价
      • 小结
        • 设计一个好的估价函数有相当的难度，是一个经验问题，判断和直觉是很重要的因素。
        • 设计估价函数的目标是利用有限的信息做出精确的估价
        • 衡量估计函数的好坏最终标准取决于具体应用时的搜索效果。
    • 启发式图搜索
      • A搜索算法
        • 步骤
          • Step 1: 如何寻找并设计一个与问题有关的启发函数 h(n) 及构出 f(n)= g(n) + h(n)
          • Step 2: 以f(n) 的大小来排列待扩展状态的次序，每次选择f(n) 值最小者进行扩展。 Open表是一个按状态的启发估价函数的大小排列的一个表 进入Open表根据估值的大小插入到表中合适的位置 每次从表中优先取出启发估价函数值最小的状态加以扩展
            • eg
      • A*搜索算法
        • 启发函数的可采纳性： 当一个搜索算法在最短路径存在时能在有限步内保证找到它，就称它是可采纳的。
          • 可采纳性的启发搜索策略的特征： 满足 h(n)≤h*(n)
          • 所有的A*算法都是可采纳的
        • 启发函数的单调性：
        • 启发函数的信息性：
  • 运用遗传算法解决函数优化问题
    • 遗传算法概念
      • 五个要素：参数编码、初始群体的设定、适应度函数、遗传操作和控制参数设定
      • 三个算子：选择算子、交叉算子和变异算子
        • 选择算子：自然选择
        • 交叉算子：基因重组
          • 交叉概率Pc
        • 变异算子：基因突变
          • 突变概率Pm
            • 一般设Pm=0.001
    • 基本流程
    • 优化问题
      • 定义：
  • 粒子群算法和蚁群算法
    • 粒子群算法
    • 蚁群算法
• 第五章 人工神经网络
  • 经验主义、连接主义
  • 感知机模型
    • 模型结构
      • • • 神经元数学模型： 由加权求和、线性动态系统和非线性函数映射组成
    • 激活函数
      • • Sigmoid函数特点 优点：1.输出[0,1]之间；2.连续函数，方便求导。 缺点：1.容易产生梯度消失；2.输出不是以零为中心；3.大量运算时相当耗时（由于是幂函数）。
      • • ReLU函数 优点：1.解决了正区间梯度消失问题；2.易于计算； 3.收敛速度快 缺点：1.输出不是以零为中心；2.某些神经元不能被激活，导致参数永远不能更新
        • Parametric ReLu函数 优点：1.解决了正区间梯度消失问题；2.易于计算；3.收敛速度快；4.解决了某些神经元不能被激活 缺点：输出不是以零为中心
      • • softmax函数 优点：1.输出在[0,1]之间，可以当初概率。 缺点： 在实际问题中，由于幂运算需要时间，而且softmax不会影响各元素的大小，因此输出层的softmax激活函数一般被省略。
    • 梯度下降法
    • 损失函数
  • 卷积神经网络
    • 基本概念
      • 卷积神经网络是由多个单层卷积神经网络组成的可训练的多层网络结构，是把提取特征、下采样和传统的神经网络整合起来形成的一个新网络。
    • 卷积和池化操作
      • 卷积
        • 2D卷积
          • • 将卷积核的数赋给里面，对应位置相乘求和
        • 卷积核的参数
          • • 例如输入维度为32*32*1，卷积核为5*5*1
            • • 如无特别说明，填充值P等于0，步长s等于1
            • 输出为：28*28*1
      • 池化
        • 最大值池化
        • 平均值池化
        • • 最大值池化：取每个小区域的最大值
          • 平均值池化：取每个小区域的平均值
        • 过拟合，欠拟合
    • Lenet-5模型结构
      • 卷积神经网络之父 Yann LeCun
      • 输入-卷积-池化-卷积-池化-卷积（全连接）-全连接-全连接（输出）
      • eg
        • • 卷积核计算
        • • 平均池化：输出=输入/滤波器大小*滤波器个数
      • 基本步骤
        • 给出图像
        • 卷积层
          • 卷积核
        • 下采样层
          • 平均池化
        • 卷积层
        • 下采样层
        • 卷积层
        • 输出层
          • 激活函数处理结果
      • C5+F6 Flatten
        • 三维矩阵变一维
      • Softmax
        • 分类处理
    • 局部连接
      • • 只提取卷积核区域进行输入输出
      • 由于图像通常具有局部相关性，卷积计算每次只在与卷积核大小对应的区域进行，也就是输入和输出是局部连接的。与人类视觉的神经生物学机理相同，神经元通常只响应一部分的刺激信号，成为局部感知，感知区域又称之为感知野。
    • 参数共享
      • • 不同的区域使用相同的卷积核
      • 图像上的不同区域使用相同的卷积核参数，一方面减少了参数量，另一方面带来了平移不变性。平移不变性指的是不管输入如何平移，总能够得到相同的输出。比如，左右两只完全相同的眼睛，使用相同的卷积核，在眼睛对应的区域进行卷积，都能够输出相同的结果。
  • BP神经网络
    • 输入层
      • 将数据加到网络上
    • 隐层
      • 非线性映射
    • 输出层
• 第四章 机器学习
  • 模型选择和评估
    • 过拟合和欠拟合
    • 评估方法
      • 模型评估
        • • 学习系统
          • 模型
          • 预测系统
      • 性能评估
        • 回归问题
        • 分类问题
  • 监督式学习
    • K近邻算法
      • 定义
      • 核心思想
        • 给定训练集，对于待分类的样本点，计算待预测样本和训练集中所有数据点的距离，将距离从小到大取前K个，则哪个类别在前K个的数据点数量最多，就认为待预测的样本属于该类别
        • 给定训练集，初始化样本点
        • 计算待预测样本和训练集中所有数据点的距离
        • 根据从小到大排列，取前K个m
        • 哪个类别在前K个的数据点最多，就认为待预测样本属于该类别
      • 例子
        • • 计算x8到各点的距离，从小到大排列
          • 前K个中类型B的最多，故x8属于类别B
    • 欧式距离和曼哈顿距离
      • 欧式距离
      • 曼哈顿距离
    • 决策树
      • 因素
        • 特征选择
          • 选择具有分类能力的特征，可以提高学习效率
          • 选择特征的评价标准包括信息增益，信息增益比和基尼系数
        • 生成决策树
        • 剪枝
      • 决策树学习的关键
        • 如何选择最优划分属性
      • 决策树学习的目的
        • 为了产生一颗泛化能力强的决策树
      • 决策树学习的优点
        • 易于理解和实现，具有能够直接体现数据的特点
        • 不需要准备大量的数据，并且能够同时处理数据型和常规型属性 在相对短的时间内能够对大型数据资源给出可行且效果良好的结果
    • 支持向量机(SVM)
      • 线性可分支持向量机
        • 硬间隔最大化
        • 定义
        • • 一条线作为分隔
      • 线性支持向量机
        • 软间隔最大化
        • • 一条线与其平行一定距离的线作为分隔
      • 非线性支持向量机
        • 核技巧
        • 实现超平面的分割
  • 无监督学习
    • 聚类
      • • 步骤
          • 初始化样本，聚类中心
          • 计算样本所有点到聚类中心的距离
          • 产生新的类别中心
          • 重复第二步，直到类别不发生变换
      • eg：
        • • 离那个聚类中心近就归为哪一类
        • • 平均点