导图社区 机器学习之统计优化基础
本思维导图总结了机器学习中统计优化的基础知识，如概率基础及实例，最大似然原理和贝叶斯估计，信息论基础，非参数概率模型以及基本优化算法。
总结了循环神经网络RNN的基本内容，如RNN基本结构原理、RNN计算训练的BPTT算法、长短期记忆模型LSTM和门控循环单元GRU的基本原理等
总结了卷积神经网络的主要内容，如基本概念，卷积运算，基本结构，参数学习方法以及一些卷积神经网络实例结构。
总结了最基本的神经网络结构——多层感知机MLP和前馈网络FNN，在此基础上总结了神经网络的目标函数和优化技术，反向传播算法计算目标函数对网络权系数的梯度问题，以及神经网络优化的辅助技术如初始化、正则化等。
社区模板帮助中心，点此进入>>
互联网9大思维
组织架构-单商户商城webAPP 思维导图。
域控上线
python思维导图
css
CSS
计算机操作系统思维导图
计算机组成原理
IMX6UL(A7)
考试学情分析系统
机器学习 统计优化基础
概率基础
离散随机变量
定义
取值为有限的离散值
概率
先验概率解释
实验之前可以推测出概率，如骰子
直观实验解释
一个事件在很多次实验中出现的频度
边际概率公式（和公式）
全概率公式（积公式）
贝叶斯公式
连续随机变量
概率密度函数
分布函数
概率分布函数F(x)
联合概率分布函数F(x1,x2,...,xm)
概率密度函数p(x)
联合概率密度函数p(x1,x2,...,xm)
随机变量独立同分布
p(x1,x2,...,xm)=p(x1)p(x2)...p(xm)
随机变量函数的概率密度
一元函数
多元函数组
条件概率密度
联合概率密度函数=条件概率密度函数×边际概率密度函数
一般的条件概率密度函数
条件概率密度函数的链式法则
离散随机变量概率密度函数
冲激函数
抽取性质
随机变量的基本特征
均值、方差、标准差
随机变量函数的期望
自相关矩阵
自协方差矩阵
基本性质
对称
半正定
特征值大于等于零
特征矩阵
自协方差矩阵C特征值对应的特征向量作为列构成的矩阵Q
自协方差矩阵分解
随机特征的蒙特卡洛逼近
基本做法
①通过概率密度函数p(x)产生一组样本集
②通过该样本集逼近概率密度函数
每个样本用一个冲击函数表示
在概率密度函数p(x)取值大的位置，样本xn会很密集，蒙特卡洛逼近用这种方式反映了概率分布
蒙特卡洛近似逼近风险函数
由于只用样本集逼近，也称为经验风险函数
概率实例
离散随机变量示例
二元分布和二项分布
二元分布/伯努利分布
单个伯努利变量X只取两个值0和1
概率函数
均值E[X]=μ，方差Var[X]=μ(1-μ)
二项分布
N个独立的伯努利变量Xi，定义新的随机变量Y=X1+X2+...+XN，Y服从二项分布
概率密度
均值E[Y]=Nμ，方差Var[Y]=Nμ(1-μ)
多元分布和多项分布
单个编码向量概率函数
N个编码向量和的概率函数
二元和多元分布的共轭分布
贝塔分布
Dirichlet分布
高斯分布
高斯分布联合概率密度函数
Cxx
随机向量x的自协方差矩阵
μx
均值向量
高斯分布的等概率曲线
Cxx对角阵且元素相同
等高线是同心圆
Cxx对角阵但元素不同
等高线是椭圆，主轴过圆心
在期望值点处取最大值
线性变换
一个随机向量满足高斯分布，通过任意线性变换仍然满足高斯分布
Cxx任意对称正定阵
斜椭圆
整体高斯，部分也高斯
随机向量联合概率密度函数满足高斯分布，其部分向量的边际密度函数仍是高斯的
整体高斯，条件也高斯
随机向量联合概率密度函数满足高斯分布，若向量中的一部分已确定，另一部分的条件概率密度仍是高斯的
指数族
一类广义的概率函数形式
性质
可表示连续与离散、概率函数与概率密度函数
二元和多元分布，高斯分布都属于指数族
混合高斯过程
多个高斯密度函数的组合
高斯分布的扩展形式，描述多峰概率密度函数
一个混合高斯过程可以任意精度逼近一个任意的概率密度函数
马尔可夫过程
如果一个随机样本具有序列性，即X1,X2,...,Xn是按照其序列顺序产生的，前后之间有因果关系，若新样本的统计特性只与上一个样本有关，则称该序列为马尔可夫过程
含义
当Xn的现在已知时，将来和过去的统计特性是无关的
在与序列有关的算法设计中，马尔可夫性可有效降低算法的复杂性
最大似然估计
似然函数
若将表示样本数据的随机向量的概率密度函数p(x|θ)中的x固定(即x取样本值)，将θ作为自变量，考虑θ变化时p(x|θ)的影响，这时将p(x|θ)称为似然函数，L(θ|x)=p(x|θ)
对数似然函数
许多概率密度函数为指数类函数，对数似然函数求解更容易
最大似然估计MLE
对于一个样本向量x，令θ=θ0时使似然函数L(θ|x)达到最大，则θ0为θ的最大似然估计，θ0=argmax{L(θ|x)}
直观理解
当θ取值为θ0时已采样得到的样本x出现的概率最大
应用
已知样本集，求解模型参数
问题
不适用于样本集较小情况
对于离散事件，结果容易受偶然事件影响,可用拉普拉斯平滑解决
对于样本中的“野值”敏感
如突然噪声和其他意外因素，可通过预处理删除野值
偏重于更复杂的模型
易造成模型的过拟合，可通过正则化或贝叶斯方法解决
贝叶斯估计——最大后验概率MAP
先验分布/先验概率
假设参数θ是随机变量，在获得样本集之前，即已知其概率函数/分布
核心思想
在已知先验概率p(θ)的条件下，通过样本集，对参数θ的分布进行校正，这个由数据样本进行校正后的概率可表示为p(θ|x)，“先验信息”+“样本集信息”
后验概率
公式
解释
后验概率只与“先验概率p(θ)”和条件概率“p(x|θ)”有关
若没有先验知识p(θ)，θ几乎为常数，MAP会退化为MLE
随机变量的熵特征
熵的定义
描述随机变量取值的不确定性
熵的基本性质
确定情形，熵最小值为0
等概率情形，熵最大为logN
在相同均值和方差条件下，高斯分布具有最大熵
KL散度、互信息和负熵
KL散度
度量两个概率密度函数之间不同的量
KL散度最小准则与最大似然准则等价
互信息
度量两个随机变量x和y的独立性
物理意义
已知y引起的x的不确定性的降低量
负熵
度量一个随机向量的非高斯性
非参数方法
非参数估计概率密度函数基本公式
Parzen窗方法(V固定)
超立方体窗
光滑窗
KNN方法(K固定)
优化技术概述
基本优化算法
梯度下降算法
迭代步长参数/学习率
用了函数一阶导数信息
牛顿法
利用函数一阶和二阶导数，收敛速度更快
凸函数
当且仅当函数的Hessian矩阵半正定
拉格朗日方法
等式约束拉格朗日乘数法
已知
标量函数f(x)，K个等式约束方程
求使f(x)最小的解x
解法
构造拉格朗日目标函数使其梯度为0，联立方程求解
不等式约束的最优化
标量函数f(x)，K个不等式约束
构造拉格朗日目标函数，通过KKT条件和对偶算法求解
