导图社区 机器学习之基本回归算法
总结了机器学习中的基本回归算法，如基本线性回归，递推回归，正则化线性回归，稀疏线性回归Lasso，线性基函数回归，奇异值分解，回归学习的误差分解等。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材，使用前请自行确认授权范围。
总结了循环神经网络RNN的基本内容，如RNN基本结构原理、RNN计算训练的BPTT算法、长短期记忆模型LSTM和门控循环单元GRU的基本原理等
总结了卷积神经网络的主要内容，如基本概念，卷积运算，基本结构，参数学习方法以及一些卷积神经网络实例结构。
总结了最基本的神经网络结构——多层感知机MLP和前馈网络FNN，在此基础上总结了神经网络的目标函数和优化技术，反向传播算法计算目标函数对网络权系数的梯度问题，以及神经网络优化的辅助技术如初始化、正则化等。
社区模板帮助中心，点此进入>>
定量分析思维导图
线性回归
孙睿的计量经济学
卫生统计学笔记
大数据线性模型知识点
2 简单线性回归模型
《现代心理与教育统计学》线性回归笔记
计量经济学
简单线性回归分析
机器学习 基本回归算法
回归学习
特点
监督学习
数据集带标注y
学习过程
确定模型参数w的过程
预测或推断
代入新输入计算回归输出的过程
基本线性回归
目标线性函数
误差高斯分布假设
输出值与标注值之间存在误差
假设模型输出为期望值，随机变量（标注值）yi的概率函数为
由于样本独立同分布，所有标注值的联合概率密度函数为
似然函数求最优参数 （最小二乘LS解）
对数似然函数
误差平方和
最大似然解
均方误差测试公式
线性回归的递推学习
针对的问题
问题规模过大，矩阵求解困难
梯度下降算法
取全部样本计算平均梯度
平均梯度
递推公式
随机梯度下降SGD算法(LMS)
取随机样本计算梯度
随机梯度
小批量SGD算法
取小批量样本计算平均梯度
正则化线性回归
矩阵的条件数很大，数值稳定性不好
问题条件数大的本质
矩阵的一些列向量成比例或近似成比例
存在冗余的权系数，出现了过拟合
解决方法
应“减少模型参数数目”或“正则化约束模型参数”
正则化约束的目标函数
误差平方和J(w) + 约束参数向量w的超参数λ
形式
正则化最小二乘LS解
正则化线性回归概率解释
权系数向量w的先验分布为高斯分布下的贝叶斯"最大后验概率估计"MAP
梯度递推算法（小批量随机梯度下降法SGD为例）
多输出(输出向量y)线性回归
输出的是向量y而非标量y
误差平方和目标函数J(W)
最小二乘LS解
稀疏线性回归Lasso
正则化项的范数
范数p>1
解坐标均不为0，解非稀疏
范数p=1
解坐标大部分为0，解稀疏，处理较为容易
范数p<1
解坐标大部分为0，解稀疏，处理较为困难
Lasso问题
内容
对于最小化误差平方和函数问题，施加一个约束条件||w||1<t
正则化表述
Lasso的循环坐标下降算法
预处理
将数据矩阵X列零均值且归一化为Z
单变量情况下Lasso的解
Lasso解
多变量情况下Lasso解的推广
循环坐标下降法CCD
先确定其中一个参数wj
计算误差平方和最小的参数
此时其他参数w并非最佳值，所以wj计算结果只是估计值。
循环计算
同样的思路循环计算其他参数，直至参数估计值收敛
部分残差值ri(j)代替yi
在数学上与单变量保持一致
参数估计值
Lasso的LAR算法
适用
求解1范数约束下的稀疏回归问题
对应正则化回归问题
分类
λ=0
标准最小二乘问题
λ越大
模型参数解w向量越稀疏
线性基函数回归
基函数
回归模型
数据矩阵
回归系数解
奇异值分解
伪逆
SVD分解
回归系数模型解
回归学习的误差分解
误差函数
误差期望
模型
理论最佳模型
学习模型
误差分解
模型复杂度与误差分解
模型简单
偏差大，方差小
模型复杂
偏差小，方差大
需选择适当的模型复杂度
