导图社区 EM算法
机器学习算法,期望最大算法/EM算法,原理总结。
论文《Attention is all you need》细节的整理,包括transformer结构的详解,以及更细节的计算逻辑。
对于二类分类器/分类算法,评价指标主要有accuracy, [precision,recall,F-score,pr曲线],ROC-AUC曲线,gini系数。对于多类分类器/分类算法,评价指标主要有accuracy, [宏平均和微平均,F-score]。对于回归分析,主要有mse和r2/拟合优度。
最大熵模型(maximum entropy model, MaxEnt)也是很典型的分类算法了,它和逻辑回归类似,都是属于对数线性分类模型。在损失函数优化的过程中,使用了和支持向量机类似的凸优化技术。
社区模板帮助中心,点此进入>>
互联网9大思维
安全教育的重要性
组织架构-单商户商城webAPP 思维导图。
个人日常活动安排思维导图
域控上线
西游记主要人物性格分析
17种头脑风暴法
python思维导图
css
CSS
EM算法
视频 https://www.youtube.com/watch?v=ShZAOGO88s0 EM算法的九重境界 https://www.zhihu.com/question/40797593/answer/275171156 EM算法的易懂教程 https://zhuanlan.zhihu.com/p/36331115
Jensen不等式
很多不等式都可以通过Jenson不等式推导出来
推导过程
1.通过最大似然函数建立目标函数
2. 找到似然函数下界
等号成立情况
log(x)中的x是一个常数,也就是:
进一步分析
3. 算法过程
过程可以看作是坐标上升
算法应用
GMM
https://blog.csdn.net/lin_limin/article/details/81048411
问题描述
算法过程
完全数据的似然函数
 
E步骤
第i个样本属于j个高斯分布的概率
M步骤
求解使函数得到最大值的均值
求解使函数得到最大值的方差
求偏导数,等于0
求解使函数得到最大值的多项分布参数
拉格朗日乘子法
调参
方差类型就是不同的方差矩阵类型
BIC评价值