导图社区 深度学习
深度学习三巨头之一的经典著作。非常值得推荐的一本了解深度学习的书。书中从讨论具体的学习算法开始,逐渐过度到对人类大脑的认知,进而讨论了生命的意义、意识的起源和如何创造通用智能。为什么深度学习框架要分层、计算机视觉为什么在迎来了深度学习后有了大发展,以及框架中的每层是如何表征的,层与层之间是如何协同的,这些设计其实都是来自于对神经科学的发现,是从“大自然”这个老师进行学习得来的,人类的数理知识只是工具,有了这一层理解,也就不难理解某个具体深度学习算法的设计和由来了。
编辑于2023-03-18 17:37:35作为高管复盘教练、基于社群学习的实战复盘专家的虚舟,有十二年以上教育培训管理经验,多家行业领军企业培训战略顾问,原世界五百强企业领导力教练,百万级学习产品设计师。为什么大家都在强调学习力?为什么毕业后十年,同学间的差距可以那么大?为什么工作多年的人很难避开能力陷阱?怎样才能实现自我突破、指数级成长?你不是能力不足,而是状态失常。复盘能帮你找回原本的自己,发挥120%的能量。一个人最宝贵的财富不是时间、不是金钱,而是注意力,复盘更多是对注意力的训练,这是一个通过后天不断训练,能填平智商差距的思维能力。这本书将会告诉你如何把复盘作为思维进化、个人成长的“工具”。
非常值得推荐的一本了解深度学习的书。书中从讨论具体的学习算法开始,逐渐过度到对人类大脑的认知,进而讨论了生命的意义、意识的起源和如何创造通用智能。为什么深度学习框架要分层、计算机视觉为什么在迎来了深度学习后有了大发展,以及框架中的每层是如何表征的,层与层之间是如何协同的,这些设计其实都是来自于对神经科学的发现,是从“大自然”这个老师进行学习得来的,人类的数理知识只是工具,有了这一层理解,也就不难理解某个具体深度学习算法的设计和由来了。
深度学习三巨头之一的经典著作。非常值得推荐的一本了解深度学习的书。书中从讨论具体的学习算法开始,逐渐过度到对人类大脑的认知,进而讨论了生命的意义、意识的起源和如何创造通用智能。为什么深度学习框架要分层、计算机视觉为什么在迎来了深度学习后有了大发展,以及框架中的每层是如何表征的,层与层之间是如何协同的,这些设计其实都是来自于对神经科学的发现,是从“大自然”这个老师进行学习得来的,人类的数理知识只是工具,有了这一层理解,也就不难理解某个具体深度学习算法的设计和由来了。
社区模板帮助中心,点此进入>>
作为高管复盘教练、基于社群学习的实战复盘专家的虚舟,有十二年以上教育培训管理经验,多家行业领军企业培训战略顾问,原世界五百强企业领导力教练,百万级学习产品设计师。为什么大家都在强调学习力?为什么毕业后十年,同学间的差距可以那么大?为什么工作多年的人很难避开能力陷阱?怎样才能实现自我突破、指数级成长?你不是能力不足,而是状态失常。复盘能帮你找回原本的自己,发挥120%的能量。一个人最宝贵的财富不是时间、不是金钱,而是注意力,复盘更多是对注意力的训练,这是一个通过后天不断训练,能填平智商差距的思维能力。这本书将会告诉你如何把复盘作为思维进化、个人成长的“工具”。
非常值得推荐的一本了解深度学习的书。书中从讨论具体的学习算法开始,逐渐过度到对人类大脑的认知,进而讨论了生命的意义、意识的起源和如何创造通用智能。为什么深度学习框架要分层、计算机视觉为什么在迎来了深度学习后有了大发展,以及框架中的每层是如何表征的,层与层之间是如何协同的,这些设计其实都是来自于对神经科学的发现,是从“大自然”这个老师进行学习得来的,人类的数理知识只是工具,有了这一层理解,也就不难理解某个具体深度学习算法的设计和由来了。
深度学习三巨头之一的经典著作。非常值得推荐的一本了解深度学习的书。书中从讨论具体的学习算法开始,逐渐过度到对人类大脑的认知,进而讨论了生命的意义、意识的起源和如何创造通用智能。为什么深度学习框架要分层、计算机视觉为什么在迎来了深度学习后有了大发展,以及框架中的每层是如何表征的,层与层之间是如何协同的,这些设计其实都是来自于对神经科学的发现,是从“大自然”这个老师进行学习得来的,人类的数理知识只是工具,有了这一层理解,也就不难理解某个具体深度学习算法的设计和由来了。
深度学习
重要的人
特伦斯·谢诺夫斯基
本书作者
杰夫里·辛顿
深度学习之父
使命
使我们能够更加认清自己,探索人类自身,搞明白我们是谁
放大我们的智能,让信息时代的我们更聪明
概念
分层神经网络模型
收益于大脑逆向工程,神经元交流的启发
框架
前言:智能的本质
地球充满无数奥秘,最具有挑战性的是智能的本质
本书是对深度学习领域重要进步和背后研究群体个人观点的记录
第一部分:智能的新构想
要事年表
1956年~1986年
机器学习的崛起
信息从数据中提取,信息积累成知识,知识深化成理解,理解演化成智能
无人驾驶
从原始数据中提取出的信息转化成人和事的知识
How to learn
数字化助理
当ai可以影响人类的思想时,谁对ai可以负责
人工智能的重生
解决视觉问题
看似简单,直到2016年通过深度学习解决
计算机视觉的进步
关注特征而非图像
早期人工智能发展缓慢
认知不足
脑科学理论还不成熟
计算机算力不够
偏见
过分相信逻辑
从神经网络到人工智能
神经网络用于解决专门问题
需要进化
神经网络层越多,性能越好
神经网络的黎明
感知器
深度学习的起点
权重
每一次输入对输出单元做出的最终决定所产生的最终影响的度量
收敛定理
权重调整迭代的次数必小于nmax
泛化
训练出的权重能够通过新的测试集
支持向量机(svm)
模式在高纬度空间进一步分解
从样本中学习
感知器图案识别
被低估的神经网络
多层前馈神经网络
通过在感知器的输入和输出之间引入隐藏层
多层感知器
解决非线性不可分问题
大脑式计算
人工智能拥有认知和情感
网络模型能够模仿智能行为
概率论
现代机器学习的核心
大脑层级
计算神经科学
认知神经科学诞生
第二部分: 深度学习的演进
要事年表
语音识别的突破
盲源分离
独立分量分析
压缩感知算法
霍普菲尔德网络和玻尔兹曼机
反向传播算法
卷积学习
奖励学习
指数增长
机器如何学会下棋
时域贡献度分配问题
强化学习
受动物研究关联学习的影响
根据环境做出选择
从结果中学习
动态规划算法
找出能最大化未来奖励的选择集
在线学习
应对纬度上升导致的规模化问题
学会即时做出最好选择
依赖期望奖励和实际奖励之间的差异
时间差分学习
估计出当前状态下做出行动带来的长期奖励
下一个状态下潜在的长期奖励
TD-Gammon
关联训练/学习
A发生时,奖励B,做出C反应。那么当A发生时就会做出c反应
只提供单一的奖励信号
学习过程
拿走棋子
击中对手棋子
避免被击中
积累积分
大脑的奖励机制
只有奖励之前的刺激才被认为是与奖励相关的
因果关系是自然界的重要原则
多巴胺
脑干中一组由扩散投射神经元所携带的神经调节剂
神经元的瞬时变化传递了奖励预测误差信号
用感知行动框架提高绩效
基底神经节
大脑皮层作为输入
作为多巴胺的输入
TD-Gammon的价值函数的高级版本
学会如何翱翔
学会如何唱歌
人工智能的可塑性
皮层中的表征学习和基底神经节中的强化学习相辅相成
无监督学习是下一个机器学习的前沿方向
保持学习的稳态也是一个难题
超图灵
根据环境进行调整和学习
火爆的NIPS
第三部分: 人类、智能、未来
要事年表
智能时代
算法驱动
芯片崛起
信息科学
用字节丈量世界
信息论
通信信道带宽有上限
信息熵冗余
字节测量信息的大小
用数学思维解决通信难题
移位寄存器序列
使得信息能够分布在很宽的频带上进行传播
1985年高通成立
跳频技术
海蒂·拉玛
扩频通信
预测是如何产生的
变化具有很高的信息价值
向大脑传递信号的传感器主要检测变化
具有层级结构的预测编码框架
感知
取决于早期感官事件提取的规律性期望
较高层级产生的当前感知信号的预测来自误差单元和表征单元的相互作用
只有预测误差会向前传播
视觉是无意识推理
自上而下生成视觉信息以消除噪声
填充不完整信息
解释场景
深度理解大脑
2013年美国brain计划
分子和细胞层面对大脑有深入理解
更高层次上对大脑缺乏认知
快速检索分布在大脑的信息以解决复杂问题
时空震荡:睡眠淀
巩固记忆
大脑的操作系统
GPU
意识相当于运行的程序
生物学与计算科学
人工智能拥有
生命与意识
视觉意识
探照灯假说
意识的神经关联ncc
大脑不同部门的神经元的放电特性与视觉感知之间的相关性
视觉初级皮层对每只眼睛做出反应的是不同的神经元
视觉的高级皮层只对感知的图像做出响应
视觉感知的过程
神经元层级越高,响应特性越具体
单个细胞
主动过程
记忆
注意力
群体细胞如何参与思考、情绪、计划和决策
还有待研究
视觉感知的时机
闪光滞后效应
大脑处理视神经的同一皮层具有缓存
视觉感知的部位
当皮层前部的大脑活动达到阈值水平时会出现反馈回路
注意力产生在反馈回路里
视觉搜索的机理
自下而上的感官
自上而下的期望驱动的注意力处理
创造意识比理解意识更容易
屏状体
接收许多皮层的投射并反投射回去
进化的力量
生命的起源
DNA
RNA
大自然比我们聪明
大脑只表征世界上有限的一部分目标
既执行手头任务所需要的那部分
基因复制
能够变异出新能力的最佳途径
全基因组复制产生新的生命
认知科学的兴起
认知心理学、语言学、哲学、计算机科学的混合体
神经科学
认知科学的小兄弟
认知神经科学
以学习为认知智能基础
不能把认知语言问题只留给语言学家
语言的学习始于子宫
无监督学习
从经验中学习语言
从认知语境中吸收话语的高阶统计特性的能力
难以预测的行为规律
重视大脑的作用
习惯
对刺激产生期望的反应
思考是无刺激情况下产生的
基于先前经验的概率决策理论来代替基于逻辑的理性决策理论
神经网络的寒冬
感知器
无法扩展到多层结构
计算机内存小
行为是意识的一部分
从深度学习到通用人工智能
深度智能
没有DNA,生物学中的任何东西都讲不通
每个物种都有人工智能
智能:解决每个物种在环境中面对的环境问题
写作、阅读和学习使现代文明成为可能
进化的起源
CARTA组织
人类终究解决智能问题
奥格尔第一法则
细胞中每个基本反应都会催生出一种酶来催化这种反应
算法生物学
基因网络
代谢网络
免疫网络
神经网络
社交网络
深度学习是对成本函数的优化
进化成本
倒数:适应度
深度学习
重要的人
特伦斯·谢诺夫斯基
本书作者
杰夫里·辛顿
深度学习之父
使命
使我们能够更加认清自己,探索人类自身,搞明白我们是谁
放大我们的智能,让信息时代的我们更聪明
概念
分层神经网络模型
收益于大脑逆向工程,神经元交流的启发
框架
前言:智能的本质
地球充满无数奥秘,最具有挑战性的是智能的本质
本书是对深度学习领域重要进步和背后研究群体个人观点的记录
第一部分:智能的新构想
要事年表
1956年~1986年
机器学习的崛起
信息从数据中提取,信息积累成知识,知识深化成理解,理解演化成智能
无人驾驶
从原始数据中提取出的信息转化成人和事的知识
How to learn
数字化助理
当ai可以影响人类的思想时,谁对ai可以负责
人工智能的重生
解决视觉问题
看似简单,直到2016年通过深度学习解决
计算机视觉的进步
关注特征而非图像
早期人工智能发展缓慢
认知不足
脑科学理论还不成熟
计算机算力不够
偏见
过分相信逻辑
从神经网络到人工智能
神经网络用于解决专门问题
需要进化
神经网络层越多,性能越好
神经网络的黎明
感知器
深度学习的起点
权重
每一次输入对输出单元做出的最终决定所产生的最终影响的度量
收敛定理
权重调整迭代的次数必小于nmax
泛化
训练出的权重能够通过新的测试集
支持向量机(svm)
模式在高纬度空间进一步分解
从样本中学习
感知器图案识别
被低估的神经网络
多层前馈神经网络
通过在感知器的输入和输出之间引入隐藏层
多层感知器
解决非线性不可分问题
大脑式计算
人工智能拥有认知和情感
网络模型能够模仿智能行为
概率论
现代机器学习的核心
大脑层级
计算神经科学
认知神经科学诞生
第二部分: 深度学习的演进
要事年表
语音识别的突破
盲源分离
独立分量分析
压缩感知算法
霍普菲尔德网络和玻尔兹曼机
反向传播算法
卷积学习
奖励学习
指数增长
机器如何学会下棋
时域贡献度分配问题
强化学习
受动物研究关联学习的影响
根据环境做出选择
从结果中学习
动态规划算法
找出能最大化未来奖励的选择集
在线学习
应对纬度上升导致的规模化问题
学会即时做出最好选择
依赖期望奖励和实际奖励之间的差异
时间差分学习
估计出当前状态下做出行动带来的长期奖励
下一个状态下潜在的长期奖励
TD-Gammon
关联训练/学习
A发生时,奖励B,做出C反应。那么当A发生时就会做出c反应
只提供单一的奖励信号
学习过程
拿走棋子
击中对手棋子
避免被击中
积累积分
大脑的奖励机制
只有奖励之前的刺激才被认为是与奖励相关的
因果关系是自然界的重要原则
多巴胺
脑干中一组由扩散投射神经元所携带的神经调节剂
神经元的瞬时变化传递了奖励预测误差信号
用感知行动框架提高绩效
基底神经节
大脑皮层作为输入
作为多巴胺的输入
TD-Gammon的价值函数的高级版本
学会如何翱翔
学会如何唱歌
人工智能的可塑性
皮层中的表征学习和基底神经节中的强化学习相辅相成
无监督学习是下一个机器学习的前沿方向
保持学习的稳态也是一个难题
超图灵
根据环境进行调整和学习
火爆的NIPS
第三部分: 人类、智能、未来
要事年表
智能时代
算法驱动
芯片崛起
信息科学
用字节丈量世界
信息论
通信信道带宽有上限
信息熵冗余
字节测量信息的大小
用数学思维解决通信难题
移位寄存器序列
使得信息能够分布在很宽的频带上进行传播
1985年高通成立
跳频技术
海蒂·拉玛
扩频通信
预测是如何产生的
变化具有很高的信息价值
向大脑传递信号的传感器主要检测变化
具有层级结构的预测编码框架
感知
取决于早期感官事件提取的规律性期望
较高层级产生的当前感知信号的预测来自误差单元和表征单元的相互作用
只有预测误差会向前传播
视觉是无意识推理
自上而下生成视觉信息以消除噪声
填充不完整信息
解释场景
深度理解大脑
2013年美国brain计划
分子和细胞层面对大脑有深入理解
更高层次上对大脑缺乏认知
快速检索分布在大脑的信息以解决复杂问题
时空震荡:睡眠淀
巩固记忆
大脑的操作系统
GPU
意识相当于运行的程序
生物学与计算科学
人工智能拥有
生命与意识
视觉意识
探照灯假说
意识的神经关联ncc
大脑不同部门的神经元的放电特性与视觉感知之间的相关性
视觉初级皮层对每只眼睛做出反应的是不同的神经元
视觉的高级皮层只对感知的图像做出响应
视觉感知的过程
神经元层级越高,响应特性越具体
单个细胞
主动过程
记忆
注意力
群体细胞如何参与思考、情绪、计划和决策
还有待研究
视觉感知的时机
闪光滞后效应
大脑处理视神经的同一皮层具有缓存
视觉感知的部位
当皮层前部的大脑活动达到阈值水平时会出现反馈回路
注意力产生在反馈回路里
视觉搜索的机理
自下而上的感官
自上而下的期望驱动的注意力处理
创造意识比理解意识更容易
屏状体
接收许多皮层的投射并反投射回去
进化的力量
生命的起源
DNA
RNA
大自然比我们聪明
大脑只表征世界上有限的一部分目标
既执行手头任务所需要的那部分
基因复制
能够变异出新能力的最佳途径
全基因组复制产生新的生命
认知科学的兴起
认知心理学、语言学、哲学、计算机科学的混合体
神经科学
认知科学的小兄弟
认知神经科学
以学习为认知智能基础
不能把认知语言问题只留给语言学家
语言的学习始于子宫
无监督学习
从经验中学习语言
从认知语境中吸收话语的高阶统计特性的能力
难以预测的行为规律
重视大脑的作用
习惯
对刺激产生期望的反应
思考是无刺激情况下产生的
基于先前经验的概率决策理论来代替基于逻辑的理性决策理论
神经网络的寒冬
感知器
无法扩展到多层结构
计算机内存小
行为是意识的一部分
从深度学习到通用人工智能
深度智能
没有DNA,生物学中的任何东西都讲不通
每个物种都有人工智能
智能:解决每个物种在环境中面对的环境问题
写作、阅读和学习使现代文明成为可能
进化的起源
CARTA组织
人类终究解决智能问题
奥格尔第一法则
细胞中每个基本反应都会催生出一种酶来催化这种反应
算法生物学
基因网络
代谢网络
免疫网络
神经网络
社交网络
深度学习是对成本函数的优化
进化成本
倒数:适应度