神经网络与深度学习的发展概述

这是一篇关于神经网络与深度学习的发展概述的思维导图，包含神经网络的诞生、 神经网络的复兴、 深度学习的崛起等。

神经网络与深度学习的发展概述

• 神经网络的诞生 (1943—1969)
  • 1943年：McCulloch和Pitts提出基于简单逻辑运算的人工神经网络模型，即M-P模型。
  • 1948年：Alan Turing提出“B型图灵机”，基于Hebbian法则学习。
  • 1951年：Marvin Minsky建造第一台神经网络机SNARC。
  • 1958年：Rosenblatt提出感知器模型和并提出了一种接近人类学习过程(迭 代、试错)的学习算法。。
  • 1969年：神经网络进入冰河期，因感知器无法处理“异或”问题和计算能力限制。
• 神经网络的复兴 (1983—1995)
  • 1983年：Hopfield提出用于联想记忆的神经网络，即Hopfield网络。
  • 1984年：Geoffrey Hinton提出玻尔兹曼机。
  • 20世纪80年代中期：分布式并行处理(PDP)模型流行，反向传播算法成为主要学习算法。
  • 1995年：神经网络流行度降低，支持向量机等方法兴起。
• 深度学习的崛起 (2006年至今)
  • Hinton等: 于2006年提出深度学习，基于深度置信网络 (Deep Belief Network,DBN)提出非监督贪心逐层训练算法，以及多层自编码器深层架构，为解决深层结构相关的优化难题带来希望。
  • Lecun等：提出卷积神经网络，利用空间相对关系减少参数数目。
  • 深度学习：基于数据表征学习的方法，用无监督或半监督特征学习替代手工特征提取。
  • Hinton观点：多层神经网络有突出特征学习能力，但训练存在难度，可通过逐层预训练克服。
  • 预训练+精调：有效解决深度神经网络训练问题。
  • 近年来, 大规模并行计算和GPU设备普及，支持大规模神经网络训练，神经网络研究迎来第三个高潮。