《人工智能(AI)发展历程》

《人工智能(AI)发展历程》，导图由人工智能的定义和研究目标、人工智能的流派、人工智能的发展史、人工智能的基本技术、人工智能的研究与应用领域、AI 未来趋势五部分组成，让你一文概览人工智能(AI)的发展历程！

• 算力发展
  • 量子计算
  • 边缘计算
  • 计算中心
  • 类脑计算
• 人工智能计算中心将成为关键的信息基础设施，推动数字经济与传统产业深度融合，加速产业转型升级。
• 以类脑计算芯片为核心的各种类脑计算系统，在处理某些智能问题以及低功耗智能计算方面正逐步展露出优势。
• 边缘计算作为云计算的一种补充和优化，一部分的人工智能正在加快速度从云端走向边缘。
• 计算能力进步的放慢会限制未来的AI技，量子计算提供了一条新量级的增强计算能力的思路。
• 浮动主题
  • 数据
  • 算法
  • 算力
• • 【06】AI 未来趋势
  • • 三种趋势
    • 人工智能有三个要素：数据、算力及算法，数据即是知识原料，算力及算法提供“计算智能”以学习知识并实现特定目标。
    • 数据层面
      • 数据是现实世界映射构建虚拟世界的基本要素，随着数据量以指数形式增长，开拓的虚拟世界的疆土也不断扩张。
      • 不同于AI算法开源，关键数据往往是不开放的，数据隐私化、私域化是一种趋势，数据之于AI应用，如同流量是互联网的护城河，有核心数据才有关键的AI能力。
    • 25000
    • 20000
    • 15000
    • 10000
    • 5000
    • • 6
        • • 44
            • • 334
                • • 2537
                    • • 19267
    • • 2015
        • • 2020
            • • 2025
                • • 2030
                    • • 2035
    • 0
    • 全球数据总量
    • 算力层面
      • 计算是AI的关键，自2010年代以来的深度学习浪潮，很大程度上归功于计算能力的进步。
      • 推理就是计算（reason is nothing but reckoning） --托马斯.霍布斯
    • 算法层面
      • 机器学习自动化(AutoML)发展
      • 向分布式隐私保护方向演进
      • 数据和机理融合
      • 神经网络模型结构发展
      • 多学派方法融合发展
      • 基于大规模无(自)监督预训练发展
      • 基于因果学习方法发展
      • 可解释性AI (XAI)发展
• 基本技术
  • 联想技术
    • 最基本 最基础的思维活动
    • 几乎与所有的 AI 技术息息相关
  • 推理技术
    • 涉及对逻辑的研究
    • 逻辑是 人脑思维的规律
    • 逻辑是 推理的理论基础
  • 搜索技术
    • 对推理 进行引导和控制
    • 是一种规划技术
    • 启发式搜索是 重要研究课题之一
  • 知识表示与知识库
    • 知识表示是 指知识在计算机中 的表示方法和形式
    • 包括知识的组织 管理、维护、优化
  • 归纳技术
    • 机器自动提取概念 抽取知识 寻找规律
    • 与知识获取及 机器学习密切相关
• • 【04】人工智能的基本技术
  • • 人工智能的五个基本技术
    • 就其目前各个分支领域的研究内容来看，人工智能的基本技术包括五方面。
  • 【05】人工智能的研究与应用领域
  • • 人工智能的研究更多的是结合具体应用领域来进行的
    • 定理证明
    • 数学领域中对臆测的定理寻求一个证明或反证，一直被认为是一项需要智能才能完成的工作。
      • 定理证明的研究在人工智能方法的发展中曾经产生过重要的影响。如，采用谓词逻辑语言的演绎过程的形式化，可以帮助人们更清楚地理解演绎推理过程。
    • • 专家系统
    • 专家系统是一个具有大量专门知识与经验的程序系统。
      • 分布式专家系统、协同式专家系统等新一代专家系统的研究也发展很快。在新一代专家系统中，不但采用基于规则的推理方法，而且采用诸如人工神经网络的方法。
    • 机器学习
    • 传统的机器学习倾向于使用符号表示知识而不是数值表示知识；另一个倾向是使用归纳方法进行学习而不是演绎方法。
      • 传统的机器学习倾向于使用符号表示知识而不是数值表示知识；另一个倾向是使用归纳方法进行学习而不是演绎方法。
    • • 自然语言理解
    • 解决计算机系统能理解自然语言的问题是人工智能研究的一个十分重要的课题。
      • 自然语言理解涉及对上下文知识结构的表示和根据上下文知识进行推理的方法和技术。
    • 智能检索
    • 智能信息检索系统应具有以下功能： 1）能理解自然语言，允许用户使用自然语言提出检索要求和询问。 2）有推理能力，根据数据库存储的事实，推理产生用户要求和询问的答案。 3）系统拥有一定的常识性知识，以补充数据库中学科范围的专业知识。
    • • 机器人学
    • 20 世纪 60 年代，机器人开始进入大量生产和实际应用的阶段。
      • 智能机器人是多学科交叉的综合课题，它涉及精密机械，视觉、触觉、听觉等信息传感技术，自动控制，人工智能的规划方法等。
    • 自动程序设计
    • 自动程序设计是指设计一个能自动生成程序的程序系统，这个程序系统只需要对其输入要求生成的程序的实现目标的高级描述，就能自动生成能完成这个目标的程序。
    • 分布式人工智能（Distributed Artifical Intelligence，DAI）
    • 是随着计算机网络、计算机通信和并发程序设计技术而发展起来的人工智能研究领域。
      • 分布式人工智能的研究为在计算机网络环境下设计和建立大型复杂智能系统提供了一条有效途径。
    • 组合调度问题
    • 组合调度问题的求解方法已经广泛应用于交通运输调度、列车编组、空中交通管制和军事指挥自动化等系统之中。
    • • 模式识别
    • 「模式」（Pattern）一词的本意是指完整无缺的供模仿的标本或标识。模式识别就是识别出给定物体所模仿的标本或标识。
      • 基于人工神经网络的模式识别技术在手写字符的识别、汽车牌照的识别、指纹识别、语音识别等方面已经有许多成功的应用。
    • 机器视觉
    • 机器视觉可分为低层视觉和高层视觉两个层次。低层视觉主要是对视觉图像执行预处理，例如，边缘检测、运动目标检测、纹理分析等
      • 机器视觉的前沿研究课题包括：实时图像的并行处理，实时图像的压缩、传输与复原，三维景物的建模识别，动态和时变视觉等。
    • • 博弈
    • 博弈（Game Playing）是一个有关对策和斗智问题的研究领域。例如，下棋、打牌、战争等这一类竞争性智能活动都属于博弈问题。
      • 人工智能对博弈的研究的其目的是为给人工智能研究提供一个试验场地，对人工智能的有关技术进行检验，从而也促进这些技术的发展。
    • 人工神经网络
    • 人工神经网络（Artificial Neural Network，ANN）是一个用大量的简单处理单元经广泛并行互连所构成的人工网络，用于模拟人脑神经系统的结构和功能。
      • 其研究和应用已渗透到许多领域。如机器学习、专家系统、智能控制、模式识别、计算机视觉、信息处理、非线性系统辨识及非线性系统组合优化等。
    • • 知识发现和数据挖掘
    • 是在数据库的基础上实现的一种知识发现系统。它通过综合运用统计学、粗糙集、模糊数学、机器学习和专家系统等多种学习手段和方法，从数据库中提炼和抽取知识
      • 知识发现和数据挖掘以数据库作为知识源去抽取知识，不仅可以提高数据库中数据的利用价值，同时也为专家系统的知识获取开辟了一条新的途径。
    • 智能决策支持系统
    • 智能决策支持系统（Intelligent Decision Support System）是指那种在传统决策支持系统中增加了相应的智能部件的决策支持系统。
      • 智能决策支持系统由数据库、模型库、方法库、人机接口及知识库五部分所组成，可发挥专家系统在知识处理方面的特长。
• • 【03】人工智能的发展史
  • • 蓬勃发展期：2011年至今
    • 大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展。
    • 2011年
      • IBM Watson问答机器人参与Jeopardy回答测验比赛最终赢得了冠军。
    • 2012年
      • Hinton和他的学生Alex Krizhevsky设计的AlexNet 神经网络模型在ImageNet竞赛大获全胜，引爆了神经网络的研究热情。
      • 谷歌发布谷歌知识图谱Google Knowledge Graph），是Google的一个从多种信息来源汇集的知识库。
    • 2013年
      • Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出变分自编码器（VAE）。
      • Google的Tomas Mikolov 提出Word2Vec模型用来学习单词分布式表示，因其简单高效引起了工业界和学术界极大的关注。
    • 2014年
      • 聊天程序“尤金·古斯特曼”在英国皇家学会举行的“2014图灵测试”大会上，首次“通过”了图灵测试。
      • Goodfellow及Bengio等人提出生成对抗网络（Generative Adversarial Network，GAN）。
    • 2015年
      • 为纪念人工智能概念提出60周年，LeCun、Bengio和Hinton推出了深度学习的联合综述《Deep learning》。
      • Microsoft Research的Kaiming He等人在ImageNet大规模视觉识别竞赛中获得了图像分类和物体识别的优胜。
      • 马斯克等人共同创建OpenAI。其发布热门产品的如：OpenAI Gym，GPT等。
    • 2016年
      • 谷歌提出联邦学习方法，它在多个持有本地数据样本的分散式边缘设备或服务器上训练算法，而不交换其数据样本。
      • AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜。
      • 在2017年更新的AlphaGo Zero，在此前的版本的基础上，结合了强化学习进行了自我训练。
    • 2017年
      • 中国香港的汉森机器人技术公司（Hanson Robotics）开发的类人机器人索菲亚，是历史上首个获得公民身份的一台机器人。
    • 2019年
      • IBM宣布推出Q System One，它是世界上第一个专为科学和商业用途设计的集成通用近似量子计算系统。
      • 香港 Insilico Medicine 公司和多伦多大学的研究团队实现了重大实验突破，证明了 AI 发现分子策略的有效性。
    • 2020年
      • Google与Facebook分别提出SimCLR与MoCo两个无监督学习算法，均能够在无标注数据上学习图像数据表征。
      • OpenAI开发的文字生成 (text generation) 人工智能GPT-3，它具有1,750亿个参数的自然语言深度学习模型。
      • 马斯克的脑机接口（brain–computer interface, BCI）公司现场直播，展示了植入Neuralink设备的实验猪的脑部活动。
      • 中国科学技术大学潘建伟等人成功构建76个光子的量子计算原型机“九章”，求解数学算法“高斯玻色取样”只需200秒。
    • 2021年
      • OpenAI提出两个连接文本与图像的神经网络：DALL·E 和 CLIP。
      • 德国Eleuther人工智能公司推出开源的文本AI模型GPT-Neo。
      • AlphaFold 2 能很好地预判蛋白质与分子结合的概率，为我们展示了人工智能驱动自然学科研究的无限潜力。
    • 2022年
      • ChatGPT出来，AI的想象瞬时就开始爆了
    • 2024年
      • 奥特曼发布OpenAI首个视频生成模型Sora
• • 【03】人工智能的发展史
  • • 平稳发展期：20世纪90年代—2010年
    • 互联网技术的迅速发展，加速了人工智能的创新研究，促使人工智能技术进一步走向实用化，人工智能相关的各个领域都取得长足进步。
    • 1995年
      • Cortes 和 Vapnik 提出联结主义经典的支持向量机(Support Vector Machine)，在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
      • Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。
    • 1997年
      • IBM深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫。
      • Sepp Hochreiter 和 Jürgen Schmidhuber提出了长短期记忆神经网络(LSTM)。
    • 1998年
      • 万维网联盟的蒂姆·伯纳斯·李(Tim Berners-Lee)提出语义网(Semantic Web)的概念。
    • 2001年
      • John Lafferty首次提出条件随机场模型（Conditional random field，CRF）。 CRF是基于贝叶斯理论框架的判别式概率图模型。
      • 布雷曼博士提出随机森林（Random Forest）。 随机森林是将多个有差异的弱学习器(决策树)Bagging并行组合，通过建立多个的拟合较好且有差异模型去组合决策，以优化泛化性能的一种集成学习方法。
    • 2003年
      • David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA（Latent Dirichlet Allocation）。
      • LDA是一种无监督方法，用来推测文档的主题分布，将文档集中每篇文档的主题以概率分布的形式给出，可以根据主题分布进行主题聚类或文本分类。
      • Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigTable），并奠定了现代大数据技术的理论基础。
    • 2005年
      • 波士顿动力公司推出一款动力平衡四足机器狗，有较强的通用性，可适应较复杂的地形。
    • 2006年
      • 杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念（Deeping Learning），开启了深度学习在学术界和工业界的浪潮。
      • 2006年也被称为深度学习元年，杰弗里·辛顿也因此被称为深度学习之父。
    • 2010年
      • Sinno Jialin Pan和 Qiang Yang发表文章《迁移学习的调查》。
      • 迁移学习(transfer learning)通俗来讲，就是运用已有的知识（如训练好的网络权重）来学习新的知识以适应特定目标任务，核心是找到已有知识和新知识之间的相似性。
• • 【03】人工智能的发展史
  • • 应用发展期：20世纪80年代
    • 人工智能走入应用发展的新高潮。机器学习(特别是神经网络)探索不同的学习策略和各种学习方法，在大量的实际应用中也开始慢慢复苏。
    • 1980年
      • 在卡内基梅隆大学(CMU)召开了第一届机器学习国际研讨会，标志着机器学习研究已在全世界兴起。
      • 德鲁·麦狄蒙（Drew McDermott）和乔恩·多伊尔（Jon Doyle）提出非单调逻辑，以及后期的机器人系统。
      • 卡耐基梅隆大学为DEC公司开发了一个名为XCON的专家系统
    • 1981年
      • 保罗（R.P.Paul）出版第一本机器人学课本，“Robot Manipulator：Mathematics，Programmings and Control”，标志着机器人学科走向成熟。
    • 1982年
      • 马尔（David Marr）发表代表作《视觉计算理论》提出计算机视觉（Computer Vision）的概念，并构建系统的视觉理论，对认知科学（CognitiveScience）也产生了很深远的影响。
      • 约翰·霍普菲尔德（John Hopfield） 发明了霍普菲尔德网络，这是最早的RNN的雏形。
    • 1983年
      • Terrence Sejnowski, Hinton等人发明了玻尔兹曼机（Boltzmann Machines），也称为随机霍普菲尔德网络，它本质是一种无监督模型，用于对输入数据进行重构以提取数据特征做预测分析。
    • 1985年
      • 朱迪亚·珀尔提出贝叶斯网络(Bayesian network)，他以倡导人工智能的概率方法和发展贝叶斯网络而闻名。
    • 1986年
      • 罗德尼·布鲁克斯(Brooks)发表论文《移动机器人鲁棒分层控制系统》，标志着基于行为的机器人学科的创立，机器人学界开始把注意力投向实际工程主题。
      • 辛顿(Geoffrey Hinton)等人先后提出多层感知器(MLP)与反向传播（BP）训练相结合理念，开启了神经网络新一轮的高潮。
      • 昆兰（Ross Quinlan）提出ID3决策树算法。
    • 1989年
      • George Cybenko证明了“万能近似定理”，从根本上消除了Minsky对神经网络表达力的质疑。
      • LeCun (CNN之父) 结合反向传播算法与权值共享的卷积神经层发明了卷积神经网络（Convolutional Neural Network，CNN），并首次将卷积神经网络成功应用到美国邮局的手写字符识别系统中。
• • 【03】人工智能的发展史
  • • 反思发展期：20世纪70年代
    • 人工智能发展初期的突破性进展大大提升了人们对人工智能的期望，人们开始尝试更具挑战性的任务，然而计算力及理论等的匮乏使得不切实际目标的落空，人工智能的发展走入低谷。
    • 1974年
      • 哈佛大学沃伯斯(Paul Werbos)
      • 在博士论文里，首次提出了通过误差的反向传播(BP)来训练人工神经网络，但在该时期未引起重视。
      • BP算法的基本思想不是（如感知器那样）用误差本身去调整权重，而是用误差的导数（梯度）调整。
    • 1975年
      • 马文·明斯基(Marvin Minsky)
      • 被称为“人工智能之父”、框架理论的创立者
      • 在论文《知识表示的框架》(A Framework for Representing Knowledge)中提出用于人工智能中的知识表示学习框架理论。
    • 1976年
      • 斯坦福大学的肖特利夫(Edward H. Shortliffe)等人
      • 完成了第一个用于血液感染病的诊断、治疗和咨询服务的医疗专家系统MYCIN。
      • 斯坦福大学的博士勒纳特发表论文《数学中发现的人工智能方法——启发式搜索》
    • 1977年
      • 海斯·罗思(Hayes. Roth)等人的基于逻辑的机器学习系统取得较大的进展，但只能学习单一概念，也未能投入实际应用。
    • 1979年
      • 汉斯·贝利纳（Hans Berliner）打造的计算机程序战胜双陆棋世界冠军成为标志性事件。
      • 日本学者福岛邦彦（Kunihiko Fukushima）建立了视觉识别模式的多层架构Neocognitron，将感知野（Receptive Field）概念引入了人工神经网络领域，这可以说是卷积神经网络（CNN）的鼻祖。
      • 格瑞·特索罗等人打造的自我学习双陆棋程序又为后来的强化学习的发展奠定了基础。
• • 【03】人工智能的发展史
  • • 起步发展期：1943年—20世纪60年代
    • 人工智能概念的提出后，发展出了符号主义、联结主义(神经网络)，相继取得了一批令人瞩目的研究成果，如机器定理证明、跳棋程序、人机对话等，掀起人工智能发展的第一个高潮。
    • 1943年
      • 神经科学家麦卡洛克（Warren McCulloch） 逻辑学家皮茨（Water Pitts）
      • 提出神经元数学模型，这是现代人工智能学科的奠基石之一。
    • 1950年
      • 克劳德·香农（Claude Shannon）提出计算机博弈。
      • 艾伦·麦席森·图灵提出图灵测试（The Turing test）。
    • 1956年
      • 达特茅斯学院人工智能夏季研讨会上正式使用了人工智能（artificial intelligence，AI）这一术语。
      • 标志着人工智能学科的诞生。
    • 1957年
      • 弗兰克·罗森布拉特（Frank Rosenblatt）
      • 在一台IBM-704计算机上模拟实现了一种他发明的叫做“感知机”（Perceptron）的神经网络模型。
    • 1958年
      • David Cox提出了logistic regression。
      • LR是类似于感知机结构的线性分类判别模型
    • 1959年
      • Arthur Samuel给机器学习了一个明确概念
      • Field of study that gives computers the ability to learn without being explicitly programmed.
    • 1961年
      • Leonard Merrick Uhr 和 Charles M Vossler
      • 发表论文，该文章描述了一种利用机器学习或自组织过程设计的模式识别程序的尝试。
    • 1965年
      • 古德（I. J. Good）
      • 发表了一篇对人工智能未来可能对人类构成威胁的文章，，可以算“AI威胁论”的先驱。
    • 1966年
      • 麻省理工学院科学家Joseph Weizenbaum
      • 发表文章描述了ELIZA 的程序如何使人与计算机在一定程度上进行自然语言对话成为可能。
    • 1967年
      • Thomas等人提出K最近邻算法（The nearest neighbor algorithm）。
    • 1968年
      • 爱德华·费根鲍姆（Edward Feigenbaum）
      • 提出首个专家系统DENDRAL，并对知识库给出了初步的定义，这也孕育了后来的第二次人工智能浪潮。
    • 1969年
      • “符号主义”代表人物马文·明斯基（Marvin Minsky）
      • 在著作《感知器》中提出对XOR线性不可分的问题：单层感知器无法划分XOR原数据，解决这问题需要引入更高维非线性网络（MLP, 至少需要两层），但多层网络并无有效的训练算法。
      • 这给神经网络研究沉重的打击，研究走向长达10年的低潮时期。
• • 人工智能(AI)发展历程
• • 【01】人工智能的定义和研究目标
  • • 人工智能的定义
    • 人工智能（Artificial Intelligence），简称 AI
    • 人工智能的研究涉及计算机科学、脑科学、神经生理学、心理学、语言学、逻辑学、认知（思维）科学、行为科学、生命科学和数学，以及信息论、控制论和系统论等许多学科领域。
    • 人工智能的研究目标
    • 1978 年，索罗门（A.Sloman）对人工智能给出三个主要目标
    • • 对智能行为有效解释的理论分析
    • 构造智能的人工制品
      • • 解释人类智能
    • 人工智能研究的基本内容
    • 认知
      • 为一定目的、在一定的心理结构中进行的信息加工过程。
    • 机器感知
      • 让机器具有类似于人的感知能力，如视觉、听觉、触觉。
    • 机器思维
      • 对外界信息和自己产生的内部信息进行思维性加工。
    • 机器学习
      • 像人那样自动获取新知识，在实践中不断地自我完善。
    • 机器行为
      • 具有像人那样的行动和表达能力，如走、跑、说、唱等。
    • 智能系统
      • 需要建立智能系统或构造智能机器
  • 【02】人工智能的流派
  • • 人工智能的源头
    • “人工智能”一词由约翰·麦卡锡（John McCarthy）提出，其目标是“真正的”智能，而非“人工的”智能。
    • 学派
      • 思想
        • 方法
    • 联结主义
      • 利用数学模型来研究人类认知的方法，用神经元的连接机制实现人工智能。
        • 神经网络、SVM等
    • 符号人工智能
      • 无须构建模拟大脑运行的程序，受数学逻辑以及人们描述自身思考过程方式启发。
        • 专家系统，知识图谱，决策树等
    • 演化主义
      • 对生物进化进行模拟，使用遗传算法和遗传编程。
        • 遗传算法等
    • 贝叶斯主义
      • 使用概率规则及其依赖关系进行推理
        • 朴素贝叶斯等
    • 行为主义
      • 以控制论及感知-动作型控制系统原理模拟行为以复现人类智能
        • 强化学习等
    • 符号主义及联结主义为主要的两大派系
    • 符号主义（Symbolicism）
      • 又称逻辑主义、计算机学派
      • 主张用显式的公理和逻辑体系搭建人工智能系统。
    • 联结主义（Connectionism）
      • 又叫仿生学派
      • 笃信大脑的逆向工程