智能简史

人类大脑进化史，历史的五个突破，一步步变成现在的我们，第一次突破是出现了第一个大脑。哪怕是个线虫，也有联想学习的能力，也就是条件反射，它会自动地趋利避害。第二次突破是脊椎动物的强化学习。这意味着一定的预测能力，多巴胺能感觉到往哪里去会得到奖励。第三次突破是哺乳动物获得新皮层，会在大脑中建立一个模型对世界进行模拟。第四次突破是心智化，灵长类能理解他人在想什么，有了模仿学习。第五次突破是语言。

智能简史

• 大脑在进化史上，是经过了五次重大突破，才形成今天这个样子 大脑每次突破带来的新功能，都可以跟AI研究相对照 脑神经科学和AI科学正在互相促进 这本书讲了大脑演化史上的五次突破 —— 第一次突破是出现了第一个大脑。哪怕是个线虫，也有联想学习的能力，也就是条件反射，它会自动地趋利避害。 第二次突破是脊椎动物的强化学习。这意味着一定的预测能力，多巴胺能感觉到往哪里去会得到奖励。 第三次突破是哺乳动物获得新皮层，会在大脑中建立一个模型对世界进行模拟。 第四次突破是心智化，灵长类能理解他人在想什么，有了模仿学习。 第五次突破是语言。
• 争斗的起源
  • 进化史
    • 大约40亿年前，形成了比较长的分子链：DNA
      • 易损，DNA进化出自我复制能力：大概是生命的第一个智慧
    • 大约35亿年前，DNA+蛋白质+脂类+碳水化合物→LUCA（最后共同祖先，早期单核细胞）
    • 大约25亿年前，卢卡的某个后代，突变成了蓝菌，也叫蓝绿菌
      • 蓝菌会光合作用
        • 把阳光和二氧化碳变成糖，糖是高密度能量块，可以存储起来慢慢用
        • 生成的垃圾 —— 氧气
    • 大约24亿年前，蓝菌经过1亿年，制造了巨量的氧气
      • 氧气大屠杀时间
        • 氧气很容易让组成细胞的物质氧化，从而加速衰老
          • 有些细胞突然进化出了有氧呼吸
            • 把氧气和糖转化为能量
            • 生成的垃圾——二氧化碳
    • 大约20亿年前，有氧呼吸的生命，因因为要吃，渐渐演化出一种特别大的细胞，叫做「真核生物」，而后又演变成多细胞动物、真菌等
    • 大约5.5亿年前，演化出第一个两侧对称动物线虫，进化出了第一个大脑
    • 大约5亿年前，线虫演化出了一个分岔，一边是脊椎动物（鱼），一边是无脊椎动物（寒武纪统治者）
    • 大约3.75亿年，祖先大分叉，一部分继续保持冷血，成为今天爬行动物的祖先，而我们则变成了温血动物
    • 大约2.5亿年前，演化出了恐龙，兽孔类
    • 大约1.5亿年前，演变成哺乳动物
    • 大约1500万年前，我们跟黑猩猩共同的祖先，一种开启了心智理论、会搞政治的灵长类动物，是主要以吃果子为生，生活在非洲大陆
    • 大约1000万年前，非洲环境变化，地壳运动形成了东非大裂谷，西面还是森林，东面变成了草原
    • 大约600万年前，大裂谷周围长出了新的山脉，把东西两侧就给隔绝开了。于是当初那个灵长类动物，也就被分成了东西两个族群，我们的祖先属于东面的族群
    • 大约400万年前，我们开始直立行走
    • 大约250万年前，东部草原这个环境中演化出了很多大型哺乳动物，有大象、斑马、长颈鹿、野猪，更有食肉的狮子、豹、剑齿虎等等
    • 大约50万年前，我们演化成了直立人，掌握高级打猎技术，食物中85%为肉，直立人的大脑是黑猩猩的两倍
  • 斗争开始
    • 光合作用的生物之间，基本没啥竞争，不需要太高的智能
    • 有氧呼吸的生物，需要“吃”
      • 真菌
        • 简单说就是各种蘑菇，吃的是腐烂的生物身体，不需要太高的智能
      • 动物
        • 需要在体内消化、需要捕猎
          • 必备三件套
            • 装食物的地方：胃
            • 会做动作的是：肌肉
            • 形成判断的是：神经元
• 第一个大脑
  • 第一个有大脑的生物：两侧对称动物线虫
    • 线虫能趋利避害的三个基本能力
      • 会判断好坏
      • 会权衡
        • 大脑会把各方面的信息整合起来，做一个权衡
      • 对自身状态的了解
        • 比如饱和饿
        • 萨顿把强化学习分解成两个独立的部分，各自训练：「行动者（actor）」和「批评者（critic）」。行动者每走一步，批评者都要预测这一步之后的全局取胜概率是多少。萨顿说我们应该强化的不是最终的胜负奖励，而是走完这一步后胜率的变化
          • 这个机制是在神经元层面实现的。好东西会激活「正价神经元」，坏东西激活「负价神经元」
    • 线虫的学习能力：联想学习（巴甫洛夫的条件反射）
      • 联想学习是一种直接在神经元层面进行的学习，这是两侧对称动物独有的
        • 比如一段时间内，线虫经常在盐的附近发现食物，它就会把盐和食物联系在一起，这就是「习得」。过段时间，环境变了，盐附近没有食物了，线虫对盐的反射就会减弱，这叫「消退」。再过一段时间，又在盐的附近发现食物，线虫会迅速重新建立联系，这叫「自发恢复」
    • 线虫的大脑，是有情感的
    • 线虫还会抑郁
  • 线虫的智能，就是我们动物的底色
    • 趋利避害，但不能只知道向前，得会调整方向
    • 整合信息，权衡多方意见再做决定
    • 持续学习，不能故步自封
    • 行为要体现情感，讲个一惯性，不能没心没肺
• 学习的革命
  • 脊椎动物的大脑
    • 有皮层、基底神经节、丘脑、下丘脑、中脑和后脑
    • 强化学习：时序差分学习
      • 多巴胺是强化学习的关键
      • 多巴胺是对好东西的预期，而不是好东西的奖赏
      • 多巴胺是一个强化信号，而不是奖励信号。多巴胺的作用是让我们「想要」，告诉我们好东西就在附近，你现在的做法是对的，继续前进！
    • 好奇心
      • 强化学习有明确的目标，是一种非常功利的态度，它必须有好奇心的指引，才能走得远。你必须宁可牺牲一点回报，只为探索新的地方
• 这个脑区不一般
  • 哺乳动物
    • 哺乳动物的竞争优势，是可以先出手
      • 视力好
      • 会做计划
        • 要会做计划，我们的大脑必须会「模拟」那个环境，我们需要先把行动在自己大脑模拟的环境中演练一遍
        • 要模拟，你必须会「想象」才行，你得能用大脑生成一个环境，并且和这个环境互动
        • 正是这个新皮层给了我们想象力
• 模型思考者
  • 新皮层带来的进化
    • 根据输入的信息生成一个可理解的模型
    • 用这个模型生成对世界的预测
    • 模型思维带来的能力
      • 替代性试错：先在头脑中的模型里想象一下每个方案会得到什么结果，再采取行动 —— 这也就是做计划的能力
      • 反事实学习：如果我当初*没做*这个选择，我会得到什么
      • 情节记忆：本质上是生成出来的，它需要调用想象力
• 系统2思维
  • 不同说法，殊途同归
    • 哺乳动物的想象力
    • 卡尼曼的系统2思维
    • AI的基于模型的强化学习
    • 丹尼尔·卡尼曼说的系统1，也就是快思考，其实就是强化学习带来的本能反应，由基底神经节自动选择；卡尼曼所说的系统2，慢思考，其实就是前额叶皮层感觉到了冲突，先暂停自动反应，发起模拟再做选择，也就是基于模型的强化学习
  • 大脑新皮层的结构
    • 感觉新皮层：来对接外部的触觉、视觉、听觉、嗅觉等等，既处理这些信号也模拟这些信号，负责想象
    • 额叶新皮层
      • 运动皮层：模拟和预测的是身体的运动
        • 前额叶皮层规划宏观的路线，运动皮层规划四肢的具体动作，它们都跟基底神经节相连
      • 颗粒状前额叶皮层（gPFC）
        • 目前是灵长类独有
      • 无颗粒状前额叶皮层（aPFC）：所有的做决定、实施注意力的脑区
        • 决定系统2思维要不要开启的原因
          • 1.基底神经节负责系统1思考
          • 2.前额叶皮层一直在观察基底神经节，它像视觉皮层对视觉信号建立模型那样，对基底神经节建立了一个模型！然后它要根据这个模型做出预测
          • 3.它预测的，是动物自己的行动意图
          • 这是一种建模。正是因为前额叶皮层的建模，我们才有了「意图」这个东西。换句话说，意图是大脑想象出来的东西 有了意图，才可能有自我意识。这就是为什么现阶段的AI没有意识，因为它们只是自动反应，它们还没有前额叶皮层
• 政治的本质
  • 灵长类玩政治
    • 灵长类大脑的硬件基础
      • 颗粒状前额叶皮层（gPFC）和灵长类感觉皮层（PSC）
      • aPFC能生成个人的意图，gPFC把你的意图、你的感觉、你的思想、你的知识，投射到你所模拟的那个场景之中去
      • 把自己当做“他者”，从高处旁观的能力，就是心理学家和哲学家说的【元认知】
      • 模拟他人的所要、所知、所想 —— 这个能力，叫做「心智理论（theory of mind）」。
      • 1.gPFC能够让我们以第三人称的视角看自己，能跳出自我观察自我 2.你的情商是大脑硬件所决定的
    • 拥有心智理论，灵长类动物的社交变得复杂
      • 我们会根据信任程度把人分类，我们和他人之间有了「关系」
        • 亲缘关系
        • 信任关系
        • 敌对关系
• 通往财富自由之路
  • 心智理论的扩展适应
    • 生物演化有个有意思的现象叫做「扩展适应（exaptation）」，意思是为了适应某一种环境局面而演化出来的功能，过后发现这个功能不仅解决了之前的问题，还可以用来解决新的问题 比如说，鸟类的祖先最初演化出羽毛是为了保温，后来鸟要飞，结果羽毛正好适合帮助飞翔
    • 模仿学习
      • 教学（心智理论+有意图的模拟）
        • 第一个特点是教和学都具有主动性。老师是真想教，学生也是真想学
        • 第二个特点是学生真学
        • 第三个特点更厉害，那就是学生能区分老师的哪些动作有用，哪些动作没用
    • 对未来做计划
• 语言的诞生
  • 语言是机缘巧合之下多个因素共同作用的结果，我们能因为语言而变成人，开启文明，是一场各种因素合力形成正反馈造成的完美风暴
    • 学者们推测，语言就是在直立人的社交互动中产生的
    • 大约十万年前，我们正式拥有了语言
    • 只有人有喉咙和声带能发出复杂的声音，黑猩猩没有这个能力
    • 人的语言是个需要学习的系统，而黑猩猩虽然也会发声交流，但它们那只是一个反射性的情绪表达系统
    • 我们的语言，恰恰就是一种刻意的、非自发的表达
    • 语言不是天生的东西
  • 什么决定了我们能够学会语言
    • 可能是隐藏在杏仁核和脑干这些古老区域深处的一些东西，这个系统给了人三个本能
      • 第一个本能是轮换式的沟通：对话式沟通
      • 第二个本能是共同的注意力：比如你看那，这是一朵花，你就知道了，这是一朵花
      • 第三个本能是提问：一切动物中，只有人会提问
  • 语言带给我们的不只是一项个人能力，更是一项积累知识和建设文明的能力
    • 语言能让说话的人把自己内心想象的场景和动作，传递给听话的人。这个功能大大提高了交流的效率
      • 传递想象的能力，是又一次学习的革命
        • 脊椎动物的强化学习，也就是试错，是从自己的行动中学习
        • 哺乳动物的模拟学习，是从自己的想象中学习
        • 有了心智理论，灵长类动物可以通过模仿另一个人做事来学习，也就是从他人的行动中学习
        • 而有了语言，我们则能够从他人的想象中学习
    • 有了语言，我们就把想象的模型压缩成了一条条精炼的「知识」
    • 语言不但让知识变得容易传承，更让知识成了可积累的东西