3Blue1Brown-线性代数的本质（学习笔记）

根据B站大佬3Blue1Brown的系列视频“线性代数的本质”整理出的个人笔记，旨在用几何直观的角度理解线性代数，现将笔记免费开源！

3Blue1Brown-线性代数的本质 （2016.08-2021.05）

• 01 “线性代数的本质”系列预览
  • 线性代数的几何意义可视化
• 02 向量究竟是什么？
  • 向量是什么
    • 计算机：有序的数字列表
    • 数学家：可以是任何东西，只要能满足向量加法和向量数乘是有意义的即可
    • 物理：空间中的箭头
  • 把向量看成：在空间中朝着一个方向迈出一定距离
  • 缩放 Scaling：拉伸或压缩，有时又使向量反向的过程
  • 标量 Scalars = 数字
• 03 线性组合、张成的空间与基
  • 将每个坐标看作标量
  • 坐标系的基
    • • i帽 / x方向的单位向量
    • • j帽 / y方向的单位向量
  • 基的严格定义：向量空间的一个基是张成该空间的一个线性无关向量集
  • 两个向量的线性组合：两个向量标量乘法之和
  • 张成空间
    • 让常数变化
  • 单个向量看作箭头
  • 多个向量看作点
  • 线性相关
  • 线性无关
    • a取所有值
• 提示
  • 视频中将向量写作矩阵的列，而教科书中大多将向量写作矩阵的行两种结果没有差异，因为转置不改变行列式的值 这里选择按列处理向量是为了更加直观
• 04 矩阵与线性变换
  • transformation 变换 = function 函数
    • 接收一个向量并且输出一个向量的变换
  • 线性变换
    • 性质
      • 01 直线依旧是直线，不能有所弯曲
      • 02 原点保持固定
    • 保持网格线平行并等距分布
  • 只需记录两个基向量变换后的位置
  • 列线性相关
    • 二维压缩到直线
• 05 矩阵乘法与线性变换复合
  • 复合变换（多次变换）
    • • 函数：将函数写在变量左侧
    • 首先应用右侧矩阵所描述的变换，然后再应用左侧矩阵所描述的变换
  • 结合律成立
  • 良好的解释>象征性证明
• 06 三维空间中的线性变换
  • 三维空间变换
    • • 两个线性变换依次作用
• 07 行列式
  • 二维空间
    • 面积的缩放
    • det([ ])=
    • 列线性相关时，相当于降维，所以行列式=0
    • 区域缩放负数倍：将空间翻转
      • 取向发生翻转
  • 三维空间
    • 平行六面体（Parallelepiped）体积的缩放
    • det(M)<0
      • 右手定则：无名指i，中指j，大拇指k
    • 列线性相关时，相当于降维，所以行列式=0
• 08 逆矩阵、列空间与零空间
  • 计算方法
    • 高斯消元法
    • 行阶梯式
    • 让计算机去做计算工作
  • 矩阵的用途
    • A：线性变换
  • 变换与逆变换
  • 逆矩阵
    • 恒等变换：
      • 01
      • 02
      • 03
  • 无法升维
    • 无法将一条线“解压缩”为一个平面，因为必然会映射为多个向量
  • det(A)=0 时解仍然可能存在
    • 比如 一个变换将空间压缩为一条直线，且刚好向量v恰好处于这条直线上
  • 秩 rank
    • 零行列式
    • 变换的秩为1：结果是一维的（变换的结果为一条直线）
    • 变换的秩为2：结果是二维的（变换后的向量落在一个二维平面上）
    • 秩 代表变换后空间的维数
  • 列空间
    • A的列空间：所有可能的输出向量Av构成的集合 （不管是一条直线、一个平面还是三维空间等，所有可能的变换结果的集合）
    • 列空间：矩阵的列所张成的空间
    • 秩：列空间的维数
    • 满秩：当秩达到最大值时，意味着秩与列数相等
  • 零空间 Null space 核 Kernel
    • 零向量（零点）一定在列空间中 （因为线性变换必须保持原点位置不变）
      • 对满秩变换来说，唯一能在变换后落在原点的就是零向量自身
      • 三维线性变换将空间压缩到一个平面上，会有一整条线上的向量在变换后落在原点
      • 三维线性变换将空间压缩到一条直线上，会有一整个平面上的向量在变换后落在原点
    • 零空间/核：在变换后落在原点的向量集合
• 09 非方阵
  • 不同维数之间的变换是合情合理的
  • • 这个矩阵的列空间是三维平面中一个过原点的二维平面
    • 是满秩的，因为列空间的维数与输入空间的维数相等
    • 将二维空间映射到三维空间上 （因为两列表示输入空间有两个基向量，有三行表示每一个基向量在变换后，都用三个独立的坐标来描述）
  • • 三维空间到二维空间的变换
  • • 二维空间到一维空间
    • 一维空间=数轴
• 10 点积与对偶性
  • 点积 Dot product
    • 两个相同维数的向量（两个相同长度的数组）
    • 点积=其中一个向量的投影长度*另一个向量的长度
    • 方向
      • 方向相同
        • 点积为正
      • 相互垂直
        • 点积为0
      • 方向相反
        • 点积为负
  • 对称性
  • 严格的线性性质
  • 两个向量点乘=将其中一个向量转化为线性变换
    • 将向量放倒/立直，从而得到与之相关的矩阵
  • 对偶性
    • 投影矩阵
    • 单位向量
      • 空间中任意向量经过投影变换的结果=投影矩阵与这个向量相乘 =这个向量与u帽的点积
      • 单位向量的点积：将向量投影到单位向量所在的直线上所得到的投影值
    • 非单位向量
      • 向量与给定非单位向量的点积：投影而后缩放
    • 对偶性：两种数学事物之间自然而又出乎意料的对应关系
      • 一个向量的对偶：由它定义的线性变换
      • 一个多维空间到一维空间的线性变换的对偶：多维空间中的某个特定向量
  • 点积的作用
    • 01 理解投影的有效几何工具
    • 02 方便检验两个向量的指向是否相同
• 11 叉积的标准介绍
  • 不严格 （严格来说，这个不是叉积）
    • 顺序会对叉积有影响
      • • v在w右侧
      • • v在w左侧
      • 基向量的顺序就是定义取向的基础
        • 默认i在j右侧
    • 夹角
      • 接近垂直时，叉积更大
      • 指向接近时，叉积更小
    • 符合线性变换
  • 严格
    • 叉积：通过两个三维向量生成一个新的三维向量
    • 叉积的结果不是一个数，而是一个向量
      • 这个向量的长度：平行四边形的面积
      • 这个向量的方向：与平行四边形（所在的面）垂直
      • 这个向量符合右手定则
        • 右手食指：v
        • 中指：w
        • 大拇指：叉积的方向
      • 所以可以用来求法向量
    • 把基向量看作矩阵元
• 12 以线性变换的眼光看叉积
  • 对偶向量 Dual vector：每当看到一个（从空间）到数轴的线性变换，都能够找到一个向量（这个变换的对偶向量），使得应用线性变换和与对偶向量点乘等价
  • 二维向量的叉积
  • 并非真正的叉积
  • 真正的叉积
    • 真正的三维向量的叉积：接收两个向量并输出一个向量
  • 先将u帽设置为xyz变量
  • 从三维空间到一维空间的变换
    • 从多维空间到一维空间的变换的特别之处：可以将这个矩阵立起来，并且将整个变换看作与这个特定向量p的点积
  • 三维向量叉积的几何意义
• 13 基变换
  • 空间本身没有网格
  • 不同坐标系之间的变换
    • 原点都是(0, 0)
  • 向量并不是唯一用坐标表示的东西
  • 转化一个矩阵的例子
  • • 暗示一种数学上的转移作用
    • 中间的矩阵代表一种你所见的变换 外侧的两个矩阵代表着转移作用，也就是视角上的转化
    • 矩阵乘积仍然代表着同一个变换，只不过是从其他人的角度来看
• 14 特征向量与特征值
  • 大部分向量（在变换中）离开了它所张成的空间（直线）
  • 向量留在它所张成的空间（直线）里
    • 向量在变换后正好坐在它的直线上，意味着矩阵对它的作用仅仅是拉伸或者压缩而已，如同一个标量
    • 变换的特征向量：这些特殊向量
    • 特征值：每个特征向量都有一个所属的值，即衡量特征向量在变换中拉伸或压缩比例的因子
      • 有正负
  • 三维空间旋转
    • 特征向量就是旋转轴
    • 且特征值必须为1，因为旋转并不缩放任何一个向量
  • 用特征向量来理解线性变换，可以不依赖之前的坐标系
  • • v是A的特征向量
    • • 左侧是矩阵向量乘积，右侧是向量数乘
    • l
      • • 矩阵的作用是把任一向量乘以l
        • 这个矩阵的列代表变换后的基向量，而每个基向量仅仅与l相乘
        • 所以这个矩阵的对角元均为l，其余位置都是0
    • • v为0向量时恒成立，所以需要非零解（非零特征向量）
    • • 当且仅当矩阵所代表的变换将空间压缩到更低的维度时，才会存在一个非零向量，使得矩阵和它的乘积为零向量，而空间压缩对应行列式为0
    • 计算方法
      • 例子
  • 二维线性变换不一定有特征向量
    • 没有实数解表明它没有特征向量
  • 重根
    • 属于单个特征值的特征向量可以不止在一条直线上
  • 特征基
    • 基向量恰好是特征向量
    • 对角矩阵：除了对角元以外其他元素均为0的矩阵
      • 所有基向量都是特征向量，矩阵的对角元是它们所属的特征值
      • 对角矩阵在很多方面都更容易处理
        • 矩阵与自己多次相乘的结果更容易计算， 因为对角矩阵仅仅让基向量与某个特征值相乘
    • 能张成全空间的特征向量，可以变换坐标系，用特征向量作为基
      • 用特征向量来完成这件事的意义在于，这个新矩阵必然是对角的，并且对角元为对应的特征值。这是因为它所处的坐标系的基向量在变换中只进行了缩放
    • 特征基 Eigenbasis：一组基向量（同样是特征向量）构成的集合
    • 如果想要计算一个矩阵的100次幂，一个更容易的做法是先变换到特征基，在那个坐标系中计算100次幂，然后转换为标准坐标系
    • 并非所有的矩阵都能对角化
  • 练习
• 15 抽象向量空间
  • 行列式和特征向量与所选坐标系无关
    • 行列式：一个变换对面积的缩放比例
    • 特征向量：在变换中留在它所张成的空间中的向量
    • 这二者都是暗含于空间中的性质，可以自由选取坐标系，这并不会改变它们最根本的值
  • 函数：既不是一个箭头也不是一组数字，但是同样具有向量特性的东西
    • 函数同样可以相加，就像向量相加一样
    • 算子=变换
    • 线性：满足以下两条性质
      • 可加性
      • 成比例（一阶齐次）
      • 线性变换保持向量加法运算和数乘运算
    • 求导
      • 具有可加性和成比例性
      • 学微积分的学生下意识认为微分算子是线性的
      • 求导是线性运算
    • 用矩阵来描述求导
      • 全体多项式
      • 很自然地取x的不同次幂作为基函数
      • 在这个坐标系中，求导是用一个无限阶矩阵描述的，其中绝大部分是0，不过次对角线上按序排列着正整数
        • 求导满足线性性质使这一过程成为可能
      • 基函数
    • 线性代数和函数的对应关系
    • 向量空间：这些类似向量的事物，比如箭头、一组数、函数等
    • （向量空间的）公理 Axioms
      • 公理是自然法则一个媒介
• 16 克莱姆法则，几何解释
  • 克莱姆法则 Cramer's rule
    • 问题
    • 求解
  • 背景知识
    • 行列式
    • 点积与对偶性
    • 逆矩阵、列空间和零空间
  • 高斯消元法
    • 更快
  • 这个视频里，只讨论非零行列式的情况
    • 意味着线性变换后维数依然相同
    • 每一个输入向量有且仅有一个输出向量
    • 且每一个输出向量也仅对应一个输入向量
  • 对大多数线性变换来说，点积会随着变换而改变
  • 正交变换 Orthonormal：不改变点积的矩阵变换
  • 特殊情况
  • 将平行四边形的底看成单位1
  • 克莱姆法则
    • 二维
    • 三维
• 17 计算二阶矩阵特征值的妙计
  • 计算二维矩阵的特征值
    • 传统方法
    • 新方法
      • 矩阵的“迹”：主对角元的总和，与矩阵各特征值的总和相等 因此两特征值的平均数等于两个主对角元的平均数
      • 二阶矩阵的行列式=两特征值的乘积
      • 泡利矩阵
        • • 在量子力学中，三个矩阵代表了从x、y或z方向去观测一个粒子的自旋所有可能的情况
          • 特征值的实际意义：我们观测到粒子的自旋方向，只会单独沿着一个坐标轴的正向或反向，而不是多个的连续叠加
        • 三种情况的特征值都是正负1
      • 求根公式（补充）