线性代数

AI线性代数核心概念速览，矩阵是线性代数的基石，涵盖方阵、向量、分解等关键操作从行列式到逆矩阵，从QR分解到LU分解，掌握秩、行空间、列空间与零空间的关系至关重要线性变换的标准矩阵揭示映射本质，特征空间与核深化结构理解行列式性质如detAB)=detA·detB，可逆条件AD=I或CA=I，以及Ax=b的LU解法，构成高效计算框架无论是线性无关判定还是子空间维度公式rankA dimNulA=n，这些工具共同构建了理论与应用的桥梁。梳理了与之相关的各个知识点。从矩阵的基本概念，如列向量、行向量，到矩阵的运算与性质，像方阵的行列式、逆矩阵等，都进行了清晰的呈现。对于矩阵的子空间，详细讲解了列空间（ColA）、零空间（NulA）等重要概念，帮助学生深入理解矩阵的内在结构。在矩阵分解方面，涵盖了LU分解、QR分解等内容，这些在解决线性方程组、计算特征值等问题中有着重要应用。同时，对矩阵的性质，如行列式的计算与性质、矩阵可逆的条件等也做了系统总结。，是线性代数学习路上的超强辅助，尤其适合广大学生群体。无论你是正在修读线性代数课程的大学生，还是备战考研、竞赛的学子，它都能成为你高效学习的利器。

线性代数

• 解
  • 有解
    • 唯一
      • 基础变量
        • 没有自由变量
      • 平凡解
        • 线性无关
          • 定义：仅有平凡解
    • 不唯一
      • 自由变量
        • 至少一个
      • 非平凡解
        • Ax=0,当且仅当至少有一个自由变量
        • 线性相关
          • 定义：Ax=0的权不全为0
    • 等价定理
      • 等价定理把线性组合,矩阵方程,线性方程组,线性变换,子空间串联起来 注意 这里没说解是否唯一
      • 对Rm中每个b，方程Ax=b有解。
        • A在每一行都有一个主元位置
          • A中的每行都有主元位置,所以增广矩阵中最后一列不可能有主元,即对每个b都有解. 可用于判断A的各列是否张成Rm。（矩阵A中有0行可能无解） 推广上述结论,m*n矩阵A,m>n那么矩阵A无法张成Rm
      • Rm中的每个b都是A各列的一个线性组合
        • ColA=Rm
          • A的各列生成Rm
      • 线性变换T把Rn映射到Rm
  • 无解
    • [0 ... 0 b],b¹0
• 方程
  • 三个角度，以容易理解的直观方式解释矩阵的相互关系，从而理解相关概念。
  • 向量方程
    • 线性组合
      • 给定Rn中向量v1,v2....vp和标量c1,c2...cp向量y =c1v1+c2v2....+cpvp称为向量v1,v2....vp以标量c1,c2...cp为权的线性组合.
      • 向量空间
        • 向量空间相对于Rn这种向量的集合更为抽象,更一般化比如多项式,函数向量空间等 而Rn中的向量空间可以用线性组合,矩阵,向量方程等形式进行描述线性相关的不同表示 一般向量空间中的线性相关与Rn中的线性相关的主要不同点在于当向量不是n元组时， Ax=0通常不能被写作一个n元线性方程组.换句话说，为了研究方程Ax=0,向量不能从一个矩阵A 的列中得到，取而代之的是我们必须要依靠线性相关的定义和定理4
        • Span{v1,v2...vp}/子空间
          • 向量空间V的一个子空间是V的一个满足以下三个性质的子集H: 1.零向量属于H。 2.H中的任意向量u和v，向量u+v属于H。(向量加法封闭) 3.对H中的任意向量u和数c，向量cu属于H。(标量乘法封闭) 子空间是指针对某向量空间(子空间)为子空间.如H是Rn的子空间 span{}可以理解为另一种子空间的描述方法 若v1,v2...vp 在向量空间V中，则Span{v1,v2...vp} 是V的一个子空间.我们称Span{v1,v2...vp}是由v1,v2...vp 生成(或张成)的子空间.
          • 基
            • 定义 令H是向量空间V 的一个子空间. V中向量的指标集B={b1,…,bp}称为H的一个基，如果 ( i ) B是一线性无关集. ( ii ) 由B生成的子空间与H相同，即H = Span{b1,…,bp}
            • 维数
              • 非零子空间H任意一个基的向量个数，零子空间维数为0
              • dimH<=dimV
                • 令H是有限维向量空间V的子空间，若有必要的话， H中任一个线性无关集均可以扩元成为H的一个基.H也是有限维的并且
              • 维数，线性关系，生成集 知其二可推其一
                • 生成集定理
                  • 今S={v1…vp} 是V中的向量集， H=Span{v1… vp } . 若S 中某一个向量(比如说vk)是S中其余向量的线性组合，则S中去掉vk 后形成的集合仍然可以生成H. 若H!={0},则S 的某一子集是H的一个基. 定理:若向量空间V具有一组基B= {b1，… ，bn } ， 则V中任意包含多于n个向量的集合一定线性相关. 上面是知道线性相关性,可以知道基是最小的生成集 下面是知道维数,那么就能推出线性相关性
                • 基定理
                  • 令V是一个p维向量空间,(p >=1) V中任意含有p个元素的线性无关集必然是V的一个基. 任意含有p个元素且生成V的集合自然是V的一个基. 若向量空间V有一组基含有n个向量，则V的每一组基一定恰好含有n个向量. n*n可逆矩阵说明列线性无关,且矩阵生成Rn 所以Rn的基都是n*n的可逆矩阵 Rn的标准基有n的向量,所以dimRn=n
            • B-坐标向量
              • 坐标映射
                • B到Rn坐标变换矩阵
                  • B到C的坐标变换矩阵
                • T相对于B的矩阵
                  • T相对于基B和C的矩阵
                    • x ➡➡➡➡➡➡➡➡ T(x)
                • 同构
  • 线性方程组
    • 增广矩阵
      • 增广矩阵通过行化简可以变成阶梯型和唯一的简化阶梯型，他们之间的变换是可逆，且拥有相同解集。 方程组有解的充要条件是增广矩阵最后边的列不是主元列。 有解时： i 没有自由变量解唯一 ii 至少有一个自由变量时，无穷解
      • 系数矩阵
      • 阶梯型
        • 定义 一个矩阵称为阶梯形（或行阶梯形）， 若它有以下三个性质： 每一非零行都在每一零行之上． 某一行的先导元素所在的列位于前一行先导元素的右边． 某一先导元素所在列下方元素都是零．
        • 简化阶梯型
          • 若一个阶梯形矩阵还满足以下性质， 则称它为简化阶梯形（或简化行阶梯形）． 每一非零行的先导元素是1. 每一先导元素1是该元素所在列的唯一非零元素
          • 基本变量
            • 对应于主元列的变量，其他变量叫自由变量
          • 自由变量
        • 行简化算法
  • Ax=b 矩阵方程
    • Ax=0
      • (A-λI)x=0
        • 定义 A为n*n矩阵,x为非零向量,若存在数λ 使Ax=λx有非平凡解x ，则称λ为A的特征值， x 称为对应于λ 的特征向量
        • 特征空间
          • 方程的所有解的集合就是矩阵A-λl的零空间．因此，该集合是Rn的子空间，称为A的对应于λ的特征空间．特征空间由零向量和所有对应于A的特征向量组成．
          • 特征向量(非0向量)
          • 特征向量基
        • 特征值
          • det(A-λI)=0
            • 数λ是nxn矩阵A的特征值的充要条件是λ是特征方程det(A －λI)=0 的根．
            • 三角矩阵
              • 三角形矩阵主对角线的元素是其特征值
            • 重数
        • 相似性
          • 对角化
            • 如果方阵A 相似于对角矩阵，即存在可逆矩阵P和对角矩阵D, 有A=PDP- 1, 则称A 可对角化
            • 对角化定理
              • 事实上，A=PDP-1,D为对角矩阵的充分必要条件是P的列向量是A的n个线性无关的特征向量．此时，D的主对角线上的元素分别是A的对应于P中特征向量的特征值． A可对角化的充分必要条件是有足够的特征向量形成Rn的基，我们称这样的基为特征向量基．
              • 特征值全相异
                • 特征值全部相异可对角化
              • 特征值不全相异
                • 维数<=重数
                • 不同特征空间维数和=n
                • 组成Rn的特征向量基
            • A=PDP-1=PDPT 正交对角化
              • 矩阵A可正交对角化，如果存在一个正交矩阵P（满足PT=P-1）和一个对角矩阵D满足上式 一个nxn 矩阵A 可正交对角化的充分必要条件是A 是对称矩阵．即AT=A
              • 谱定理
                • 矩阵A 的特征伯的从合有时称为A 的谱
                • n个实特征值(包含重复)
                  • 维数等于重数
                • 特征空间相互正交
                • 谱分解
                  • A=λ1u1u2T+λ2u2u2T+...+λnununT
    • x→Ax=T(x) 线性变换
      • 矩阵变换都是线性变换 x∈Rn，Ax∈Rm Rn定义域，Rm余定义域，A各列的所有线性组合为值域
      • A(u+v)=Au+Av A(cu)=c(Au) 线性变换
        • 保持向量的加法运算和标量乘法运算

矩阵

• 向量
  • 一组有序的数
  • 列向量 一列的矩阵
  • 行向量 一行的矩阵
• 方阵
  • A-1
    • 不可逆矩阵有时称为奇异矩阵，而可逆矩阵也称为非奇异矩阵. 可逆矩阵定理将所有n x n 矩阵分为两个不相交集合:可逆(非奇异矩阵)和不可逆(奇异矩阵). 定理中每个命题给出了n x n 可逆矩阵的一个性质.定理中每个命题的否命题给出了nxn奇异矩阵的一个性质.
    • A是可逆矩阵
      • 存在n*n矩阵C使CA=I
        • Ax=0仅有平凡解
          • 没有自由变量，所有n个主元行且在对角线
          • detA!=0
            • 仅有平凡解,没自由变量,阶梯矩阵没有0元素 所有detA不等于0
            • 0不是A的特征值
              • Ax=0x Ax=0有非平凡解,不可逆 所以可逆0不能时特征值
          • Nul A={0}
            • dim NulA=0
          • A各列线性无关
      • 存在n*n矩阵D使AD=I
        • 方程Ax=b对任意Rn中的b有唯一解
          • A有n个主元位置
            • A等价In
        • A的各列生成Rn
          • 线性变化x➡Ax把Rn映射到Rn上
            • ColA=Rn
              • A的列构成Rn的一个基
              • dim ColA=n
      • AT是可逆矩阵
  • 行列式
    • 2*2矩阵 detA=a11a22-a12a21
      • 递归定义
        • Cij=(-1)i+jdetAij 余因子
          • detA=ai1Ci1+ai2Ci2...+ainCin 按i行展开
          • detA=a1jC1j+a2jC2j...+anjCnj 按j列展开
    • 性质
      • 行变换
        • 倍加 detB=detA
        • 行对换 detB=-detA
          • 变换成阶梯型U,其中r次行对换
        • 某行k倍相乘 detB=k*detA
        • 三角矩阵行列式等于主对角线上元素的乘积.
      • det(AB)=detA*detB
      • det kA=kndetA
      • detAT=detA
      • 行列式函数
• A
  • A=[T(e1),,,,T(en)] 线性变换标准矩阵
    • 矩阵变换都是线性变换
  • 列的线性相关性
    • 线性相关
      • {v1,v2,,,vp}有线性组合
        • 两个或更多个向量的集合S= {v1,v2,v3...vp } 线性相关，当且仅当S 中至少有一个向量是其他向量的线性组合.事实上,若S 线性相关， 且v1不等于0,则某个vj(j>1) 是它前面向量v1,...vj-1 的线性组合. 逻辑链（非证明） 线性相关→Ax=0的权不全为0→非平凡解→自由变量→A的列中有线性组合
        • 列数大于行数
        • 俩个向量倍数关系
        • 包含0向量
          • 设v1=0 c1v1+c2v2+...cpvp=0,c1可以是任何数，满足定义 v1=0*v2+...0v*p,v1是其他向量的线性组合，集合特征
          • 俩行或俩列相同或者一行或一列为0
    • 线性无关
      • 单射
        • 这里也有无解的情况那是Rn映射到Rm的问题，不是唯一性问题是相容问题
  • 子空间
    • NulA
      • 1.生成集的向量线性无关，因为Ax=0的自由变量时生成集向量的权。 2. NulA 包含非零向量时，它的生成集中向量的个数等于方程Ax=0 中自由变量的个数。 3.所以总结起来子空间维数等于Ax=0自由变量的个数,基（生成集向量）需要解方程。
      • 定义 Nul A={x:x∈Rn,Ax=0}
      • 基是Ax=0的解，维数自由变量的个数
      • 特征空间时(A-λ)x的零空间
      • 线性变换中的核
    • ColA
      • Col A={b:b=Ax,x∈Rm}=span{a1,a2,a3...an}
      • A为m*n的矩阵，说明ColA为Rm的子空间。
      • 基是主元列的向量,维数是主元个数
      • 线性变换中的值域
    • RowA
      • 若两个矩阵A 和B 行等价，则它们的行空间相同.若B 是阶梯形矩阵，则B 的非零行构成A 的行空间的一个基同时也是B 的行空间的一个基.
      • RowA=ColAT
        • RowA正交NulA
      • ColA=RowAT
        • ColA正交NulAT
    • 秩
      • A的秩即A 的列空间的维数．
      • rankA+dimNulA=n
        • m*n 矩阵A 的列空间和行空间的维数相等，这个公共的维数(A 的秩)还等于A 的主元位置的个数且满足方程
  • 分解
    • A=LU
      • A分解LU
        • EA=U A=E-1U 让L=E-1 A=LU
      • LU重构A
        • 外积法
      • 求解
        • Ax=b LUx=b Lc=b;Ux=c
    • A=QR
      • 如果mxn 矩阵A 的列线性无关，那么A可以分解为A = QR, 其中Q是一个mxn 矩阵，其列形成Col A 的一个标准（单位）正交基，R 是一个nxn 上三角可逆矩阵且在对角线上的元素为正数． 方法： 先用格拉姆法求出ColA的单位正交基 QTA=QTQR,QTA=R

矩阵代数

• 点积/内积 u·v=uTv
  • 范数
    • L1：||v||1=å|vn|
    • L2：||v||2=Öv·v
      • 单位化 u=v/||v||2
        • 
        • 单位正交基
          • 单位正交投影
            • 
          • UTU=I 单位正交列矩阵
            • 一个mxn 矩阵U 具有单位正交列向量的充分必要条件是UTU =I.
            • IIUxl|2 = Ilxll2
            • (Ux)·(Uy) =x·y
            • (Ux)·(Uy)=0的充分必要条件是x·y = 0
            • U-1=UT 正交矩阵
              • 一个正交矩阵就是一个可逆的方阵U, 且满足上式这样的矩阵具有单位正交列．很容易验证，任何具有单位正交列的方阵是正交矩
      • dist(u,v)=||u-v||2 距离
  • 正交 u·v=0
    • 正交基/集
      • 正交集 {u1,u2,u3,,,up},当ui!=uj,ui·uj=0 Rn中子空间W 的一个正交基是W 的一个基，也是正交集 假设{u1,u2....up}是Rn中子空间W 的正交基，对W中的每个向量y，线性组合y=c1u1＋…＋ cpup中的权可以由上式计算。
      • 正交分解定理
        • 
        • 最佳逼近定理
          • 
          • 最小二乘
            • 如果m*n 矩阵A 和向量b 属于R m ， 则 Ax=b 的最小二乘解是Rn 中的x_hat，使得如上公式对所有x属于Rn成立. 应用思想 如果b不在Ax中, bhat就是b在Ax上的投影 也是Ax中距离b最近的向量 他的解xhat就是最小二乘解 这个解可以使误差最小化,用这个解作为Ax=b"不可能解"的近似.
            • ATAx=ATb 法方程
              • 
              • x=(ATA)-1ATb 唯一解？
                • a ) 对于Rm中的每个b ， 方程Ax=b有唯一最小二乘解. b)A的列是线性无关的. c)矩阵ATA是可逆的 满足条件时可以这样求解
              • x=R-1QTb Rx=QTb
                • 
              • y=Xβ+σ 线性模型
                • 统计学家常引入余差向量σ ，定义为σ=y-Xβ并且记作y=Xβ+σ任何具有这种形式的方程称为线性模型．一旦X和y被确定，使σ长度达到最小化相当千找出y=Xβ+σ的最小二乘解
      • 构建正交基 格拉姆-施密特法
        • 
  • 外积：uvT=rank1 matrix
• 乘法
• 代数性质
  • 向量
    • u+v=v+u (u+v)+w=u+(v+w) u+0=0+u=u u+(−u)=−u+u=0 c(u+v)=cu+cv (c+d)u=cu+du c(du)=(cd)u 1u=u
  • 矩阵
    • 设A、B、C是相同维数的矩阵，r与s为数，则有： a. 矩阵加法交换律：A+B=B+A b. 矩阵加法结合律：(A+B)+C=A+(B+C) c. 矩阵与零矩阵相加：A+0=A d. 数乘矩阵对矩阵加法的分配律：r(A+B)=rA+rB e. 矩阵对数加法的分配律：(r+s)A=rA+sA f. 数乘矩阵的结合律：r(sA)=(rs)A
    • 设 A 为 m × n 矩阵，B 和 C 的维数使下列各式的乘积有定义。 a. A(BC)=(AB)C (乘法结合律) b. A(B+C)=AB+AC (乘法左分配律) c. (B+C)A=BA+CA (乘法右分配律) d. r(AB)=(rA)B=A(rB)，r 为任意数 (标量乘法结合律) e. IA=A=AI(矩阵乘法的恒等式)
    • 设A与B表示矩阵，其维数使下列和与积有定义，则 a. (AT)T=A. (矩阵转置的转置等于原矩阵) b. (A+B)T=AT+BT. (矩阵和的转置等于转置的和) c. 对任意数r，(rA)T=rAT. (数乘矩阵的转置等于转置的数乘) d. (AB)T=BTAT. (矩阵乘积的转置等于转置的逆序乘积)
    • A为可逆矩阵 (A-1)-1=A (AT)-1=(A-1)T (AB)-1=B-1A-1 x=A-1b
• 求导
  • 本质
    • 每个f分别对变元中的每个元素逐个求偏导，只不过写成了向量、矩阵形式而已. 每个f可以简单看成结果是什么形式的，如 ：结果为向量v那么每个v的元素就是一个f。 用f对自变量的每个元素求偏导，最后写成相应的形式。 布局规则见导图
    • 布局
      • 分子df
        • 分子(df)是列向量
      • 分母dx
        • 分母(dx)是列向量
      • jacobian矩阵
        • 即先把自变量矩阵X进行转置，再对转置后的每个位置的元素逐个求偏导
  • y=xW
    • 一个形状为 (M,D,M)的三维张量。
      • 
• Q(x)=xTAx
  • Rn的二次型是定义在Rn上的函数，其中A是n*n的对称矩阵，矩阵A称为关于二次型的矩阵
  • x=Py xTAx=(Py)TAPy=yTPTAPy=yTDy 主轴定理
    • 
    • m=min{xTAx:||x||2=1},M=max{xTAx:||x||2=1} 条件优化
      • 设A 是对称矩阵且m 和M 的定义如上式所示，那么M是A的最大特征值入1，m是A的最小特征值． 如果x是对应于M 的单位特征向量u1,那么xTAx 的值等于M.如果x是对应于m的单位特征向量，那么xTAx 的值等于m.
      • xTx=1,xTu1=0
        • 限制条件如上 xTAx 的最大值是第二大特征值入2, 且这个最大值可以在x 是对应于入2 的特征向量u2 处达到． 定理可推广到k个
      • ||Av1||2 奇异值
        • 
        • rankA=r
          • 假若{v1,v2...vn}是包含ATA的特征向量的Rn上的单位正交基，重新整理使得对应的ATA的特征值满入足λ1>=λ2>=λ3...λn．假若A有r个非零奇异值，那么{Av1,Av2...Avr}是ColA的一个正交基，且rankA=r.
          • 基本子空间的基
            • 
        • A=UΣVT 奇异值分解
          • 
  • 类型
    • 正定
      • 对所有x!=0,有Q(x)>0。 A的所有特征值大于0
    • 负定
      • 对所有x!=0,有Q(x)<0。 A的所有特征值小于0
    • 不定
      • Q(x)有正有负。 A的特征值有正有负
  • 应用
    • 主成分分析
      • 平均偏差矩阵
        • 
        • S=BBT/(N-1) 协方差矩阵
          • 
      • X =[X1 X2 X3...] 平均变差矩阵
        • S=XXT 协方差矩阵
          • 也可是S=XTX,主要看是列表示维度还是行表示维度
          • Xk=PYk Yk=P-1Xk=PTXk 主成分
            • 可以证明Y同样是平均偏差矩阵 说明 正交变换（如旋转、反射）是一种保持长度和角度不变的线性变换，它不会改变向量的“中心位置”。 
            • YYT=PTX(PTX)T =PTXXTP =PTSP Y的协方差
              • D=PTSP S=PDPT 协方差关系
                • 总结 Y的协方差是一个对角矩阵，可以明确的指出变量之间的方差大小。 X的协方差正交对角化后的对焦矩阵D是Y的协方差。 正交矩阵P包含主成分信息。 他们之间的总方差是相等的。
      • 数据降维
        •