矩阵分析（计算机科学计算）

矩阵分析（计算机科学计算）课程知识点、考点、例题总结。包括：绪论、矩阵变换、矩阵分析、逐次逼近、插值、逼近插值、函数、常微分方程、数值解法。考前复习可用，需要自取。

矩阵分析

• 绪论
  • 误差分析
    • 误差种类
      • 模型误差：实际问题的解与数学模型的解之间的误差
      • 观测误差：受观测手段限制得到的数据误差
      • 截断温差：数学问题转化为数值问题的算法的误差
      • 舍入误差：计算机字长限制与计算过程产生的误差
      • 示意图
    • 基本概念
      • 绝对误差：
      • 相对误差：
      • 误差界：
      • 相对误差界：
    • 有效数字
      • 定义：
      • 例题：
      • 定理：
    • 误差估计
      • 函数误差估计采用泰勒公式
      • 误差估计四则运算：
      • 例题：
    • 减小误差
      • 避免有效数字损失
        • 加法：避免大、小数相加
        • 减法：避免相近数相减
        • 乘法：避免大数作乘数
        • 除法：避免小数作除数
      • 减少运算次数
        • 嵌套法 (秦九韶)
        • 级数法
  • 向量范数
    • 三要素
      • 1.非负性
      • 2.齐次性
      • 3.三角不等式
    • 常用 向量范数
      • 向量 1-范数
      • 向量 2-范数
      • 向量 ∞-范数
      • 向量 p-范数
      • 向量 加权p-范数
    • 范数等价性
    • 几何意义
  • 矩阵范数
    • 四要素
      • 非负性
      • 齐次性
      • 三角不等式
      • 相容性
    • 常用 矩阵范数
      • 矩阵 m1-范数
      • 矩阵 F-范数
      • 矩阵 算子范数 (条件数求解)
      • 矩阵 列范数 向量 1-范数
      • 矩阵 谱范数 向量 2-范数
      • 矩阵 行范数 向量 ∞-范数
    • 谱半径
• 矩阵变换
  • LU分解
    • LU分解 Doolittle分解
      • 形式
      • 递推关系
    • LU分解 Crout分解
      • 形式
      • 递推公式
    • LU分解 LDU分解
      • 形式
    • LU分解 列主元
      • 形式
      • 避免小数作主元，通过初等变化将列绝对值最大的数作为主元
    • LU分解 求逆
    • 是否稳定：不稳定，要选主元
  • Cholesky分解
    • 适用条件：
    • 形式：
    • 递推公式
    • 解线性方程组
    • 是否稳定：稳定
    • 例题：
  • 三角分解
    • 适用条件：
    • 追赶法
    • 例题
  • 条件数&性态
    • 常用条件数
      • ∞-条件数
      • 1-条件数
      • 2-条件数
    • 条件数性质
  • QR分解
    • 适用条件：正交矩阵代替单位下三角矩阵
    • 形式：
    • Householder矩阵 (两倍施密特)
      • 定义：
      • 性质：
      • 推论：
      • 求H阵例题
    • 用H阵进行QR分解
      • 例题
  • Schur分解
    • 适用条件：
    • 形式：
    • 正规矩阵
      • 满足条件：
      • 常见正规阵：
    • 推论：
  • Jordan分解
    • 基础：
      • 特征多项式
      • 代数重复度
      • 几何重复度
    • 适用条件：
    • 定理&推论
    • Jordan阵：
    • 形式：
    • Hamilton-Cayley定理：
      • 若Φ(λ)=det(λI-A)，则Φ(A)=0
    • 例题：
      • Jordan标准型 求Jordan矩阵
    • 例题：
      • 待定系数求 矩阵函数
    • 例题：
      • 求变换矩阵
    • 例题：
      • 求矩阵多项式
  • 奇异值分解
    • 适用条件：
    • 几何含义：
      • 单位球变椭球
• 矩阵分析
  • 矩阵序列
    • 序列：
    • 极限：
    • 例题：
  • 矩阵级数
    • 级数：
    • 求解：
    • 例题：
    • Hamilton-Cayley定理
  • 矩阵幂级数
    • 幂级数：
    • Jordan分解 求解法公式：
    • 有限待定系数 求解法原理：
    • 有限待定系数 求解法步骤：
    • 常用公式：
    • 例题：
      • Jordan分解法
    • 例题：
      • 有限待定系数法
  • 矩阵微分
    • 数值变量
      • 定义：
      • 运算规则：
      • 例题：
        • 矩阵微分
      • 例题：
        • e^A反求
    • 矩阵变量
      • 定义：
      • 例题：
  • 矩阵积分
    • 数值变量
      • 定义：
      • 运算规则：
• 逐次逼近
  • 线性方程 迭代
    • 迭代形式：
    • Jacobi迭代 (只用前步)
      • 适用形式：
      • 迭代(代数式)
      • 迭代(矩阵)
    • Guass-Seidel迭代 (只用最新)
      • 适用形式：
      • 迭代(代数式)
      • 迭代(矩阵)
      • 特性：
    • 迭代改善法
      • 适用形式：
      • 计算步骤：
    • 敛散性判别
      • 迭代矩阵B 判别法
      • 系数矩阵A 判别法
      • 常识：收敛半径ρ(B)越小，收敛越快
  • 非线性方程 迭代
    • 简单迭代法 (同解方程)
      • 适用形式：
      • 迭代原理：
      • 敛散判别：
      • 例题：
        • 迭代函数不同 敛散性不同
      • 迭代函数 收敛要求
      • 常识：
    • 牛顿迭代法
      • 适用形式：
      • 迭代形式：
      • 牛顿重根法
      • 牛顿下山法
      • 例题：
    • 弦截迭代法
      • 适用形式：
      • 迭代形式：
      • 例题：
    • 逐次逼近法 (单根)
      • 求根区间
      • 区间求根 (二分法)
    • 逐次逼近法 (重根)
      • 牛顿重根法
  • 矩阵特征问题 幂方法
    • 适用形式：
    • 迭代形式：
  • 矩阵特征问题 反幂方法
    • 适用形式：
    • 迭代形式：
  • SOR加速法 逐次超松弛法
    • 适用形式：
    • 迭代(代数式)
    • 迭代(矩阵)
    • 敛散判据：
  • Aitken加速法
  • 共轭梯度法
• 插值逼近
  • 插值概念
    • 插值问题：
    • 插值节点：
    • 插值函数：
    • 插值条件：
    • 被插函数：
    • 插值函数 存在唯一性 (Haar条件)
  • 多项式插值
    • Lagrange 插值
      • 适用形式：
      • 插值形式：
      • 例题：
    • Newton 插值
      • 适用形式：
      • 插值形式：
      • 均差
      • 重节点均差
        • 均差中包含部分重几点，重节点间n阶均差值=n阶导数值/n!
      • 例题：
    • Hermit 插值
      • 适用形式：
      • 插值形式：
    • 插值余项
  • 分段线性插值
    • 分段线性 lagrange 插值
      • 适用形式：
      • 插值形式：
    • 分段二次 lagrange 插值
      • 适用形式：
      • 插值形式：
  • 样条插值
    • 三次样条插值
      • 适用形式：
      • 插值形式：
      • 收敛性：
      • BC I ：
      • BC II ：
      • BC III：
      • 例题：
      • 例题：
    • B-样条插值
      • 适用形式：
  • 逼近法
    • 正交多项式
      • 基础概念
        • 函数内积
        • 函数的模
      • 标准正交 函数系
      • 正交多项式 性质
    • 最佳平方逼近
      • 逼近形式：
      • s*(x)求解：
    • 最小二乘法
      • 适用形式：
      • 拟合形式：
      • 拟合步骤：
      • 拟合误差：
      • 例题：
• 插值函数
  • 数值积分
    • 数值求积
      • 适用形式：
      • 插值形式：
      • Newton- Cotes公式
      • 梯形公式
      • Simpson 公式
      • Cotes公式
      • 求积余项 代数精度
    • 复化求积
      • 适用形式：
      • 插值原理：
      • 插值形式：
      • 求积余项
    • Hermite 高斯求积
      • 求积原理
      • Mehler公式
      • Gauss公式
      • 数值稳定
  • 数值微分
    • 插值数值 微分原理
    • 两点公式
    • 三点公式
    • 五点公式
  • 加速
    • 逐次半分算法
    • 外推加速算法 Romberg算法
• 常微分方程 数值解法
  • 一阶常微分 方程初值问题
  • 单步法
    • 线性单步法
      • Taylor公式 推导
      • 数值法推导
      • 改进Euler法
    • Taylor展开法
      • 展开形式：
    • 显式Runge-Kutta法
  • 多步法
    • Adams外插法 (显式多步法)
    • Adams内插法 (隐式多步法)
    • Milne法 （隐式二步法）
    • 待定系数法 (Taylor展开)
      • 原理：
      • 性质：
  • 预估-校正法
    • 适用形式：
    • 四阶 Adams PECE
    • 四阶 Miline PECE
    • Hamming PECE
  • 评价
    • 收敛性
    • 绝对稳定性
    • 绝对稳定区域
  • 精细积分法
    • 齐次方程
    • 非齐次方程

矩阵分析

• 范数
  • 向量范数
    • 定义
      • 1.非负性
        • 当x≠0时，||x|| > 0;当x=0时，||x|| = 0
      • 2.齐次性
        • êêlxêê = |l|*||x||
      • 3.三角不等式
        • ||x+y|| <= ||x|| + ||y||
    • p范数:(åx(i)^p)^(1/p)
      • 1范数:各分量取模求和
      • 2范数:各分量取模求平方和 再开根
      • ¥范数:各分量取模后最大的值
    • 性质
      • Cn上的所有向量范数等价
      • 向量范数等价:存在范数b使得范数a在范数b的倍数范围之内
  • 矩阵范数
    • 定义
      • 1.非负性
        • 当A≠0时，||A||>0;当A=0时，||A|| = 0
      • 2.齐次性
        • ||lA|| = l*||A||
      • 3.三角不等式
        • ||A||+||B|| <= ||A||+||B||
      • 4.相容性
        • ||AB|| <= ||A||*||B||
    • 常用7种范数
      • m1范数:
        • 矩阵各元素取模求和
      • F范数:
        • 计算方法1.矩阵各元素取模求平方求和开根号
        • 计算方法2.A的共轭转置乘以A求迹，即对角线元素求和，开根号
        • 性质:酉不变性 即左乘或者右乘一个酉矩阵后 F范数不变
      • m¥范数:
        • 矩阵各元素的最大值乘以矩阵的行数(或者列数，取大的那个)
      • G范数/几何平均范数:
        • 矩阵元素的最大值乘以根号下行数与列数乘积
      • 从属范数
        • 意义:使得||I|| = 1的范数，由向量范数导出
        • 1范数/列和范数:
          • 矩阵每一列元素取模求和，取最大的一列
        • 2范数/谱范数:
          • 根号下A的共轭转置乘以A的最大特征值
        • ∞范数/行和范数:
          • 矩阵每一行元素取模求和，取最大的一行
    • 性质
      • 与向量范数的相容性
        • 若||A||*||x|| <= ||A||*||x||
      • 每一种矩阵范数必存在与之相容的向量范数
  • 范数应用
    • 谱半径
      • 定义
        • 矩阵的谱半径p(A)即为最大取模特征值
      • 性质
        • p(A^k) = ((p(A))^k
        • p(A^H*A) = p(A*A^H) = (||A||2）^2
        • 当A是正规矩阵时，p(A) = ||A||2(表示矩阵A的2范数即谱范数 上同)
        • p(A) <= ||A|| A的谱半径小于A的任意矩阵范数
    • 条件数
      • 定义
        • 矩阵的条件数cond(A)=||A||*||A^-1||
      • 性质
        • 矩阵条件数大则称为病态的 因为在求解线性方程组时 微小的改动会引起结果很大的差异
        • 这里的大 一般定义为远大于1
• 矩阵分解
  • 三角分解
    • 即分解为上三角与下三角矩阵的乘积
    • LDR
      • (LD)*R
        • Crout分解
      • L*(DR)
        • Doolittle分解
      • (LÖD)*(ÖDR)
        • Choleskey分解 对称矩阵特有！
  • QR分解
    • 酉-三角分解
    • 1.Householder
    • 2.Givens
  • 满秩分解
    • FG分解 F:列 G:行
  • 奇异值分解
    • 对于A 首先求解A^(H)*A的酉相似对角矩阵 S^2 以及相似变换矩阵V
    • 其次利用 U1 = A*V1*S^-1 其中V1表示S^-1所对应的V的列
    • 最后 将U1补全为m阶方阵U
    • 所以 A = U*(S 0)*V^(T)
• 相似变换
  • 相似
    • 对角矩阵
      • 有n个线性无关的特征向量
        • 有n个互不相同的特征值
    • 若尔当型
      • 任意矩阵均可以化成若尔当型
        • 1.特征向量法
          • 1.求出特征值
          • 2.求出特征向量
          • 3.按照特征向量的数量进行分块 主对角线元为特征值 此对角线元为1
        • 2.初等变换法
          • 1.行列变换成Smith标准型 即化成对角线型 同时对角线上元素 下一个可以整除上一个
          • 2.得到不变因子 即主对角线上元素
          • 3.得到初等因子 即不变因子中一次因式的方幂
          • 4.根据初等因子写出若尔当块
        • 3.行列式因子法
          • 1.找出全部K阶首一最大公因式
          • 2.二阶除以一阶 三阶除以二阶 ...得到不变因子
          • 3.由不变因子得到初等因子 写出若尔当块
  • 酉相似
    • 特殊的相似 相似变换矩阵为酉矩阵
      • 酉矩阵:U(H)*U = I 即U的共轭转置矩阵等于U的逆矩阵
      • 酉相似于上三角矩阵
        • 1.Schur定理:任意矩阵均可以酉相似于上三角矩阵
        • 2.求解相似变换矩阵 无
      • 酉相似于对角矩阵
        • 充分必要条件：为正规矩阵
          • 正规矩阵:A(H)*A=A*A(H)
            • 1.酉矩阵
              • A(H)*A=I
            • 2.正交矩阵
              • 特殊的酉矩阵:实方阵
            • 3.Hermite矩阵
              • A(H)=A
            • 4.实对称矩阵
              • A(T)=A
            • 5.对角矩阵
        • 1.判断是否是正规矩阵
        • 2.求出特征值、特征向量
        • 3.将特征向量正交化
          • Schmidt正交化方法 x1 x2 x3
            • 1.y1 = x1
            • 2.y2 = x2 - (x2,y1)/(y1,y1)*y1
            • 3.y3 = x3 - (x3,y1)/(y1,y1)*y1 - (x3,y2)/(y2,y2)*y2
        • 4.单位化
          • 向量除以其2范数
        • 5.得到酉矩阵U(列向量为单位化后的特征向量)
  • Hamliton-Cayley定理
    • Hamliton-Cayley定理:j(l) = det(lI-A) j(A) = 0
    • 零化多项式:使得F(A) = 0的多项式，特征多项式就是零化多项式
    • 最小多项式:m(t) 次数最低的首一零化多项式 是唯一的
    • 相似矩阵有相同的最小多项式
• 矩阵函数
  • 矩阵序列
    • 定义
      • A(k) = (a(i,j)(k))m×n 即矩阵序列其实是m×n个元素序列
    • 收敛
      • 定义
        • lim A(k) = A k→∞
      • 充要条件
        • A(k)-A的任一矩阵范数趋于0 k→∞
      • 性质
        • lim aA(k)+bB(k) = aA+bB
        • lim A(k)*B(k) = AB
        • 当A(k)与A均可逆时 lim A(k)^-1 = A^-1
    • 收敛矩阵
      • 定义
        • lim A(k) = O k→∞
      • 充要条件
        • p(A) < 1 即谱半径小于1
      • 推论
        • A的任一范数小于1 因为谱半径小于任意范数
  • 矩阵级数
    • 级数
      • 收敛性
        • 1.矩阵级数可以看做m*n个数项级数构成的级数
          • 因此判断矩阵级数收敛性可以通过判断m*n个数项级数收敛
        • 2.由于矩阵范数是用来衡量矩阵的大小的指标
          • 因此 只要矩阵的范数构成的数列收敛即可
    • 幂级数
      • 幂级数即为特殊的级数 形如 Sa(k)*A^(k)
      • 收敛性
        • 由于幂级数仍为级数 因此上面两条仍适用 除此之外 还有特有的判断法则
        • 收敛半径 r
          • r = 1/p
            • p = lim a(k)开k次根号 k趋于无穷
            • p = lim a(k+1)/a(k) k趋于无穷
        • 当矩阵谱半径小于收敛半径时 矩阵收敛
      • nueman级数
        • 特殊的幂级数 即其系数a(k)恒为1
        • 当纽曼级数收敛时 其值等于 (I-A)^-1
  • 矩阵函数
    • 级数之后就是函数 因为函数可以展开成级数进行求解
    • 矩阵函数顾名思义即自变量为矩阵的函数
      • 1.展开法
        • 利用泰勒展将函数展开成幂级数的形式 同时利用矩阵的哈密顿凯莱定理 可以解出特定的矩阵次数的值 带入幂级数形式即可
      • 2.对角化法
        • 由于部分矩阵可相似化成对角矩阵 即B = P^-1*A*P = diag(a1,a2,...,an)
        • 而对角矩阵的函数即为对角线上的元素求函数值 所以 f(A) = P*diag(f(a1),f(a2)...f(an))*P^-1
      • 3.若尔当型法
        • 由于不是所有的矩阵都可以相似化为对角矩阵 但都可以相似化为若尔当型
        • 因此 存在若尔当型法 思想与2相似 不过是直接套公式
      • 4.待定系数法
        • 首先求出特征多项式 然后写出r(a)比多项式最高次数低1
        • 然后对于n重特征值 就对函数和r(a)求n重导数 列等式
        • 最终可以得到一个由所有特征值构成的方程组 解出r(a)中的系数
        • 最后将A带入r(a)即可
  • 矩阵的微分和积分
    • 矩阵的微分和积分即分别对矩阵中的元素进行积分和微分
    • 对于一阶线性微分方程组 有公式 x(t) = e^(A(t-t0))*c + e^(At)*òt0-t e^(-Au)*f(u)du
• 特征值隔离 估计
  • 盖尔圆定理