概率与数理统计

probability and statistics for engineering 大二下学期必修课，考试整理

概率与数理统计

• 概率论
  • 概率
    • 样本空间
      • 
    • 事件
      • 
      • 独立事件
      • 互斥事件（Exclusive Event)
        • 
      • 零概率事件
      • 不可能事件
      • 穷举事件(Exhaustive Event)
    • 概率公理
    • 概率性质
    • 排列组合(Permutations and Combinations)
    • 条件概率(Conditional Probability)
      • 概念
      • 乘法公式
    • 全概率公式(The Law of Total Probability)
      • • 
    • 贝叶斯定理(Bays' Theorem)
      • 
  • 随机变量与函数分布
    • 随机变量(Random Varible)
      • 概念
      • 伯努利随机变量(Bernoulli radom varible)
      • 分类
        • 离散型随机变量
        • 连续型随机变量
    • 概率分布
      • 离散
        • pmf
          • 概念
          • 概率分布直方图
          • 概率分布参数
        • cdf
          • 概念
          • 计算
      • 连续
        • pdf
          • 概念
        • cdf
          • 概念
          • 计算
        • 百分位数p(Percentiles of a Continuous Distribution)
          • 
    • 期望值(Expected Values)
      • 离散
        • 概念
          • 函数期望值
      • 连续
        • 概念
          • 函数期望值
      • Rules of Expected Values
    • 方差(Variance)
      • 离散
        • 概念
        • 计算
      • 连续
        • 概念
        • 计算
      • Rules of Variance
  • 随机变量及其分布
    • 离散
      • 二项分布(Binomial Probability Distributions)
        • 概念
          • 伯努利实验(Binomial Experiment)
          • 二项随机变量/pmf
          • cdf
            • 
        • 期望方差
      • 负二项分布(Negative Binomial Distributions)
        • 概念
        • pmf
        • 期望方差
      • 超几何分布(Hypergeometric and Negative Binomial Distributions)
        • 概念
        • 期望方差
      • 柏松分布(Possion Distributions)
        • pmf
        • 期望方差
        • 泊松过程(The Possion Process)
    • 连续
      • 均匀分布
        • pdf
      • 正态分布(The Normal Distribution)
        • 概念
          • 标准正态分布(The standard Normal Distribution)
            • pdf
            • 分位数
          • 非标准正态分布(Nonstandard Normal Distribution)
            • pdf
              • • 
            • 百分位数
              • • 
            • 均值方差
          • 正态分布与离散总体(The Normal Distribution and Discrate Population)
            • 连续性矫正(Continuity correction)
              • 
            • 逼近二项分布(Approximating the Binomial Distribution)
      • 指数分布
        • pdf
        • cdf
  • 联合分布
    • 概念
      • 离散
        • Two Discrete Random Variables
          • 联合概率质量函数(Joint Probability Mass Function)
          • 边缘概率质量函数(Marinal Probaability Mass Function)
        • 条件分布(Conditional Distribution)
      • More Than Two Random Variables
        • pdf/pmf
        • Independent
      • 连续
        • Two Continuous Random Variables
          • 
          • 联合概率密度函数(Joint Probability Density Function)
          • 边缘概率密度函数(Marginal Probability Density Function)
        • 条件分布(Conditional Distribution)
      • 独立随机变量(Independent Random Variables)
        • 
    • 期望(Expected Value)
    • 协方差(Covariance)
      • • 
      • • 
    • 相关性(Correlation)
      • 概念
      • 性质
  • 统计量及其分布
    • 概念
      • 期望方差
      • 分布
        • 
        • 正态总体情形(The Case of a Normal Distribution)
          • 
    • 线性组合分布
      • 概念
      • 性质
        • 两随机变量差
    • 中心极限定理(The Central Limit Theory)
      • 基本概念
        • • 
      • 定义
        • • 
      • 定理
        • 独立同分布中心极限定理
        • 隶莫弗中心极限定理
      • 意义
      • 应用
    • 大数定理(Law of Large Numbers)
      • 基本概念
        • 切比雪夫不等式
          • 
        • 频率稳定性
        • 依概率收敛
      • 定义
      • 定理
        • 伯努利大数定理
        • 切比雪夫大数定理
        • 辛钦大数定理
      • 应用
  • 二维随机变量函数及其分布
    • 概念
      • 一维
      • 二维
        • •  
    • 二维随机变量函数
      • X+Y
        • • 正态分布   指数分布 
        • • 泊松分布 
      • X-Y
      • XY
      • X/Y
    • 二维变量分布
      • max(X,Y)
        • 累积分布函数
        • 密度(质量)分布函数
      • 多维
        • 
      • min(X,Y)
        • 累积分布函数
        • 密度(质量)分布函数
    • 联合密度函数
      • 二维分布
        • 正态分布
          • •   
        • 性质
      • 多维分布
        • 正态分布
          • • 
• 数理统计
  • 估计
    • 点估计(Point Estimation)
      • 
      • 基本概念
        • Parameter
        • Estimator:statistics(随机变量)（估计量)
        • Estimate(估计值)
      • 性质
        • 无偏性(Unbiasedness)
          • 无偏估计量(Unbiased Estimator)
            • • 表示随机变量的中心位置就是 e.g 样本方差是总体方差的无偏估计   其中p为二项分布的概率
          • 偏差(bias)
        • 有效性(Efficiency)
          • 均方误差(Mean Squared Error, MSE)
            • • 
        • 最小方差无偏估计量(Minimum Variance Unbiased Estimator)
          •  
        • 充分性(Sufficiency)
          • 
        • 一致性(Consistency)
          • 
        • 样本均值
          • 
      • 估计方法
        • 矩估计(Moment Estimation)
          • 
          • 理论基础
            • 依概率收敛
            • 独立同分布大数定律
            • 样本矩(Sample Moment)
              • 
          • 优缺点
            • 优点
              • 直观
              • 大样本效果好
            • 缺点
              • 不能解决总体矩不存在的情况
              • 未用到总体的分布信息
        • 极大似然估计(Maximum Likelihood Estimation)
          •   e.g 对正态分布而言，极大似然估计的结果为  并不是无偏估计，只有在n较大时，近似认为 极大似然估计的条件是分布的类型必须已知
          • 似然函数(likelihood function)
            • 似然函数不是唯一的 但一般来说都去连乘并取对数（好算） 之后求导取极值（最大值）
          • 估计参数函数(Estimating Function of Parameters)
            • 
          • 性质
            • 
    • 区间估计
      • 
      • 总体均值
        • 知道总体方差
          • 置信区间(Confidence Intervel)
            • 
          • 样本容量
            • 
        • 不知道总体方差
          • 大样本
            • 单侧置信区间
          • 小样本
      • 总体方差
        • 卡方分布
        • 置信区间
  • 假设检验
    • 一个总体参数
      • 概念
        • 统计假设
          • 
          • 假设类型
            • 原假设(Null Hypothesis)
              • 
            • 备择假设(Alternative Hypothesis)
            • 由于备择假设是研究者希望通过收集证据予以支持的假设，一般情况下，建立假设时，先建立备择假设在确定原假设
        • 假设检验
          • 
          • 检验过程(Test Procedure)
            • 
          • 错误类型
            • 
            • 第一类错误(Type 1 error)/弃真错误
            • 第二类错误(Type 2 error)/存伪错误
            • • 
              • Type I Error:
      • 检验
        • 
        • 总体均值
          • 知道总体方差
            • X满足正态总体 正态分布的线性组合为正态分布
          • 不知道总体方差
            • 大样本
              • 样本数量大于等于30 中心极限定理，对正态总体不做要求
            • 小样本
              • X为正态总体
      • P值(the smallest level at which H0 can be rejected)
        • 
        • 检验
        • 联系
          • • 
    • 两个总体参数
      • 概念
        • 基本假设
        • 推论
      • 检验
        • 均值
          • 知道总体方差
            • X,Y都为正态总体
            • 统计量
            • 检验
          • 不知道总体方差
            • 大样本
              • 中心极限定理，对正态总体不做要求 m>40,n>40
              • • 
            • 小样本
              • X,Y为正态总体
              • t分布
                • 概念
                  • • T分布的自由度一般为m+n-2
                • 检验
              • pooled t distribution
        • 方差
          • F分布
          • 检验
      • 区间估计
    • 配对实验（双总体）
      • 构造了正态总体，所以统计量本身并没有一个标准差 before and after data
      • 概念
        • 基本假设
      • 检验
        • 均值
          • 大样本
            • 大样本条件下，不需要假设正态总体，为z分布
            • z分布
          • 小样本
            • t分布
            • 检验
        • 方差
          • F分布
          • 检验
            • 子主题
      • 区间估计
        • z分布
        • t分布
    • 区别
• 回归
  • 线性回归
    • 最小二乘估计
  • 非线性回归
• 抽样分布
  • 总体都来自与正态总体
  • 概念
    • 统计量
      • •   
  • z分布(正态分布)
  • 卡方分布
    • 概念
      • • 
    • 密度函数
    • 性质
      • 数字特征
      • 可加性
  • t分布
    • 概念
    • 密度函数
  • F分布
    • 概念
    • 密度函数
    • 特性
  • 抽样分布定理
    • 定理一
      • • 
    • 定理二
      • • 
    • 定理三
      • • 
    • 定理四
      • • 
• 教材答案
• • 当n过于大时，组合数不好求，所以转化为泊松分布求解