Python Pandas库

本思维导图总结了Python Pandas库，对其提供的数据类型、操作、运算和统计分析方法进行了较为详细的介绍。

Python Pandas库

• 简介
  • Python第三方库，提供高性能易用数据类型和分析工具
  • import pandas as pd
• 两个数据类型
  • Series
    • 由一组数据及与之相关的数据索引组成，包括index和values两部分
    • 创建
      • 1.Python列表
        • index与列表元素个数一致
        • 例：a = pd.Series([9, 8, 7, 6])
        • 例：b = pd.Series([9, 8, 7, 6], index=['a', 'b', 'c', 'd'])
      • 2.标量值
        • index表达Series类型的尺寸
        • 例：s = pd.Series(25, index=['a', 'b', 'c'])
      • 3.Python字典
        • 键值对中的“键”是索引，index从字典中进行选择操作
        • 例：d = pd.Series({'a':9, 'b':8, 'c':7})
        • 例：d = pd.Series({'a':9, 'b':8, 'c':7}, index=['c', 'a', 'b', 'd'])
      • 4.ndarray
        • 索引和数据都可以通过ndarray类型创建
        • 例：n = pd.Series(np.arrange(5))
        • 例：n = pd.Series(np.arrange(5), index=np.arrange(9,4,-1))
      • 5.其他函数
        • range()函数等
    • 操作
      • 获得索引
        • 例：a.index
      • 获得数据
        • 例：a.values
      • 获得名字
        • 例：a.name # Series对象的名字
        • 例：a.index.name # 索引列的名字
      • 根据索引获得值
        • 例：a['a']、a[1]、a[['a', 'b', 'c']]
      • 修改
        • 例：b['a'] = 15
      • Series类型的操作类似ndarray类型
        • 索引方法相同，采用[]
        • NumPy中运算和操作可用于Series类型
        • 可以通过自定义索引的列表进行切片
        • 可以通过自动索引进行切片，如果存在自定义索引，则一同被切片
      • Series类型的操作类似Python字典类型
        • 通过自定义索引访问
        • 保留字in操作
        • 使用.get()方法
      • Series类型在运算中会自动对齐不同索引的数据
  • DataFrame
    • 由共用相同索引的一组列组成，是一个表格型的数据类型，每列值类型可以不同。既有行索引，也有列索引
    • 可以理解为二维带“标签”的数组
    • 创建
      • 1.二维ndarray对象
        • 例：d = pd.DataFrame(np.arrange(10).reshape(2,5))
      • 2.一维ndarray对象字典
        • 字典的“键”作为列索引，列表的值纵向分布。“index”作为行索引
        • 例：dt = {'one': pd.Series([1, 2, 3], index=['a', 'b', 'c']), 'two': pd.Series([9, 8, 7, 6], index=['a', 'b', 'c', 'd'])} d = pd.DataFrame(dt)
      • 3.列表类型的字典
        • 字典的“键”作为列索引，列表的值纵向分布。“index”作为行索引
        • 例：dl = {'one': [1, 2, 3, 4], 'two': [9, 8, 7, 6]} d = pd.DataFrame(dl, index = ['a', 'b', 'c', 'd'])
    • 基本操作类似Series，依据行列索引
• 数据类型操作
  • 索引类型常用方法
    • .append(idx)
      • 连接另一个Index对象，产生新的Index对象
    • .diff(idx)
      • 计算差集，产生新的Index对象
    • .intersection(idx)
      • 计算交集
    • .unioin(idx)
      • 计算并集
    • .delete(loc)
      • 删除loc位置处的元素
    • .insert(loc,e)
      • 在loc位置增加一个元素e
    • 例：nc = d.columns.delete(2)
  • 增加或重排索引
    • .reindex()
      • 能够改变或重排Series和DataFrame索引
      • 格式
        • .reindex(index=None, columns=None,...)
      • 参数
        • index, columns
          • 新的行列自定义索引
        • fill_value
          • 重新索引中，用于填充缺失位置的值
        • method
          • 填充方法，ffill当前值向前填充，bfill向后填充
        • limit
          • 最大填充量
        • copy
          • 默认True，生成新的对象，False时，新旧相等不复制
      • 例：d = d.reindex(columns=['a', 'b', 'c'])
      • 例：d = d.reindex(index=['a', 'b', 'c'])
  • 删除索引
    • .drop()
      • 能够删除Series和DataFrame指定行或列索引
      • 删除行
        • 例：a.drop(['b', 'c'])
      • 删除列
        • 例：a.drop('同比', axis=1)
• 数据类型运算
  • 算术运算
    • 根据行列索引，补齐后运算，运算默认产生浮点数。补齐时缺项填充NaN（空值）
    • 二维和一维、一维和零维间为广播运算
    • 采用+-*/符号进行的二元运算产生新的对象
    • 方法形式的运算
      • .add(d, **argws)
        • 类型间加法运算，可选参数
      • .sub(d, **argws)
        • 类型间减法运算，可选参数
      • .mul(d, **argws)
        • 类型间乘法运算，可选参数
      • .div(d, **argws)
        • 类型间除法运算，可选参数
      • 不同维度间为广播运算，一维Series默认在轴1参与运算
      • 例：b.add(a, fill_value=0) # b+a,填充值为0
      • 例：b.sub(c, axis=0)
  • 比较运算
    • 比较运算只能比较相同索引的元素，不进行补齐
    • 二维和一维、一维和零维间为广播运算
    • 采用> < >= <= == !=等符号进行的二元运算产生布尔对象
    • 不同维度，广播运算，默认在1轴
• 相关分析
  • .cov()
    • 计算协方差矩阵
  • .corr()
    • 计算相关系数矩阵，Pearson、Spearman、Kendall等系数
• 累积统计分析
  • .cumsum()
    • 依次给出前1、2、... 、n个数的和
  • .cumprod()
    • 依次给出前1、2、... 、n个数的积
  • .cummax()
    • 依次给出前1、2、... 、n个数的最大值
  • .cummin()
    • 依次给出前1、2、... 、n个数的最小值
  • .rolling(w).sum()
    • 依次计算相邻w个元素的和
  • .rolling(w).mean()
    • 依次计算相邻w个元素的算术平均值
  • .rolling(w).var()
    • 依次计算相邻w个元素的方差
  • .rolling(w).std()
    • 依次计算相邻w个元素的标准差
  • .rolling(w).min() .max()
    • 依次计算相邻w个元素的最小值、最大值
• 基本统计分析
  • .sum()
    • 计算数据的总和，按0轴计算，下同
  • .count()
    • 非NaN值的数量
  • .mean() .median()
    • 计算数据的算术平均值、算术中位数
  • .var() .std()
    • 计算数据的方差、标准差
  • .min() .max()
    • 计算数据的最小值、最大值
  • .describe()
    • 针对0轴（各列）的统计汇总
  • 只适用于Series
    • .argmin() .argmax()
      • 计算数据最大值、最小值所在位置的索引位置（自动索引）
    • .idxmin() .idxmax()
      • 计算数据最大值、最小值所在位置的索引（自定义索引）
• 数据排序
  • .sort_index()
    • 在指定轴上根据索引进行排序，默认升序
    • 格式
      • .sort_index(axis=0, ascending=True)
    • 例：b.sort_index(ascending=False)
  • .sort_values()
    • 在指定轴上根据数值进行排序，默认升序
    • NaN统一放到排序末尾
    • Series方法
      • Series.sort_values(axis=0, ascending=True)
    • DataFrame方法
      • DataFrame.sort_values(by, axis=0, ascending=True)
      • by：axis轴上的某个索引或索引列表
      • 例：c = b.sort_values(2, ascending=False)