导图社区 Python Pandas库
本思维导图总结了Python Pandas库,对其提供的数据类型、操作、运算和统计分析方法进行了较为详细的介绍。
编辑于2020-09-16 15:58:53Python Pandas库
简介
Python第三方库,提供高性能易用数据类型和分析工具
import pandas as pd
两个数据类型
Series
由一组数据及与之相关的数据索引组成,包括index和values两部分
创建
1.Python列表
index与列表元素个数一致
例:a = pd.Series([9, 8, 7, 6])
例:b = pd.Series([9, 8, 7, 6], index=['a', 'b', 'c', 'd'])
2.标量值
index表达Series类型的尺寸
例:s = pd.Series(25, index=['a', 'b', 'c'])
3.Python字典
键值对中的“键”是索引,index从字典中进行选择操作
例:d = pd.Series({'a':9, 'b':8, 'c':7})
例:d = pd.Series({'a':9, 'b':8, 'c':7}, index=['c', 'a', 'b', 'd'])
4.ndarray
索引和数据都可以通过ndarray类型创建
例:n = pd.Series(np.arrange(5))
例:n = pd.Series(np.arrange(5), index=np.arrange(9,4,-1))
5.其他函数
range()函数等
操作
获得索引
例:a.index
获得数据
例:a.values
获得名字
例:a.name # Series对象的名字
例:a.index.name # 索引列的名字
根据索引获得值
例:a['a']、a[1]、a[['a', 'b', 'c']]
修改
例:b['a'] = 15
Series类型的操作类似ndarray类型
索引方法相同,采用[]
NumPy中运算和操作可用于Series类型
可以通过自定义索引的列表进行切片
可以通过自动索引进行切片,如果存在自定义索引,则一同被切片
Series类型的操作类似Python字典类型
通过自定义索引访问
保留字in操作
使用.get()方法
Series类型在运算中会自动对齐不同索引的数据
DataFrame
由共用相同索引的一组列组成,是一个表格型的数据类型,每列值类型可以不同。既有行索引,也有列索引
可以理解为二维带“标签”的数组
创建
1.二维ndarray对象
例:d = pd.DataFrame(np.arrange(10).reshape(2,5))
2.一维ndarray对象字典
字典的“键”作为列索引,列表的值纵向分布。“index”作为行索引
例:dt = {'one': pd.Series([1, 2, 3], index=['a', 'b', 'c']), 'two': pd.Series([9, 8, 7, 6], index=['a', 'b', 'c', 'd'])} d = pd.DataFrame(dt)
3.列表类型的字典
字典的“键”作为列索引,列表的值纵向分布。“index”作为行索引
例:dl = {'one': [1, 2, 3, 4], 'two': [9, 8, 7, 6]} d = pd.DataFrame(dl, index = ['a', 'b', 'c', 'd'])
基本操作类似Series,依据行列索引
数据类型操作
索引类型常用方法
.append(idx)
连接另一个Index对象,产生新的Index对象
.diff(idx)
计算差集,产生新的Index对象
.intersection(idx)
计算交集
.unioin(idx)
计算并集
.delete(loc)
删除loc位置处的元素
.insert(loc,e)
在loc位置增加一个元素e
例:nc = d.columns.delete(2)
增加或重排索引
.reindex()
能够改变或重排Series和DataFrame索引
格式
.reindex(index=None, columns=None,...)
参数
index, columns
新的行列自定义索引
fill_value
重新索引中,用于填充缺失位置的值
method
填充方法,ffill当前值向前填充,bfill向后填充
limit
最大填充量
copy
默认True,生成新的对象,False时,新旧相等不复制
例:d = d.reindex(columns=['a', 'b', 'c'])
例:d = d.reindex(index=['a', 'b', 'c'])
删除索引
.drop()
能够删除Series和DataFrame指定行或列索引
删除行
例:a.drop(['b', 'c'])
删除列
例:a.drop('同比', axis=1)
数据类型运算
算术运算
根据行列索引,补齐后运算,运算默认产生浮点数。补齐时缺项填充NaN(空值)
二维和一维、一维和零维间为广播运算
采用+-*/符号进行的二元运算产生新的对象
方法形式的运算
.add(d, **argws)
类型间加法运算,可选参数
.sub(d, **argws)
类型间减法运算,可选参数
.mul(d, **argws)
类型间乘法运算,可选参数
.div(d, **argws)
类型间除法运算,可选参数
不同维度间为广播运算,一维Series默认在轴1参与运算
例:b.add(a, fill_value=0) # b+a,填充值为0
例:b.sub(c, axis=0)
比较运算
比较运算只能比较相同索引的元素,不进行补齐
二维和一维、一维和零维间为广播运算
采用> < >= <= == !=等符号进行的二元运算产生布尔对象
不同维度,广播运算,默认在1轴
相关分析
.cov()
计算协方差矩阵
.corr()
计算相关系数矩阵,Pearson、Spearman、Kendall等系数
累积统计分析
.cumsum()
依次给出前1、2、... 、n个数的和
.cumprod()
依次给出前1、2、... 、n个数的积
.cummax()
依次给出前1、2、... 、n个数的最大值
.cummin()
依次给出前1、2、... 、n个数的最小值
.rolling(w).sum()
依次计算相邻w个元素的和
.rolling(w).mean()
依次计算相邻w个元素的算术平均值
.rolling(w).var()
依次计算相邻w个元素的方差
.rolling(w).std()
依次计算相邻w个元素的标准差
.rolling(w).min() .max()
依次计算相邻w个元素的最小值、最大值
基本统计分析
.sum()
计算数据的总和,按0轴计算,下同
.count()
非NaN值的数量
.mean() .median()
计算数据的算术平均值、算术中位数
.var() .std()
计算数据的方差、标准差
.min() .max()
计算数据的最小值、最大值
.describe()
针对0轴(各列)的统计汇总
只适用于Series
.argmin() .argmax()
计算数据最大值、最小值所在位置的索引位置(自动索引)
.idxmin() .idxmax()
计算数据最大值、最小值所在位置的索引(自定义索引)
数据排序
.sort_index()
在指定轴上根据索引进行排序,默认升序
格式
.sort_index(axis=0, ascending=True)
例:b.sort_index(ascending=False)
.sort_values()
在指定轴上根据数值进行排序,默认升序
NaN统一放到排序末尾
Series方法
Series.sort_values(axis=0, ascending=True)
DataFrame方法
DataFrame.sort_values(by, axis=0, ascending=True)
by:axis轴上的某个索引或索引列表
例:c = b.sort_values(2, ascending=False)