一、前言
本文主要介绍pandas模块,该模块是Python用于数据导入及数据整理的模块,对于数据分析,数据挖掘等前期数据处理工作十分有用,它提供了很多方法,使得数据处理变得简单高效。
pandas模块有两个主要的数据结构对象:Series和DataFrame。Series对象是序列,类似一维数组,同时带有标签和索引,像Python的字典结构;DataFrame对象则相当于一张二维表格,类似二维数组,像数据库中的表。本文对Excel数据的分析主要使用了DataFrame对象。
首先导入pandas库,一般都会用到numpy库,所示我们先导入备用:
import pandas as pd
import numpy as np
下面介绍如何读取Excel文件、读取指定的行列、数据清理、数据合并、数据统计、主要使用了DataFrame对象,分别为df、df1和df2 。
二、读取Excel文件
方法一:默认读取第一个表单(Sheet)
execlFile = r"D:\自己的文件\1(1)(1).xlsx"
df = pd.DataFrame(pd.read_excel(execlFile))
方法二:通过指定表单(Sheet)的方式来读取
execlFile = r"D:\自己的文件\1(1)(1).xlsx"
df = pd.DataFrame(pd.read_excel(execlFile,sheet_name=“Sheet”))
三、读取指定的行列
df[col]:根据列名,并以Series的形式返回列表
例如:df1 = df[“标题”]
df[col1,col2]:以表格数据形式返回多列
例如:df1 = df[“标题1”,“标题2”]
df.iloc[0,:]:返回第一行(以列形式返回Excel表格第一行数据)
df.iloc[0,0]:返回第一行第一列单元格数据
读取指定的多行,例如10行
df1 = df.ix[[1,10]].values
如果默认读取前5行,可以使用下面代码:
df.head()
四、数据清理
数据清理主要实现对Excel数据的清理,包括重命名列名、判断空值、删除包含空值得行和列。
df.columns = [“a”,“b”,“c”]:重命名列名
例如,将“买家会员名”“买家实际支付金额”重命名为“会员名”“消费金额”,代码如下:
df1 = df[“买家会员名”,“买家实际支付金额”]
df1.columns = [“会员名”,“消费金额”]
pd.isnull() 检查DataFrame对象中的空值,并返回一个Boolean数组
例如,检查“联系手机”一列是否有空值,代码如下:
df1 = df[[“联系手机”]]
a = pd.isnull(df1)
df.dropna():删除所有包含空值的行
例如:print(df1.dropna(axis = 0))
df.dropna(axis = 1) :删除所有包含空值的列
例如:print(df1.dropna(axis = 1))
df.fillna(x) : 用x代替DataFrame对象中的所有空值
例如:将联系手机为空的手机号替换为18688888888
df[“联系手机”] = df[“联系手机”].fillna(18688888888)
五、数据合并
下面主要介绍合并多个Excel文件的方法:
df1.append(df2):将df2中的行添加到df1的尾部
pd.concat([df1,df2],axis = 1):将df2中的列添加到df1的尾部
df1.join(df2,on=None,how=“inner”):对df1的列和df2的列执行SQL形式的join(拼接列)
如果两个列的列名相同,可以通过lsuffix="",rsuffix=""区分,例如:
print(df1.join(df2,on=None,how=“inner”,lsuffix=“1”,rsuffix=“2”))
六、数据分组统计
数据分组统计是对Excel数据进行分组汇总统计。
例如:按“宝贝标题”分组统计宝贝数量,代码如下:
df1 = df.groupby([“宝贝标题”])[“宝贝总数量”].sum()
例如:按“宝贝标题”分组统计每种商品有多少客户购买,代码如下:
df1 = df.groupby([“宝贝标题”])[“客户名称”].count()
七、汇总统计
DataFrame对象提供了以下方法实现汇总统计:
df.mean():返回所有列的均值
df.count():返回每一列中的非空值个数
df.max():返回每一列的最大值,返回某列最大值需要指定列名,例如df.[“宝贝总数量”].max()
df.min():返回每一列的最小值,返回某列最小值需要指定列名,例如df.[“宝贝总数量”].min()