百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

pandas大法好:轻松驾驭Excel,数据分析不再难!

liuian 2024-12-20 17:20 56 浏览



经常要捣鼓excel的小伙伴们,你们有福了,今天就来介绍下pandas这个强大、开源的数据分析处理工具,直接以“例”服人,没有多余废话,直接就能上手开干。也希望本文能够起到抛砖引玉的作用,让被excel表格处理缠身的你从此着迷pandas,掌握pandas大法可以从此让你高效工作,“人生苦短,我用pandas”。

安装pandas

本文的示例基于python3.12版本,首选需要安装pandas依赖库,还需要安装openpyxl以提供excel文件的支持,另外示例中还会展示简单的图表,这里使用的是plotly库,它可以生成交互式的图表。运行如下pip命令可以同时安装这三个依赖库。
pip install pandas openpyxl plotly

另外,强烈推荐使用jupyter notebook来运行文中的示例,如果你使用的是visual code编辑器也可以搜索安装jupyter插件直接在编辑器中开启jupyter,jupyter提供了一种交互式的方式来运行python代码,比如你需要读取一个非常大的excel文件,使用jupyter就只需读取一次,后续的代码就可以直接使用读取的数据而不必再次读取,而直接使用python代码方式运行就没有这个便利。如果你不清楚如何安装使用jupyter,建议网上搜索相关指导。

读取excel文件

首先需要说明pandas支持的远不止excel这一个类型,它可以读取和写入下图所示的多种类型的数据格式,这里重点以excel为例进行讲解。


pandas处理的数据类型主要是表格型数据,也就是包含行和列的二维数据,在pandas中称为DataFrame类型。


通过调用pandas的read_excel方法可以方便地读取excel文件的数据,并返回DataFrame数据类型,传入的参数为excel的文件路径

# 导入pandas模块,简写为pd
import pandas as pd

df = pd.read_excel('./data001.xlsx')
df

读取当前目录下的excel文件并显示表格数据,这里展示了jupyter文件的后缀和相关文件目录结构,后面将主要展示代码和数据部分。

接下来,我们就通过一个个具体的示例来演示pandas的具体使用。

数据的清洗与过滤

在工作中,很多时候你要处理的excel数据可能是来自他人提供的,或者通过各种渠道收集来的,出现数据字段缺失或错误是很常见的,规范整理这些数据需要花费大量的时间。pandas在数据清洗和过滤方面可谓得心应手,这里构造一份简单的人员信息的表格,其中有不少字段是空值。

通过pandas读取此excel信息并显示其中的数据,其中空值部分显示为NaN,表示为缺失数据。

dropna方法可以丢弃为空的数据,仅保留无缺失的记录

fillna方法可以为缺失数据提供默认值,比如这些员工信息只是漏填了某些字段,如果直接移除可能影响统计总数

isna方法可以检测某个单元格是否为空值,使用它可以方便地筛选出指定列缺失的数据,以及反数据

还可以指定其他的筛选条件,比如按照年龄大小

数据的分组与聚合

通过数据的清洗和过滤处理之后,就需要对数据进行统计分析和呈现了,重新构造一份学生成绩信息的excel表格数据来进行相关的演示。

结合groupby和count方法,按照姓名进行分组可以统计学生考试课程的数目,count对课程进行计数

结合groupby和mean方法,按照课程进行分组可以统计每门课程的平均分,mean对成绩一列求平均值


这里使用此数据绘制一个饼图来呈现课程平均分的占比,演示如何使用plotly绘制饼图


提示:使用plotly绘图如果遇到下面的报错信息,执行pip install nbformat,然后重启内核后重试

ValueError: Mime type rendering requires nbformat>=4.2.0 but it is not installed


结合groupby和sum方法,按照姓名进行分组可以统计学生的总分数,sum对成绩一列求和


这里使用此数据绘制一个直方图来呈现学生总分并降序排列,演示如何使用plotly绘制直方图

数据的合并

在数据的过滤和清洗示例中,我们给出了excel文件中瑕疵数据的各种处理手段,还可能存在一份完整的原始数据需要从很多表格中汇总的情况。再次构造两个包含员工的信息excel文件,仔细观察会发现两个表格中姓名和名字是相同的意思,其中一个表格还多了身高这一列,也就是说这两个表格数据并不完全一致,如果这样的表非常多,合并起来岂不是头大,说不定会边干活边爆粗口。

pandas可以轻松搞定这项工作,这里仅以两个表格为例进行演示,首先读取每个表格的数据,至于包含很多表格的情况,只需要使用循环读取即可。

接下来,首先需要做的就是把姓名和名字这两个字段名称统一,将名字改为姓名,然后使用pd.concat就可以把所有读取到的excel数据的列表进行合并了。合并结果如下,不包含身高信息的员工身高一列被填充为空,还需要强调的是合并的表格列名顺序不必一致,只要相同名称就可以正确合并,这就是pandas的强大之处

输出excel文件

数据分析完了还需要把分析好的结果输出为excel文件,to_excel方法可以将DataFrame数据写入到excel文件中,传入参数为excel文件的路径。

比如前面得到的学生总分信息的数据可以直接写入excel文件


打开excel文件显示结果如下

参考文献

[1] https://pandas.pydata.org/
[2] https://plotly.com/python/
[3] 《利用Python进行数据分析 第2版》Wes McKinney著

相关推荐

10种常见的MySQL错误,你可中招?

【51CTO.com快译】如果未能对MySQL8进行恰当的配置,您非但可能遇到无法顺利访问、或调用MySQL的窘境,而且还可能给真实的应用生产环境带来巨大的影响。本文列举了十种MySQL...

MySQL主从如何保证数据一致性

MySQL主从(主备)搭建请点击基于Spring的数据库读写分离。MySQL主备基本原理假设主备切换前,我们的主库是节点A,节点B是节点A的备库,客户端的读写都是直接访问节点A,节点B只是将A的更新同...

MySQL低版本升级操作流程

(关注“数据库架构师”公众号,提升数据库技能,助力职业发展)0-升级背景MySQL5.5发布于2010年,至今已有十年历史,官方已经停止更新。2008年发布的MySQL5.1版本,在2018年...

MySQL数据库知识

MySQL是一种关系型数据库管理系统;那废话不多说,直接上自己以前学习整理文档:查看数据库命令:(1).查看存储过程状态:showprocedurestatus;(2).显示系统变量:show...

Mysql 8.4数据库安装、新建用户和数据库、表单

1、下载MySQL数据库yuminstall-ywgetperlnet-toolslibtirpc#安装wget和perl、net-tools、libtirpcwgethtt...

mysql8.0新功能介绍

MySQL8.0新特性集锦一、默认字符集由latin1变为utf8mb4在8.0版本之前,默认字符集为latin1,utf8指向的是utf8mb3,8.0版本默认字符集为utf8mb4,utf8默...

全网最详细解决Windows下Mysql数据库安装后忘记初始root 密码方法

一、准备重置root的初始化密码Win+R键启动命令输入窗口;输入cmd打开命令执行窗口;##界面如下##输入命令:netstopmysqld#此操作会停止当前运行的...

互联网大厂面试:MySQL使用grant授权后必须flush privilege吗

从我上大学时,数据库概论老师就告诉我,MySQL使用grant对用户授权之后,一定记得要用flushprivilege命令刷新缓存,这样才能使赋权命令生效。毕业工作以后,在很多的技术文档上,仍然可以...

# mysql 8.0 版本无法使用 sqlyog 等图形界面 登录 的解决方法

30万以下的理想L6来了##mysql8.0版本无法使用sqlyog等图形界面登录的解决方法当我们在cmd下登录mysql时正常时,用sqlyog等图形界面连接数据库时却...

MySQL触发器介绍

前言:在学习MySQL的过程中,可能你了解过触发器的概念,不清楚各位是否有详细的去学习过触发器,最近看了几篇关于触发器的文档,分享下MySQL触发器相关知识。1.触发器简介触发器即trigg...

管理员常用的MySQL命令汇总(一)

以下是管理员常用的MySQL命令:以管理员身份连接到MySQL:mysql-uroot-p创建新的MySQL用户:CREATEUSER'username'@'...

Linux(CentOS) 在线安装MySQL8.0和其他版本,修改root密码

一:安装MySQL数据库1),下载并安装MySQL官方的YumRepositorymysql官方仓库地址:https://dev.mysql.com/downloads/repo/yum/选择自...

解决 MySQL 8.0 一直拒绝 root 登录问题

Accessdeniedforuser'root'@'localhost'(usingpassword:YES)这个错误在网上搜一下,能看到非常多的此类...

大模型MCP之MYSQL安装

前言学习大模型的时候需要一个mysql,原因还是在公司使用电脑的时候不允许按照Docker-Desktop,我的宿主机其实是MAC,我习惯上还是在centsos上面安装,就发现这件过去很简单的事情居然...

MySQL ERROR 1396

ERROR1396(HY000):OperationCREATEUSERfailedfor'usera'@'%'问题描述mysql>create...