Python之Pandas使用系列(八):读写Excel文件的各种技巧
liuian 2025-03-11 18:03 18 浏览
介绍:
我们将学习如何使用Python操作Excel文件。我们将概述如何使用Pandas加载xlsx文件以及将电子表格写入Excel。
如何将Excel文件读取到Pandas DataFrame:
和前面的章节一样,在使用Pandas时,我们必须从导入模块开始:
import pandas as pd
使用read_excel的最简单方法是将文件名作为字符串传递。如果我们不传递任何其他参数(例如工作表名称),它将读取索引中的第一张sheet。在第一个示例中,我们将不使用任何参数:
在这里,Pandas的read_excel方法将数据从Excel文件读取到Pandas DataFrame对象中。然后,我们将此 DataFrame存储到名为df的变量中。
默认情况下,当使用read_excel时,Pandas将为 DataFrame分配一个数字索引或行标签,并且当int出现在Python中时,Pandas通常会从零开始。
例如,如果您的数据没有包含唯一值的列,则可以用作更好的索引。如果有一列可以用作更好的索引,我们可以覆盖默认行为。
可以通过将index_col参数来创建一个索引。
使用read_excel读取特定列
使用Pandas read_excel时,我们将自动从Excel文件中获取所有列。如果由于某种原因我们不想解析Excel文件中的所有列,则可以使用参数 usecols。假设我们只想创建一个具有ID, Address, Name列的 DataFrame 。我们可以如下文成:
根据read_excel文档,我们应该可以放入一个字符串。例如,cols =‘Address:Name‘应该给我们与上面相同的结果。
读取Excel文件时如何跳过行
现在,我们将学习在使用Pandas加载Excel文件时如何跳过行。读取的excel示例如下:
在下面的Pandas read_excel示例中,我们加载工作表" examples",其中包含我们需要跳过的行。
我们将使用参数sheet_name =' examples'读取名为' examples''的工作表。请注意,如果我们不使用sheet_name参数,则会读取第一张sheet。在此示例中,重要的部分是参数 skiprow = 2。我们使用它跳过前两行:
我们可以使用header 参数获得与上述相同的结果 。将使用参数 header = 1告诉Pandas read_excel我们的标题在第二行。
将多个Excel工作表读取到Pandas DataFrame
在Pandas read_excel中,我们将学习如何阅读多个sheets。我们的Excel文件example_sheets1.xlsx'具有两张表:" Sheet1"和" Sheet2"。我们将读入" Sheet1"和" Sheet2"这两个sheet:
或者可以将参数sheet_name设置为 None。
合并Dataframe
使用Pandas read_excel时,可能希望合并所有工作表中的数据。合并DataFrame非常容易。我们只使用concat函数并遍历工作表:
读取许多Excel文件
在某些情况下,我们可能有很多Excel文件包含来自不同实验的数据。在Python中,我们可以使用模块os和fnmatch来读取目录中的所有文件。最后,我们使用列表推导对找到的所有文件使用read_excel:
import os, fnmatch xlsx_files = fnmatch.filter(os.listdir('.'), '*concat*.xlsx') dfs = [pd.read_excel(xlsx_file) for xlsx_file in xlsx_files]
如果没有问题,我们可以再次使用concat函数合并 DataFrame:
df = pd.concat(dfs, sort=False)
还有其他方法可以读取许多Excel文件并将其合并。例如,我们可以将模块glob与Pandas concat一起使用以读取多个xlss文件:
import glob list_of_xlsx = glob.glob('./*concat*.xlsx') df = pd.concat(list_of_xlsx)
设置数据或列的数据类型
如果愿意,我们还可以设置列的数据类型。让我们使用Pandas再次读取examples.xlsx。在read_excel例子下面我们使用ID型参数来设置的某些列的数据类型。
将DataFrame写入Excel
当然,可以使用Pandas模块在Python中创建Excel文件。我们将首先创建一个带有一些变量的 DataFrame,但首先,我们将导入Pandas模块:
import pandas as pd
下一步是创建 DataFrame。我们将使用字典创建 DataFrame。键将是列名,值将是包含我们的数据的列表:
df = pd. DataFrame({'Names':['Andreas', 'George', 'Steve', 'Sarah', 'Joanna', 'Hanna'], 'Age':[21, 22, 20, 19, 18, 23]})
然后,我们使用" to_excel "方法将 DataFrame写入Excel文件。在下面的Pandas to_excel示例中,我们不使用任何参数。
df.to_excel(output.xlsx')
如果不使用参数 sheet_name,则将 获得默认的工作表名称" Sheet1"。我们还可以看到我们在Excel文件中获得了一个包含数字的新列。这些是 DataFrame的索引。
如果我们希望将工作表命名为其他名称,并且不希望索引列,则可以执行以下操作:
df.to_excel(output.xlsx', sheet_name='examples, index=False)
将多个熊猫 DataFrame写入Excel文件:
如果碰巧有很多 DataFrame要存储在一个Excel文件中,但要存储在不同的工作表中,则可以轻松地做到这一点。但是,我们现在需要使用ExcelWriter:
df1 = pd. DataFrame({'Names': ['Andreas', 'George', 'Steve', 'Sarah', 'Joanna', 'Hanna'], 'Age':[21, 22, 20, 19, 18, 23]}) df2 = pd. DataFrame({'Names': ['Pete', 'Jordan', 'Gustaf', 'Sophie', 'Sally', 'Simone'], 'Age':[22, 21, 19, 19, 29, 21]}) df3 = pd. DataFrame({'Names': ['Ulrich', 'Donald', 'Jon', 'Jessica', 'Elisabeth', 'Diana'], 'Age':[21, 21, 20, 19, 19, 22]}) dfs = {'Group1':df1, 'Group2':df2, 'Group3':df3} writer = pd.ExcelWriter('NamesAndAges.xlsx', engine='xlsxwriter')for sheet_name in dfs.keys(): dfs[sheet_name].to_excel(writer, sheet_name=sheet_name, index=False) writer.save()
在上面的代码中,我们创建了3个 DataFrame,然后将它们放入Dict中。注意,key是sheet名称,单元格名称是 DataFrame。完成此操作后,我们使用xlsxwriter创建writer对象。然后,我们继续遍历键(即工作表名称)并添加每个工作表。最后,文件被保存。
总结:
当然,还有其他存储数据的方法。其中之一是使用JSON文件。后面我们会继续介绍如何使用Pandas读取和写入JSON文件。
点击关注,如果发现任何不正确的地方,或者想分享有关上述主题的更多信息,欢迎反馈。
相关推荐
- eino v0.4.5版本深度解析:接口类型处理优化与错误机制全面升级
-
近日,eino框架发布了v0.4.5版本,该版本在错误处理、类型安全、流处理机制以及代理配置注释等方面进行了多项优化与修复。本次更新共包含6个提交,涉及10个文件的修改,由2位贡献者共同完成。本文将详...
- SpringBoot异常处理_springboot异常注解
-
在SpringBoot中,异常处理是构建健壮、可维护Web应用的关键部分。良好的异常处理机制可以统一返回格式、提升用户体验、便于调试和监控。以下是SpringBoot中处理异常的完整指...
- Jenkins运维之路(Jenkins流水线改造Day02-1-容器项目)
-
这回对线上容器服务器的流水线进行了一定的改造来满足目前线上的需求,还是会将所有的自动化脚本都放置到代码库中统一管理,我感觉一章不一定写的完,所以先给标题加了个-1,话不多说开干1.本次流水线的流程设计...
- 告别宕机!零基础搭建服务器监控告警系统!小白也能学会!
-
前言本文将带你从零开始,一步步搭建一个完整的服务器指标监控与邮件告警系统,使用的技术栈均为业界主流、稳定可靠的开源工具:Prometheus:云原生时代的监控王者,擅长指标采集与告警规则定义Node_...
- httprunner实战接口测试笔记,拿走不谢
-
每天进步一点点,关注我们哦,每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号:自动化软件测试码同学抖音号:小码哥聊软件测试01开始安装跟创建项目pipinstallhttprunne...
- 基于JMeter的性能压测平台实现_jmeter压测方案
-
这篇文章已经是两年前写的,短短两年时间,JMeter开源应用技术的发展已经是翻天覆地,最初由github开源项目zyanycall/stressTestPlatform形成的这款测试工具也开始慢...
- 12K+ Star!新一代的开源持续测试工具!
-
大家好,我是Java陈序员。在企业软件研发的持续交付流程中,测试环节往往是影响效率的关键瓶颈,用例管理混乱、接口调试复杂、团队协作不畅、与DevOps流程脱节等问题都能影响软件交付。今天,给大家...
- Spring Boot3 中分库分表之后如何合并查询
-
在当今互联网应用飞速发展的时代,数据量呈爆发式增长。对于互联网软件开发人员而言,如何高效管理和查询海量数据成为了一项关键挑战。分库分表技术应运而生,它能有效缓解单库单表数据量过大带来的性能瓶颈。而在...
- 离线在docker镜像方式部署ragflow0.17.2
-
经常项目上会出现不能连外网的情况,要怎么使用ragflow镜像部署呢,这里提供详细的步骤。1、下载基础镜像根据docker-compose-base.yml及docker-compose.yml中的i...
- 看,教你手写一个最简单的SpringBoot Starter
-
何为Starter?想必大家都使用过SpringBoot,在SpringBoot项目中,使用最多的无非就是各种各样的Starter了。那何为Starter呢?你可以理解为一个可拔插式...
- 《群星stellaris》军事基地跳出怎么办?解决方法一览
-
《群星stellaris》军事基地跳出情况有些小伙伴出现过这种情况,究竟该怎么解决呢?玩家“gmjdadk”分享的自己的解决方法,看看能不能解决。我用英文原版、德语、法语和俄语四个版本对比了一下,结果...
- 数据开发工具dbt手拉手教程-03.定义数据源模型
-
本章节介绍在dbt项目中,如何定义数据源模型。定义并引入数据源通过Extract和Load方式加载到仓库中的数据,可以使用dbt中的sources组件进行定义和描述。通过在dbt中将这些数据集(表)声...
- docker compose 常用命令手册_docker-compose init
-
以下是DockerCompose常用命令手册,按生命周期管理、服务运维、构建配置、扩缩容、调试工具分类,附带参数解析、示例和关键说明,覆盖多容器编排核心场景:一、生命周期管理(核心命令...
- RagFlow与DeepSeek R1本地知识库搭建详细步骤及代码实现
-
一、环境准备硬件要求独立显卡(建议NVIDIAGPU,8GB显存以上)内存16GB以上,推荐32GB(处理大规模文档时更高效)SSD硬盘(加速文档解析与检索)软件安装bash#必装组件Docker...
- Docker Compose 配置更新指南_docker-compose配置
-
高效管理容器配置变更的最佳实践方法重启范围保留数据卷适用场景docker-composeup-d变更的服务常规配置更新--force-recreate指定/所有服务强制重建down→up流程...
- 一周热门
-
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Python实现人事自动打卡,再也不会被批评
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
飞牛OS入门安装遇到问题,如何解决?
-
系统C盘清理:微信PC端文件清理,扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看,轻松搞定虚拟机、Docker、软路由
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)