百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

别再为读取 CSV 文件发愁!pandas 实用技巧全解析

liuian 2025-03-11 18:02 16 浏览

在数据处理与分析领域,Python 的 pandas 库是极为强大的工具,而读取 CSV 文件是其常见且基础的操作。熟练掌握 pandas 读取 CSV 文件的技巧,能极大提升数据处理的效率与准确性。下面为你详细总结相关知识点。

一、安装与导入

若尚未安装 pandas 库,可通过命令pip install pandas进行安装。安装完成后,在 Python 代码中导入 pandas 库,一般采用import pandas as pd的方式,后续就可以通过pd来调用 pandas 的函数。

二、基本读取操作

使用pd.read_csv()函数读取 CSV 文件,例如df = pd.read_csv('data.csv'),这行代码会将名为data.csv的文件读取到一个 pandas 的 DataFrame 对象df中,DataFrame 是 pandas 用于存储和处理表格型数据的主要数据结构。

以下面的表格信息为例(表格数据比较多,只显示部分数据)


示例代码:

import pandas as pd
data = pd.read_csv('data.csv') # 这里使用一个公开的示例数据集,也可以更换成本地的数据表
print(data.head())

运行结果(因数据量较大,仅展示前几行):

   id    产品名称  一月销售额(元)  二月销售额(元)  ...  四月销售额(元)  五月销售额(元)  六月销售额(元)  总计销售额(元)
0   1  纯棉 T 恤      5000      6000  ...      7000      6500      8000     38000
1   2  无线蓝牙耳机      4000      4500  ...      4800      5200      5500     29000
2   3   智能保温杯      3500      3800  ...      4000      4500      4800     24800
3   4    运动背包      6000      6500  ...      7500      8000      8500     43500
4   5    护眼台灯      2800      3000  ...      3500      3800      4000     20300

三、常见参数详解

  1. sep参数:用于指定 CSV 文件中的字段分隔符,默认是逗号','。如果文件使用其他分隔符,如制表符'\t',则需要指定sep参数,如pd.read_csv('data.tsv', sep='\t') 。

示例代码:

import pandas as pd
# 假设我们有一个制表符分隔的文件(这里使用公开数据集示例转化为制表符分隔示意)
data = pd.read_csv('data.csv', sep=',')
data.to_csv('tips.tsv', sep='\t', index=False)
new_data = pd.read_csv('tips.tsv', sep='\t')
print(new_data.head())

运行结果(因数据量较大,仅展示前几行):

   id    产品名称  一月销售额(元)  二月销售额(元)  ...  四月销售额(元)  五月销售额(元)  六月销售额(元)  总计销售额(元)
0   1  纯棉 T 恤      5000      6000  ...      7000      6500      8000     38000
1   2  无线蓝牙耳机      4000      4500  ...      4800      5200      5500     29000
2   3   智能保温杯      3500      3800  ...      4000      4500      4800     24800
3   4    运动背包      6000      6500  ...      7500      8000      8500     43500
4   5    护眼台灯      2800      3000  ...      3500      3800      4000     20300
  1. header参数:用于指定哪一行作为列名,默认值为0,即第一行作为列名。若文件没有列名,可设置header=None,并通过names参数手动指定列名,如pd.read_csv('data.csv', header=None, names=['col1', 'col2', 'col3']) 。

示例代码:

import pandas as pd
# 去掉列名
data = pd.read_csv('data.csv', header=None)  # 这里的data.csv需要删掉标题行,即列名那行
new_data = pd.read_csv('data.csv', header=None, names=['id','七月', '八月','九月','十月', '十一月', '十二月','总销售额'])
print(new_data.head())

运行结果(因数据量较大,仅展示前几行):

   id    产品名称    七月    八月    九月    十月   十一月   十二月   总销售额
0   1  纯棉 T 恤  5000  6000  5500  7000  6500  8000  38000
1   2  无线蓝牙耳机  4000  4500  5000  4800  5200  5500  29000
2   3   智能保温杯  3500  3800  4200  4000  4500  4800  24800
3   4    运动背包  6000  6500  7000  7500  8000  8500  43500
4   5    护眼台灯  2800  3000  3200  3500  3800  4000  20300
  1. index_col参数:可以指定某一列作为 DataFrame 的索引列。例如pd.read_csv('data.csv', index_col='id'),会将名为id的列设置为索引。

示例代码:

import pandas as pd
data = pd.read_csv('data.csv', index_col='id')
print(data.head())

运行结果(因数据量较大,仅展示前几行):

      产品名称  一月销售额(元)  二月销售额(元)  ...  五月销售额(元)  六月销售额(元)  总计销售额(元)
id                              ...                              
1   纯棉 T 恤      5000      6000  ...      6500      8000     38000
2   无线蓝牙耳机      4000      4500  ...      5200      5500     29000
3    智能保温杯      3500      3800  ...      4500      4800     24800
4     运动背包      6000      6500  ...      8000      8500     43500
5     护眼台灯      2800      3000  ...      3800      4000     20300
  1. usecols参数:用于选择需要读取的列,可传入列名列表。如pd.read_csv('data.csv', usecols=['col1', 'col3']),只会读取col1和col3两列的数据。

示例代码:

import pandas as pd
data = pd.read_csv('data.csv', usecols=['total_bill', 'tip'])
print(data.head())

运行结果(因数据量较大,仅展示前几行):

   id    产品名称  一月销售额(元)
0   1  纯棉 T 恤      5000
1   2  无线蓝牙耳机      4000
2   3   智能保温杯      3500
3   4    运动背包      6000
4   5    护眼台灯      2800
  1. skiprows参数:可以跳过指定数量的行。若文件开头有一些说明性行不需要读取,可使用pd.read_csv('data.csv', skiprows=3)跳过前 3 行。还有一种情况是要保留原标题行,跳过下面的2行,可以使用pd.read_csv('data.csv', skiprows=[1,2]),这样就可以保留标题行(索引为0),跳过第2,3行(索引为1,2)。

示例代码1:

import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=3, header=None)
print(data.head())

运行结果(因数据量较大,仅展示前几行):

   0        1     2     3     4     5     6     7      8
0  3    智能保温杯  3500  3800  4200  4000  4500  4800  24800
1  4     运动背包  6000  6500  7000  7500  8000  8500  43500
2  5     护眼台灯  2800  3000  3200  3500  3800  4000  20300
3  6  家用扫地机器人  4500  4800  5200  5000  5500  5800  30800
4  7     电动牙刷  3200  3400  3600  3800  4000  4200  22200

示例代码2:

import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=[1, 2])
print(data.head())

运行结果(因数据量较大,仅展示前几行):

   id     产品名称  一月销售额(元)  二月销售额(元)  ...  四月销售额(元)  五月销售额(元)  六月销售额(元)  总计销售额(元)
0   3    智能保温杯      3500      3800  ...      4000      4500      4800     24800
1   4     运动背包      6000      6500  ...      7500      8000      8500     43500
2   5     护眼台灯      2800      3000  ...      3500      3800      4000     20300
3   6  家用扫地机器人      4500      4800  ...      5000      5500      5800     30800
4   7     电动牙刷      3200      3400  ...      3800      4000      4200     22200
  1. na_values参数:在读取 CSV 文件时,可通过na_values参数指定自定义的缺失值表示。例如pd.read_csv('data.csv', na_values=['-', 'unknown']),文件中出现-和unknown的地方都会被识别为缺失值。

示例代码:

import pandas as pd
# 假设数据中用'-'表示缺失值
data = pd.read_csv('data.csv')
new_data = pd.read_csv('data.csv', na_values='纯棉 T 恤')
print(new_data.head())

运行结果(因数据量较大,仅展示前几行):

   id    产品名称  一月销售额(元)  二月销售额(元)  ...  四月销售额(元)  五月销售额(元)  六月销售额(元)  总计销售额(元)
0   1     NaN      5000      6000  ...      7000      6500      8000     38000
1   2  无线蓝牙耳机      4000      4500  ...      4800      5200      5500     29000
2   3   智能保温杯      3500      3800  ...      4000      4500      4800     24800
3   4    运动背包      6000      6500  ...      7500      8000      8500     43500
4   5    护眼台灯      2800      3000  ...      3500      3800      4000     20300
  1. dtype参数:默认情况下,pandas 会自动推断每列的数据类型,但有时推断不准确。此时可使用dtype参数手动指定列的数据类型,如pd.read_csv('data.csv', dtype={'col1': 'int64', 'col2': 'float64'}) 。

示例代码:

import pandas as pd
data = pd.read_csv('data.csv', dtype={'id': 'int32'})
print(data.dtypes)

运行结果:

id           int32
产品名称        object
一月销售额(元)     int64
二月销售额(元)     int64
三月销售额(元)     int64
四月销售额(元)     int64
五月销售额(元)     int64
六月销售额(元)     int64
总计销售额(元)     int64
dtype: object

四、处理大型文件

对于大型 CSV 文件,一次性读取可能导致内存不足,此时可使用分块读取的方式。通过chunksize参数指定每个数据块的大小,例如:

import pandas as pd
for chunk in pd.read_csv('data.csv', chunksize=50):
 print(chunk.shape)

运行结果(展示每个数据块的形状):

(50, 9)
(31, 9)

五、处理编码问题

如果读取的 CSV 文件存在编码问题,可通过encoding参数指定编码格式。例如,若文件是 UTF - 8 编码,可使用pd.read_csv('data.csv', encoding='utf-8') 。常见的编码格式还有'gbk'、'latin1'等,需根据文件实际编码情况选择。

示例代码:

import pandas as pd
# 假设文件是utf-8编码(这里使用的公开示例数据一般是utf-8编码)
data = pd.read_csv('data.csv', encoding='utf-8')
print(data.head())

运行结果(因数据量较大,仅展示前几行):

   id    产品名称  一月销售额(元)  二月销售额(元)  ...  四月销售额(元)  五月销售额(元)  六月销售额(元)  总计销售额(元)
0   1  纯棉 T 恤      5000      6000  ...      7000      6500      8000     38000
1   2  无线蓝牙耳机      4000      4500  ...      4800      5200      5500     29000
2   3   智能保温杯      3500      3800  ...      4000      4500      4800     24800
3   4    运动背包      6000      6500  ...      7500      8000      8500     43500
4   5    护眼台灯      2800      3000  ...      3500      3800      4000     20300

掌握 pandas 读取 CSV 文件的这些知识点,无论是小型数据集的快速处理,还是大型复杂数据集的高效读取,都能应对自如,为后续的数据清洗、分析和可视化等工作打下坚实基础。

相关推荐

eino v0.4.5版本深度解析:接口类型处理优化与错误机制全面升级

近日,eino框架发布了v0.4.5版本,该版本在错误处理、类型安全、流处理机制以及代理配置注释等方面进行了多项优化与修复。本次更新共包含6个提交,涉及10个文件的修改,由2位贡献者共同完成。本文将详...

SpringBoot异常处理_springboot异常注解

在SpringBoot中,异常处理是构建健壮、可维护Web应用的关键部分。良好的异常处理机制可以统一返回格式、提升用户体验、便于调试和监控。以下是SpringBoot中处理异常的完整指...

Jenkins运维之路(Jenkins流水线改造Day02-1-容器项目)

这回对线上容器服务器的流水线进行了一定的改造来满足目前线上的需求,还是会将所有的自动化脚本都放置到代码库中统一管理,我感觉一章不一定写的完,所以先给标题加了个-1,话不多说开干1.本次流水线的流程设计...

告别宕机!零基础搭建服务器监控告警系统!小白也能学会!

前言本文将带你从零开始,一步步搭建一个完整的服务器指标监控与邮件告警系统,使用的技术栈均为业界主流、稳定可靠的开源工具:Prometheus:云原生时代的监控王者,擅长指标采集与告警规则定义Node_...

httprunner实战接口测试笔记,拿走不谢

每天进步一点点,关注我们哦,每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号:自动化软件测试码同学抖音号:小码哥聊软件测试01开始安装跟创建项目pipinstallhttprunne...

基于JMeter的性能压测平台实现_jmeter压测方案

这篇文章已经是两年前写的,短短两年时间,JMeter开源应用技术的发展已经是翻天覆地,最初由github开源项目zyanycall/stressTestPlatform形成的这款测试工具也开始慢...

12K+ Star!新一代的开源持续测试工具!

大家好,我是Java陈序员。在企业软件研发的持续交付流程中,测试环节往往是影响效率的关键瓶颈,用例管理混乱、接口调试复杂、团队协作不畅、与DevOps流程脱节等问题都能影响软件交付。今天,给大家...

Spring Boot3 中分库分表之后如何合并查询

在当今互联网应用飞速发展的时代,数据量呈爆发式增长。对于互联网软件开发人员而言,如何高效管理和查询海量数据成为了一项关键挑战。分库分表技术应运而生,它能有效缓解单库单表数据量过大带来的性能瓶颈。而在...

离线在docker镜像方式部署ragflow0.17.2

经常项目上会出现不能连外网的情况,要怎么使用ragflow镜像部署呢,这里提供详细的步骤。1、下载基础镜像根据docker-compose-base.yml及docker-compose.yml中的i...

看,教你手写一个最简单的SpringBoot Starter

何为Starter?想必大家都使用过SpringBoot,在SpringBoot项目中,使用最多的无非就是各种各样的Starter了。那何为Starter呢?你可以理解为一个可拔插式...

《群星stellaris》军事基地跳出怎么办?解决方法一览

《群星stellaris》军事基地跳出情况有些小伙伴出现过这种情况,究竟该怎么解决呢?玩家“gmjdadk”分享的自己的解决方法,看看能不能解决。我用英文原版、德语、法语和俄语四个版本对比了一下,结果...

数据开发工具dbt手拉手教程-03.定义数据源模型

本章节介绍在dbt项目中,如何定义数据源模型。定义并引入数据源通过Extract和Load方式加载到仓库中的数据,可以使用dbt中的sources组件进行定义和描述。通过在dbt中将这些数据集(表)声...

docker compose 常用命令手册_docker-compose init

以下是DockerCompose常用命令手册,按生命周期管理、服务运维、构建配置、扩缩容、调试工具分类,附带参数解析、示例和关键说明,覆盖多容器编排核心场景:一、生命周期管理(核心命令...

RagFlow与DeepSeek R1本地知识库搭建详细步骤及代码实现

一、环境准备硬件要求独立显卡(建议NVIDIAGPU,8GB显存以上)内存16GB以上,推荐32GB(处理大规模文档时更高效)SSD硬盘(加速文档解析与检索)软件安装bash#必装组件Docker...

Docker Compose 配置更新指南_docker-compose配置

高效管理容器配置变更的最佳实践方法重启范围保留数据卷适用场景docker-composeup-d变更的服务常规配置更新--force-recreate指定/所有服务强制重建down→up流程...