别再为读取 CSV 文件发愁!pandas 实用技巧全解析
liuian 2025-03-11 18:02 30 浏览
在数据处理与分析领域,Python 的 pandas 库是极为强大的工具,而读取 CSV 文件是其常见且基础的操作。熟练掌握 pandas 读取 CSV 文件的技巧,能极大提升数据处理的效率与准确性。下面为你详细总结相关知识点。
一、安装与导入
若尚未安装 pandas 库,可通过命令pip install pandas进行安装。安装完成后,在 Python 代码中导入 pandas 库,一般采用import pandas as pd的方式,后续就可以通过pd来调用 pandas 的函数。
二、基本读取操作
使用pd.read_csv()函数读取 CSV 文件,例如df = pd.read_csv('data.csv'),这行代码会将名为data.csv的文件读取到一个 pandas 的 DataFrame 对象df中,DataFrame 是 pandas 用于存储和处理表格型数据的主要数据结构。
以下面的表格信息为例(表格数据比较多,只显示部分数据)
示例代码:
import pandas as pd
data = pd.read_csv('data.csv') # 这里使用一个公开的示例数据集,也可以更换成本地的数据表
print(data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300三、常见参数详解
- sep参数:用于指定 CSV 文件中的字段分隔符,默认是逗号','。如果文件使用其他分隔符,如制表符'\t',则需要指定sep参数,如pd.read_csv('data.tsv', sep='\t') 。
示例代码:
import pandas as pd
# 假设我们有一个制表符分隔的文件(这里使用公开数据集示例转化为制表符分隔示意)
data = pd.read_csv('data.csv', sep=',')
data.to_csv('tips.tsv', sep='\t', index=False)
new_data = pd.read_csv('tips.tsv', sep='\t')
print(new_data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300- header参数:用于指定哪一行作为列名,默认值为0,即第一行作为列名。若文件没有列名,可设置header=None,并通过names参数手动指定列名,如pd.read_csv('data.csv', header=None, names=['col1', 'col2', 'col3']) 。
示例代码:
import pandas as pd
# 去掉列名
data = pd.read_csv('data.csv', header=None) # 这里的data.csv需要删掉标题行,即列名那行
new_data = pd.read_csv('data.csv', header=None, names=['id','七月', '八月','九月','十月', '十一月', '十二月','总销售额'])
print(new_data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 七月 八月 九月 十月 十一月 十二月 总销售额
0 1 纯棉 T 恤 5000 6000 5500 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 5000 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 4200 4000 4500 4800 24800
3 4 运动背包 6000 6500 7000 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 3200 3500 3800 4000 20300- index_col参数:可以指定某一列作为 DataFrame 的索引列。例如pd.read_csv('data.csv', index_col='id'),会将名为id的列设置为索引。
示例代码:
import pandas as pd
data = pd.read_csv('data.csv', index_col='id')
print(data.head())运行结果(因数据量较大,仅展示前几行):
产品名称 一月销售额(元) 二月销售额(元) ... 五月销售额(元) 六月销售额(元) 总计销售额(元)
id ...
1 纯棉 T 恤 5000 6000 ... 6500 8000 38000
2 无线蓝牙耳机 4000 4500 ... 5200 5500 29000
3 智能保温杯 3500 3800 ... 4500 4800 24800
4 运动背包 6000 6500 ... 8000 8500 43500
5 护眼台灯 2800 3000 ... 3800 4000 20300- usecols参数:用于选择需要读取的列,可传入列名列表。如pd.read_csv('data.csv', usecols=['col1', 'col3']),只会读取col1和col3两列的数据。
示例代码:
import pandas as pd
data = pd.read_csv('data.csv', usecols=['total_bill', 'tip'])
print(data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元)
0 1 纯棉 T 恤 5000
1 2 无线蓝牙耳机 4000
2 3 智能保温杯 3500
3 4 运动背包 6000
4 5 护眼台灯 2800- skiprows参数:可以跳过指定数量的行。若文件开头有一些说明性行不需要读取,可使用pd.read_csv('data.csv', skiprows=3)跳过前 3 行。还有一种情况是要保留原标题行,跳过下面的2行,可以使用pd.read_csv('data.csv', skiprows=[1,2]),这样就可以保留标题行(索引为0),跳过第2,3行(索引为1,2)。
示例代码1:
import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=3, header=None)
print(data.head())运行结果(因数据量较大,仅展示前几行):
0 1 2 3 4 5 6 7 8
0 3 智能保温杯 3500 3800 4200 4000 4500 4800 24800
1 4 运动背包 6000 6500 7000 7500 8000 8500 43500
2 5 护眼台灯 2800 3000 3200 3500 3800 4000 20300
3 6 家用扫地机器人 4500 4800 5200 5000 5500 5800 30800
4 7 电动牙刷 3200 3400 3600 3800 4000 4200 22200示例代码2:
import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=[1, 2])
print(data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
1 4 运动背包 6000 6500 ... 7500 8000 8500 43500
2 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
3 6 家用扫地机器人 4500 4800 ... 5000 5500 5800 30800
4 7 电动牙刷 3200 3400 ... 3800 4000 4200 22200- na_values参数:在读取 CSV 文件时,可通过na_values参数指定自定义的缺失值表示。例如pd.read_csv('data.csv', na_values=['-', 'unknown']),文件中出现-和unknown的地方都会被识别为缺失值。
示例代码:
import pandas as pd
# 假设数据中用'-'表示缺失值
data = pd.read_csv('data.csv')
new_data = pd.read_csv('data.csv', na_values='纯棉 T 恤')
print(new_data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 NaN 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300- dtype参数:默认情况下,pandas 会自动推断每列的数据类型,但有时推断不准确。此时可使用dtype参数手动指定列的数据类型,如pd.read_csv('data.csv', dtype={'col1': 'int64', 'col2': 'float64'}) 。
示例代码:
import pandas as pd
data = pd.read_csv('data.csv', dtype={'id': 'int32'})
print(data.dtypes)运行结果:
id int32
产品名称 object
一月销售额(元) int64
二月销售额(元) int64
三月销售额(元) int64
四月销售额(元) int64
五月销售额(元) int64
六月销售额(元) int64
总计销售额(元) int64
dtype: object四、处理大型文件
对于大型 CSV 文件,一次性读取可能导致内存不足,此时可使用分块读取的方式。通过chunksize参数指定每个数据块的大小,例如:
import pandas as pd
for chunk in pd.read_csv('data.csv', chunksize=50):
print(chunk.shape)运行结果(展示每个数据块的形状):
(50, 9)
(31, 9)五、处理编码问题
如果读取的 CSV 文件存在编码问题,可通过encoding参数指定编码格式。例如,若文件是 UTF - 8 编码,可使用pd.read_csv('data.csv', encoding='utf-8') 。常见的编码格式还有'gbk'、'latin1'等,需根据文件实际编码情况选择。
示例代码:
import pandas as pd
# 假设文件是utf-8编码(这里使用的公开示例数据一般是utf-8编码)
data = pd.read_csv('data.csv', encoding='utf-8')
print(data.head())运行结果(因数据量较大,仅展示前几行):
id 产品名称 一月销售额(元) 二月销售额(元) ... 四月销售额(元) 五月销售额(元) 六月销售额(元) 总计销售额(元)
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300掌握 pandas 读取 CSV 文件的这些知识点,无论是小型数据集的快速处理,还是大型复杂数据集的高效读取,都能应对自如,为后续的数据清洗、分析和可视化等工作打下坚实基础。
相关推荐
- 网易电脑版登录入口(main.163网易电脑版登录入口)
-
http://mail.163.com步骤一:输入邮箱官网网址http://mail.163.com/打开163邮箱登录入口界面。步骤二:输入已有的邮箱账号、密码,点击登录即可。步骤三:如果没有邮箱账...
- qq截图快捷键不能用(qq快捷截图不能使用)
-
笔记本上面的PrtSC能用么,是不是需要用Fn+这个按键才能截屏呀。有些机器在bios下有Fn快捷键设置,你需要把这个功能键开启或者关闭后才能单独点击使用。或者你使用Fn+PrtSC在试试,另外,何必...
- 大地影视中文第二页的背景故事
-
大地影院通常会有明显的入口标识,你可以根据影院外部的建筑结构和指示牌来找到入口。一般来说,大地影院的入口可能位于建筑的主立面或者侧面,有时也可能位于地下停车场或者商场内部。当你到达影院所在的建筑时,可...
- win10共享打印机需要密码(win10共享打印机需要密码吗)
-
共享打印机需要输入用户名和密码,该如何操作,下面给大家来介绍下。1、首先打开电脑的控制面板,点击管理工具。2、然后在打开的管理工具窗口中,点击本地安全策略。3、接着在打开的页面中,点击本地策略。4、然...
- 系统引导启动项怎么设置(系统引导按哪个键)
-
如果您想在计算机启动时添加系统启动引导选项,可以按照以下步骤进行操作:1.打开“运行”窗口,可以通过快捷键Win+R打开“运行”窗口。2.在“运行”窗口中输入“msconfig”命令,并点击“...
- win10录屏快捷键ctrl+alt+(win10录屏功能快捷键)
-
答,笔记本电脑录屏快捷键是ctrl+alt+s。绝大多数人录制屏幕时,第一个想到的就是电脑自带的录屏功能,比较的方便快捷。这种方法运用起来时非常简单的,只需在键盘上同时按下“ctrl+alt+s”键就...
- 壁纸下载(壁纸下载安装)
-
回答如下:要下载电视屏保相册,您需要先找到适用于您的电视的屏保应用程序。这些应用程序可能会根据您的电视品牌和型号而有所不同,您可以在电视的应用商店中搜索或查看电视制造商的网站以获取更多信息。一旦您找到...
- 木马病毒下载安装(木马病毒下载安装不实名认证)
-
现在1,你自己机器上下载个杀毒软件,安装之后不要删除安装包2,运行杀毒软件3,插入优盘,杀毒软件会自动扫描优盘发现病毒然后提示你4,选择处理/杀毒/清理这些字样5,把杀毒软件安装包复制到优盘6,右键优...
- 手机cdr转jpg最简单的方法(手机cdr转换jpg)
-
cdr文件怎么转换成jpg,快来看下操作方法吧。方法/步骤1、打开电脑中的cdr软件,点击文件,打开,打开需要转换格式的cdr文件。2、点击菜单栏的文件,导出。3、打开导出对话框选择保存文件路径。4、...
- xp永久激活工具(xp永久激活码)
-
如果你需要重置XP的激活器,你需要先打开“开始”菜单,然后选择“运行”。在运行对话框中,输入“regedit”,然后按回车键。这会打开注册表编辑器。在编辑器中,使用左侧面板来导航到“HKEY_LOCA...
- cad2008激活序列号(激活cad的序列号)
-
1.首先运行“AutoCAD2008安装包”中的“Setup.exe”安装AutoCAD2008,安装过程需要十分钟左右;2.第一次运行AutoCAD2008时,请在注册界面输入序列号666-9...
- 自己可以重装电脑系统么(可以自己重装系统吗)
-
电脑自身也可以重装系统。1.电脑是一个可编程的设备,通过特定的步骤和操作,用户可以自行进行系统重装。2.重装系统的过程包括备份重要数据、获取系统安装介质、重新启动电脑进入安装界面、按照指引选择系统...
- 一周热门
-
-
飞牛OS入门安装遇到问题,如何解决?
-
如何在 iPhone 和 Android 上恢复已删除的抖音消息
-
Boost高性能并发无锁队列指南:boost::lockfree::queue
-
大模型手册: 保姆级用CherryStudio知识库
-
用什么工具在Win中查看8G大的log文件?
-
如何在 Windows 10 或 11 上通过命令行安装 Node.js 和 NPM
-
威联通NAS安装阿里云盘WebDAV服务并添加到Infuse
-
Trae IDE 如何与 GitHub 无缝对接?
-
idea插件之maven search(工欲善其事,必先利其器)
-
如何修改图片拍摄日期?快速修改图片拍摄日期的6种方法
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)
