分享30个超级好用的Pandas实战技巧
liuian 2025-01-10 15:15 17 浏览
作者:俊欣
来源:关于数据分析与可视化
今天小编来和大家分享几个Pandas实战技巧,相信大家看了之后肯定会有不少的收获。
读取数据
read_csv()用来读取csv格式的数据集,当然我们这其中还是有不少玄机在其中的
pd.read_csv("data.csv")
只读取数据集当中的某几列
我们只是想读取数据集当中的某几列,就可以调用其中的usecols参数,代码如下
df = pd.read_csv("house_price.csv", usecols=["Id", "SalePrice"])
df.head()
output
时间类型的数据解析
主要用到的是parse_dates参数,代码如下
df = pd.read_csv("Tesla.csv", parse_dates=["Date"])
df.head()
output
对于数据类型加以设定
主要调用的是dtype这个参数,同时合适的数据类型能够为数据集节省不少的内存空间,代码如下
df = pd.read_csv("data.csv", dtype={"house_type": "category"})
设置索引
用到的是index_col这个参数,代码如下
df = pd.read_csv("Tesla.csv", index_col="Date")
df.head()
output
只读取部分读取
用到的是nrows参数,代码如下
df = pd.read_csv("Tesla.csv", nrows=100)
df.shape
output
(100, 7)
跳过某些行
要是数据集当中存在着一些我们并不想包括在内的内容,可以直接跳过,skiprows参数,代码如下
pd.read_csv("data.csv", skiprows=[1, 5]) # 跳过第一和第五行
pd.read_csv("data.csv", skiprows=100) # 跳过前100行
pd.read_csv("data.csv", skiprows=lambda x: x > 0 and np.random.rand() > 0.1) # 抽取10%的数据
遇到了空值咋办呢?
要是遇到了空值,我们可以将空值用其他的值来代替,代码如下
df = pd.read_csv("data.csv", na_values=["?"])
那么布尔值呢?
对于布尔值而言,我们也可以设定换成是其他的值来代替,代码如下
df = pd.read_csv("data.csv", true_values=["yes"], false_values=["no"])
从多个csv文件中读取数据
还可以从多个csv文件当中来读取数据,通过glob模块来实现,代码如下
import glob
import os
files = glob.glob("file_*.csv")
result = pd.concat([pd.read_csv(file) for file in files], ignore_index=True)
要是从PDF文件当中来读取数据
我们的表格数据存在于pdf文件当中,需要从pdf文件当中来读取数据,代码如下
# 安装tabula-py模块
# %pip install tabula-py
from tabula import read_pdf
df = read_pdf('test.pdf', pages='all')
探索性数据分析
三行代码直接生成
通过调用pandas_profilling模块,三行代码直接生成数据分析的报告,代码如下
# 安装pandas-profilling模块
# %pip install pandas-profiling
import pandas_profiling
df = pd.read_csv("data.csv")
profile = df.profile_report(title="Pandas Profiling Report")
profile.to_file(output_file="output.html")
基于数据类型的操作
pandas能够表示的数据类型有很多
基于数据类型来筛选数据
我们希望筛选出来的数据包含或者是不包含我们想要的数据类型的数据,代码如下
# 筛选数据
df.select_dtypes(include="number")
df.select_dtypes(include=["category", "datetime"])
# 排除数据
df.select_dtypes(exclude="object")
推断数据类型
主要调用的是infer_objects()方法,代码如下
df.infer_objects().dtypes
手动进行数据类型的转换
我们手动地进行数据类型的转换,要是遇到不能转换的情况时,errors='coerce'将其换转成NaN,代码如下
# 针对整个数据集都有效
df = df.apply(pd.to_numeric, errors="coerce")
# 将空值用零来填充
pd.to_numeric(df.numeric_column, errors="coerce").fillna(0)
一次性完成数据类型的转换
用到的是astype方法,代码如下
df = df.astype(
{
"date": "datetime64[ns]",
"price": "int",
"is_weekend": "bool",
"status": "category",
}
)
列的操作
重命名
rename()方法进行列的重命名,代码如下
df = df.rename({"PRICE": "price", "Date (mm/dd/yyyy)": "date", "STATUS": "status"}, axis=1)
添加前缀或者是后缀
add_prefix()方法以及add_suffix()方法,代码如下
df.add_prefix("pre_")
df.add_suffix("_suf")
新建一个列
调用的是assign方法,当然除此之外还有其他的方法可供尝试,代码如下
# 摄氏度与华氏度之间的数制转换
df.assign(temp_f=lambda x: x.temp_c * 9 / 5 + 32)
在指定的位置插入新的一列
同样也是用到insert方法,代码如下
random_col = np.random.randint(10, size=len(df))
df.insert(3, 'random_col', random_col) # 在第三列的地方插入
if-else逻辑判断
df["price_high_low"] = np.where(df["price"] > 5, "high", "low")
去掉某些列
调用的是drop()方法,代码如下
df.drop('col1', axis=1, inplace=True)
df = df.drop(['col1','col2'], axis=1)
df.drop(df.columns[0], inplace=True)
字符串的操作
列名的操作
要是我们想要对列名做出一些改变,代码如下
# 对于列名的字符串操作
df.columns = df.columns.str.lower()
df.columns = df.columns.str.replace(' ', '_')
Contains()方法
## 是否包含了某些字符串
df['name'].str.contains("John")
## 里面可以放置正则表达式
df['phone_num'].str.contains('...-...-....', regex=True) # regex
findall()方法
## 正则表达式
pattern = '([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\\.([A-Z]{1,9})'
df['email'].str.findall(pattern, flags=re.IGNORECASE)
缺失值
查看空值的比例
我们要是想要查看在数据集当中空值所占的比例,代码如下
def missing_vals(df):
"""空值所占的百分比"""
missing = [
(df.columns[idx], perc)
for idx, perc in enumerate(df.isna().mean() * 100)
if perc > 0
]
if len(missing) == 0:
return "没有空值数据的存在"
# 排序
missing.sort(key=lambda x: x[1], reverse=True)
print(f"总共有 {len(missing)} 个变量存在空值\n")
for tup in missing:
print(str.ljust(f"{tup[0]:<20} => {round(tup[1], 3)}%", 1))
output
总共有 19 个变量存在空值
PoolQC => 99.521%
MiscFeature => 96.301%
Alley => 93.767%
Fence => 80.753%
FireplaceQu => 47.26%
LotFrontage => 17.74%
GarageType => 5.548%
GarageYrBlt => 5.548%
GarageFinish => 5.548%
GarageQual => 5.548%
GarageCond => 5.548%
BsmtExposure => 2.603%
BsmtFinType2 => 2.603%
BsmtQual => 2.534%
BsmtCond => 2.534%
BsmtFinType1 => 2.534%
MasVnrType => 0.548%
MasVnrArea => 0.548%
Electrical => 0.068%
空值的处理方式
我们可以选择将空值去除掉,或者用平均值或者其他数值来进行填充,代码如下
# 去除掉空值
df.dropna(axis=0)
df.dropna(axis=1)
# 换成其他值来填充
df.fillna(0)
df.fillna(method="ffill")
df.fillna(method='bfill')
# 取代为其他的数值
df.replace( -999, np.nan)
df.replace("?", np.nan)
# 推测其空值应该为其他什么数值
ts.interpolate() # time series
df.interpolate() # fill all consecutive values forward
df.interpolate(limit=1) # fill one consecutive value forward
df.interpolate(limit=1, limit_direction="backward")
df.interpolate(limit_direction="both")
日期格式的数据处理
获取指定时间的数据
# 从今天开始算,之后的N天或者N个礼拜或者N个小时
date.today() + datetime.timedelta(hours=30)
date.today() + datetime.timedelta(days=30)
date.today() + datetime.timedelta(weeks=30)
# 过去的一年
date.today() - datetime.timedelta(days=365)
通过日期时间来获取数据
df[(df["Date"] > "2015-10-01") & (df["Date"] < "2018-01-05")]
通过指定日期来获取数据
# 筛选出某一天的数据
df[df["Date"].dt.strftime("%Y-%m-%d") == "2022-03-05"]
# 筛选出某一个月的数据
df[df["Date"].dt.strftime("%m") == "12"]
# 筛选出每一年的数据
df[df["Date"].dt.strftime("%Y") == "2020"]
将格式化数据集
保留指定位数
对于一些浮点数的数据,我们希望可以保留小数点后的两位或者是三位,代码如下
format_dict = {
"Open": "${:.2f}",
"Close": "${:.2f}",
"Volume": "{:,}",
}
df.style.format(format_dict)
output
高亮显示数据
对于指定的一些数据,我们希望是高亮显示,代码如下
(
df.style.format(format_dict)
.hide_index()
.highlight_min(["Open"], color="blue")
.highlight_max(["Open"], color="red")
.background_gradient(subset="Close", cmap="Greens")
.bar('Volume', color='lightblue', align='zero')
.set_caption('Tesla Stock Prices in 2017')
)
output
- 上一篇:Pandas常用操作汇总
- 下一篇:量化入门课:如何使用duckdb,轻松读取数据
相关推荐
- 2023年最新微信小程序抓包教程(微信小程序 抓包)
-
声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...
- 测试人员必看的软件测试面试文档(软件测试面试怎么说)
-
前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...
- 复活,视频号一键下载,有手就会,长期更新(2023-12-21)
-
视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...
- 新款HTTP代理抓包工具Proxyman(界面美观、功能强大)
-
不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...
- 使用Charles工具对手机进行HTTPS抓包
-
本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...
- 苹果手机下载 TikTok 旧版本安装包教程
-
目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...
- 【0基础学爬虫】爬虫基础之抓包工具的使用
-
大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...
- 防止应用调试分析IP被扫描加固实战教程
-
防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...
- 一文了解 Telerik Test Studio 测试神器
-
1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...
- HLS实战之Wireshark抓包分析(wireshark抓包总结)
-
0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...
- 信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )
-
HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...
- Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口
-
使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...
- python爬虫教程:教你通过 Fiddler 进行手机抓包
-
今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...
- Fiddler入门教程全家桶,建议收藏
-
学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...
- fiddler如何抓取https请求实现手机抓包(100%成功解决)
-
一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...
- 一周热门
-
-
Python实现人事自动打卡,再也不会被批评
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
系统C盘清理:微信PC端文件清理,扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看,轻松搞定虚拟机、Docker、软路由
-
python使用fitz模块提取pdf中的图片
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)