百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

分享几个令人相见恨晚的Pandas函数

liuian 2025-01-10 15:15 16 浏览

作者:俊欣

来源:关于数据分析与可视化

又是新的一周,今天小编给大家来分享几个好用到爆的Pandas函数,或许不那么为人所知,但是相信会给大家在数据分析与挖掘的过程中起到不小的帮助。

创建数据集

首先我们先来创建一个数据集,代码如下

import numpy as np
import pandas as pd
df = pd.DataFrame({
   "date": pd.date_range(start="2021-11-20", periods=100, freq="D"),
   "class": ["A","B","C","D"] * 25,
   "amount": np.random.randint(10, 100, size=100)
})
df.head()

output

To_period

当我们在处理日期数据时,有时候需要提取出月份的数据,有时候我们需要的是季度的数据,这里就可以通过to_period()方法来实现了,代码如下

df["year"] = df["date"].dt.to_period("Y")
df["month"] = df["date"].dt.to_period("M")
df["day"] = df["date"].dt.to_period("D")
df["quarter"] = df["date"].dt.to_period("Q")
df.head()

output

在此基础之上,我们可以进一步对数据进行分析,例如

df["month"].value_counts()

output

我们想要筛选出“2021-12”该时段的数据,代码如下

df[df['month'] == "2021-12"].head()

output

生成假数据

我们在建模、训练模型的时候,需要用到大量的数据集,然鹅很多时候我们会遇到数据量不够的情况,小编之前写过一篇相关的教程,使用Python中的faker模块或者通过一些深度学习的模型来生成假数据

【原创好文】当机器学习遇到数据量不够时,这几个Python技巧为你化解难题

pandas模块中也有一些相关的方法来帮助我们解决数据量不够的问题,代码如下

pd.util.testing.makeDataFrame()

output

默认生成的假数据是30行4列的,当然我们也可以指定生成数据的行数和列数,代码如下

pd.util.testing.makeCustomDataframe(nrows=1000, ncols=5)

output

要是我们希望创建的数据集当中存在的缺失值,调用的则是makeMissingDataframe()方法

pd.util.testing.makeMissingDataframe()

output

要是我们希望创建的数据集包含了整型、浮点型以及时间日期等其他类型的数据,调用的是makeMixedDataFrame()方法

pd.util.testing.makeMixedDataFrame()

output

将数据集导出至压缩包中

众多周知,我们可以轻松地将数据集导出至csv文件、json格式的文件等等,但是有时候我们想要节省存储的资源,例如在文件的传送过程当中,想将其导出至压缩包当中,代码如下

df = pd.util.testing.makeCustomDataframe(nrows=1000, ncols=5)
df.shape

output

(1000, 5)

我们先将其存储成csv格式的文件,看一下文件的大小,结果大概是占到了45KB的存储,代码如下

import os
os.path.getsize("sample.csv")/1024

output

44

要是最后导出至压缩包当中呢,我们看一下文件的大小有多少?代码如下

df.to_csv('sample.csv.gz', compression='gzip')
os.path.getsize('sample.csv.gz')/1024

output

14

结果只占到了13KB的空间大小,大概是前者的三分之一吧,当然pandas还能够直接读取压缩包变成DataFrame数据集,代码如下

df = pd.read_csv('sample.csv.gz', compression='gzip', index_col=0)
df.head()

output

一行代码让Pandas提速

很多时候我们想要通过pandas中的apply()方法将自定义函数或者是一些内部自带的函数应用到DataFrame每一行的数据当中,如果行数非常多的话,处理起来会非常地耗时间,这里使用的是swifter可以自动使apply()方法的运行速度达到最快,并且只需要一行代码即可,例如

import swifter
 
df.swifter.apply(lambda x: x.max() - x.mean())

当然使用前,我们需要先前下载该模块,使用pip命令

pip install swifter

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...