百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Pandas中的宝藏函数(apply)(pandas函数库手册)

liuian 2025-04-06 18:05 34 浏览

来源: AI入门学习

作者:小伍哥

apply()堪称Pandas中最好用的方法,其使用方式跟map()很像,主要传入的主要参数都是接受输入返回输出。

但相较于昨天介绍的map()针对单列Series进行处理,一条apply()语句可以对单列或多列进行运算,覆盖非常多的使用场景。

参考上篇:Pandas中的宝藏函数-map

基本语法:

DataFrame.apply(func, axis=0, raw=False, result_type=None, 
args=(), **kwargs)

参 数:

func : function 应用到每行或每列的函数。

axis :{0 or 'index', 1 or 'columns'}, default 0 函数应用所沿着的轴。

0 or index : 在每一列上应用函数。

1 or columns : 在每一行上应用函数。

raw : bool, default False 确定行或列以Series还是ndarray对象传递。

False : 将每一行或每一列作为一个Series传递给函数。

True : 传递的函数将接收ndarray 对象。如果你只是应用一个 NumPy 还原函数,这将获得更好的性能。

result_type : {'expand', 'reduce', 'broadcast', None}, default None 只有在axis=1列时才会发挥作用。

expand : 列表式的结果将被转化为列。

reduce : 如果可能的话,返回一个Series,而不是展开类似列表的结果。这与 expand 相反。

broadcast : 结果将被广播到 DataFrame 的原始形状,原始索引和列将被保留。

默认行为(None)取决于应用函数的返回值:类似列表的结果将作为这些结果的 Series 返回。但是,如果应用函数返回一个 Series ,这些结果将被扩展为列。

args : tuple 除了数组/序列之外,要传递给函数的位置参数。

**kwds: 作为关键字参数传递给函数的附加关键字参数。

官方:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html

先构造一个数据集

data = pd.DataFrame(
{"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],
"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],
"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}
                     ) 
data
 name gender  age
0   Jack      F   25
1  Alice      M   34
2   Lily      F   49
3  Mshis      F   42
4   Gdli      M   28
5  Agosh      F   23
6   Filu      M   45
7   Mack      M   21
8   Lucy      F   34
9   Pony      F   29

1)单列数据

这里我们参照2.1向apply()中传入lambda函数:

data.gender.apply(lambda x:'女性' if x is 'F' else '男性')
0    女性
1    男性
2    女性
3    女性
4    男性
5    女性
6    男性
7    男性
8    女性
9    女性

可以看到这里实现了跟map()一样的功能。

2)输入多列数据

apply()最特别的地方在于其可以同时处理多列数据,我们先来了解一下如何处理多列数据输入单列数据输出的情况。

譬如这里我们编写一个使用到多列数据的函数用于拼成对于每一行描述性的话,并在apply()用lambda函数传递多个值进编写好的函数中

注意:当调用DataFrame.apply()时,apply()在串行过程中实际处理的是每一行数据,而不是Series.apply()那样每次处理单个值,在处理多个值时要给apply()添加参数axis=1


def fun_all(name, gender, age):
    gender = '女性' if gender is 'F' else '男性'
    return '有个名字叫{}的人,性别为{},年龄为{}。'.format(name, gender, age)




data.apply(lambda row:fun_all(row['name'],row['gender'],row['age']), axis = 1)
0     有个名字叫Jack的人,性别为女性,年龄为25。
1    有个名字叫Alice的人,性别为男性,年龄为34。
2     有个名字叫Lily的人,性别为女性,年龄为49。
3    有个名字叫Mshis的人,性别为女性,年龄为42。
4     有个名字叫Gdli的人,性别为男性,年龄为28。
5    有个名字叫Agosh的人,性别为女性,年龄为23。
6     有个名字叫Filu的人,性别为男性,年龄为45。
7     有个名字叫Mack的人,性别为男性,年龄为21。
8     有个名字叫Lucy的人,性别为女性,年龄为34。
9     有个名字叫Pony的人,性别为女性,年龄为29。
def intro(r):
    #r代指dataframe中的任意行,是series类型数据,拥有类似字典的使用方法。
    return '大家好,我是{name},性别是{gender},今年{age}岁了!'.format(name=r['name'], gender=r['gender'],age=r['age'])


data.apply(intro, axis=1)
Out[81]: 
0     大家好,我是Jack,性别是F,今年25岁了!
1    大家好,我是Alice,性别是M,今年34岁了!
2     大家好,我是Lily,性别是F,今年49岁了!
3    大家好,我是Mshis,性别是F,今年42岁了!
4     大家好,我是Gdli,性别是M,今年28岁了!
5    大家好,我是Agosh,性别是F,今年23岁了!
6     大家好,我是Filu,性别是M,今年45岁了!
7     大家好,我是Mack,性别是M,今年21岁了!
8     大家好,我是Lucy,性别是F,今年34岁了!
9     大家好,我是Pony,性别是F,今年29岁了!
dtype: object


#其实这样写也是可以的,更简单些
def intro(r):
    return '大家好,我是{},性别是{},今年{}岁了!'.format(r['name'], r['gender'],r['age'])




data.apply(intro, axis=1)

3)输出多列数据

有些时候我们利用apply()会遇到希望同时输出多列数据的情况,在apply()中同时输出多列时实际上返回的是一个Series,这个Series中每个元素是与apply()中传入函数的返回值顺序对应的元组。

比如下面我们利用apply()来提取name列中的首字母和剩余部分字母:


data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1)
0     (J, ack)
1    (A, lice)
2     (L, ily)
3    (M, shis)
4     (G, dli)
5    (A, gosh)
6     (F, ilu)
7     (M, ack)
8     (L, ucy)
9     (P, ony)

可以看到,这里返回的是单列结果,每个元素是返回值组成的元组,这时若想直接得到各列分开的结果,需要用到zip(*zipped)来解开元组序列,从而得到分离的多列返回值:


a, b = zip(*data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1))


a
('J', 'A', 'L', 'M', 'G', 'A', 'F', 'M', 'L', 'P')
b
('ack', 'lice', 'ily', 'shis', 'dli', 'gosh', 'ilu', 'ack', 'ucy', 'ony')

4)结合tqdm给apply()过程添加进度条

我们知道apply()在运算时实际上仍然是一行一行遍历的方式,因此在计算量很大时如果有一个进度条来监视运行进度就很舒服。

tqdm:用于添加代码进度条的第三方库

tqdm对pandas也是有着很好的支持。

我们可以使用progress_apply()代替apply(),并在运行progress_apply()之前添加tqdm.tqdm.pandas(desc='')来启动对apply过程的监视。

其中desc参数传入对进度进行说明的字符串,下面我们在上一小部分示例的基础上进行改造来添加进度条功能:


from tqdm import tqdm
def fun_all(name, gender, age):
    gender = '女性' if gender is 'F' else '男性'
    return '有个名字叫{}的人,性别为{},年龄为{}。'.format(name, gender, age)
    
#启动对紧跟着的apply过程的监视
from tqdm import tqdm
tqdm.pandas(desc='apply')
data.progress_apply(lambda row:fun_all(row['name'],row['gender'],
                  row['age']), axis = 1)


apply: 100%|██████████| 10/10 [00:00<00:00, 5011.71it/s]


0     有个名字叫Jack的人,性别为女性,年龄为25。
1    有个名字叫Alice的人,性别为男性,年龄为34。
2     有个名字叫Lily的人,性别为女性,年龄为49。
3    有个名字叫Mshis的人,性别为女性,年龄为42。
4     有个名字叫Gdli的人,性别为男性,年龄为28。
5    有个名字叫Agosh的人,性别为女性,年龄为23。
6     有个名字叫Filu的人,性别为男性,年龄为45。
7     有个名字叫Mack的人,性别为男性,年龄为21。
8     有个名字叫Lucy的人,性别为女性,年龄为34。
9     有个名字叫Pony的人,性别为女性,年龄为2

可以看到在jupyter lab中运行程序的过程中,下方出现了监视过程的进度条,这样就可以实时了解apply过程跑到什么地方了。

结合tqdm_notebook()给apply()过程添加美观进度条,熟悉tqdm的朋友都知道其针对jupyter notebook开发了ui更加美观的tqdm_notebook()。而要想在jupyter notebook/jupyter lab平台上为pandas的apply过程添加美观进度条,可以参照如下示例:

import pandas as pd




data = pd.DataFrame(
{"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],
"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],
"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}
                     )




def fun_all(name, gender, age):
    gender == '女性' if gender == 'F' else '男性'
    return '有个名字叫{}的人,性别为{},年龄为{}。'.format(name, gender, age)
    
    
from tqdm._tqdm_notebook import tqdm_notebook
 
tqdm_notebook.pandas(desc='apply')




data.progress_apply(lambda row:fun_all(row['name'],row['gender'],
                  row['age']), axis = 1)


相关推荐

搭建一个20人的办公网络(适用于20多人的小型办公网络环境)

楼主有5台机上网,则需要一个8口路由器,组网方法如下:设备:1、8口路由器一台,其中8口为LAN(局域网)端口,一个WAN(广域网)端口,价格100--400元2、网线N米,这个你自己会看了:)...

笔记本电脑各种参数介绍(笔记本电脑各项参数新手普及知识)

1、CPU:这个主要取决于频率和二级缓存,频率越高、二级缓存越大,速度越快,现在的CPU有三级缓存、四级缓存等,都影响相应速度。2、内存:内存的存取速度取决于接口、颗粒数量多少与储存大小,一般来说,内...

汉字上面带拼音输入法下载(字上面带拼音的输入法是哪个)

使用手机上的拼音输入法打成汉字的方法如下:1.打开手机上的拼音输入法,在输入框中输入汉字的拼音,例如“nihao”。2.根据输入法提示的候选词,选择正确的汉字。例如,如果输入“nihao”,输...

xpsp3安装版系统下载(windowsxpsp3安装教程)

xpsp3纯净版在采用微软封装部署技术的基础上,结合作者的实际工作经验,融合了许多实用的功能。它通过一键分区、一键装系统、自动装驱动、一键设定分辨率,一键填IP,一键Ghost备份(恢复)等一系列...

没有备份的手机数据怎么恢复

手机没有备份恢复数据方法如下1、使用数据线将手机与电脑连接好,在“我的电脑”中可以看到手机的盘符。  2、将手机开启USB调试模式。在手机设置中找到开发者选项,然后点击“开启USB调试模式”。  3、...

电脑怎么激活windows11专业版

win11专业版激活方法有多种,以下提供两种常用的激活方式:方法一:使用激活密钥激活。在win11桌面上右键点击“此电脑”,选择“属性”选项。进入属性页面后,点击“更改产品密钥或升级windows”。...

华为手机助手下载官网(华为手机助手app下载专区)

华为手机助手策略调整,已不支持从应用市场下载手机助手,目前华为手机助手是需要在电脑上下载或更新手机助手到最新版本,https://consumer.huawei.com/cn/support/his...

光纤线断了怎么接(宽带光纤线断了怎么接)

宽带光纤线断了可以重接,具体操作方法如下:1、光纤连接的时候要根据束管内,同色相连,同芯相连,按顺序进行连接,由大到小。一般有三种连接方法,分别是熔接、活动连接和机械连接。2、连接的时候要开剥光缆,抛...

深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
win7旗舰版和专业版区别(win7旗舰版跟专业版)

1、功能区别:Win7旗舰版比专业版多了三个功能,分别是Bitlocker、BitlockerToGo和多语言界面; 2、用途区别:旗舰版的功能是所有版本中最全最强大的,占用的系统资源,...

万能连接钥匙(万能wifi连接钥匙下载)

1、首先打开wifi万能钥匙软件,若手机没有开启WLAN,就根据软件提示打开WLAN开关;2、打开WLAN开关后,会显示附近的WiFi,如果知道密码,可点击相应WiFi后点击‘输入密码’连接;3、若不...

雨林木风音乐叫什么(雨林木风是啥)

雨林木风的创始人是陈年鑫先生。陈年鑫先生于1999年创立了雨林木风公司,其初衷是为满足中国市场对高品质、高性能电脑的需求。在陈年鑫先生的领导下,雨林木风以技术创新、产品质量和客户服务为核心价值,不断推...

aics6序列号永久序列号(aics6破解序列号)

关于AICS6这个版本,虽然是比较久远的版本,但是在功能上也是十分全面和强大的,作为一名平面设计师的话,AICS6的现有的功能已经能够应付几乎所有的设计工作了……到底AICC2019的功能是不是...

win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
手机可以装电脑系统吗(手机可以装电脑系统吗怎么装)

答题公式1:手机可以通过数据线或无线连接的方式给电脑装系统。手机安装系统需要一定的技巧和软件支持,一般需要通过数据线或无线连接的方式与电脑连接,并下载相应的软件和系统文件进行安装。对于大部分手机用户来...