百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Python数据分析之Pandas第二练:十分钟掌握DataFrame运算

liuian 2025-04-09 17:51 20 浏览

背景

在上一篇《Python数据分析之Pandas第一练:十分钟学会创建、查看和选择数据》中,我们练习了Pandas数据对象Series和DataFrame的基础操作,本篇将再用十分钟的时间继续相关运算的练习。

运算

Pandas主要使用值np.nan表示缺失的数据。默认情况下不包含在计算中。这次的练习对象还是使用上篇中生成的df,详细的生成过程可以到上篇文章中回顾。

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ["E"])
df1
df1.loc[dates[0] : dates[1], "E"] = 1
df1.dropna(how="any")  # 丢弃所有缺少数据的行
df1.fillna(value=5)  # 填充丢失值
pd.isna(df1)  # 获取nan值的布尔判断结果 

df.mean(0)  # 默认值为0,按列进行统计
df.mean(1)  # 1按行进行统计

当运算对象具有不同的维度并且需要形状一致时,Pandas会自动按照指定的维数进行广播.

s = pd.Series([1, 3, 5, np.nan, 6, 8], index=dates).shift(2)
df.sub(s, axis="index")  # 计算df - s
df.apply(np.cumsum)  # 将NumPy的累加函数应用到df上
df.apply(lambda x: x.max() - x.min())  #  计算最大、最小值之差
s.value_counts()  # 统计每类值的频数

str属性中配备了一些序列数据(Series)的字符串处理方法,使得在数组的每个元素上操作时非常简单。需要注意的是,默认情况下,str中的模式匹配通常使用正则表达式(在某些情况下总是使用它们)。

s = pd.Series(["A", "B", "C", "Aaba", "Baca", np.nan, "CABA", "dog", "cat"])
s.str.lower()  # 将s的值转变为小写,空值不生效

Pandas提供了各种功能,可以在join / merge-type操作的情况下将串联和数据框对象与各种索引和关系代数功能的设置逻辑相结合。

df = pd.DataFrame(np.random.randn(10, 4))
pieces = [df[:3], df[3:7], df[7:]]
pd.concat(pieces)
left = pd.DataFrame({"key": ["foo", "foo"], "lval": [1, 2]})
right = pd.DataFrame({"key": ["foo", "foo"], "rval": [4, 5]})
pd.merge(left, right, on="key")
left1 = pd.DataFrame({"key": ["foo", "bar"], "lval": [1, 2]})
right1 = pd.DataFrame({"key": ["foo", "bar"], "rval": [4, 5]})
pd.merge(left1, right1, on="key")

聚合操作涉及到下面步骤中的一个或者多个内容:

  • 按照条件把数据分成多个组
  • 对每个数据组单独用函数处理
  • 把处理后的数据结果整合到一起
df = pd.DataFrame( 
    { 
         "A": ["foo", "bar", "foo", "bar", "foo", "bar", "foo", "foo"], 
         "B": ["one", "one", "two", "three", "two", "two", "one", "three"], 
         "C": np.random.randn(8), 
         "D": np.random.randn(8) 
    }
    )
df.groupby("A").sum()
df.groupby(["A", "B"]).sum()

熟练使用Excel的伙伴们会觉得这个操作跟透视表如出一辙,确实是这样的。

一起练习吧

以上就是这次练习的主要内容,大家一起练习来吧。如有问题可随时留言交流~~~

相关推荐

Optional是个好东西,如果用错了就太可惜了

原文出处:https://xie.infoq.cn/article/e3d1f0f4f095397c44812a5be我们都知道,在Java8新增了一个类-Optional,主要是用来解决程...

IDEA建议:不要在字段上使用@Autowire了!

在使用IDEA写Spring相关的项目的时候,在字段上使用@Autowired注解时,总是会有一个波浪线提示:Fieldinjectionisnotrecommended.纳尼?我天天用,咋...

Spring源码|Spring实例Bean的方法

Spring实例Bean的方法,在AbstractAutowireCapableBeanFactory中的protectedBeanWrappercreateBeanInstance(String...

Spring技巧:深入研究Java 14和SpringBoot

在本期文章中,我们将介绍Java14中的新特性及其在构建基于SpringBoot的应用程序中的应用。开始,我们需要使用Java的最新版本,也是最棒的版本,Java14,它现在还没有发布。预计将于2...

Java开发200+个学习知识路线-史上最全(框架篇)

1.Spring框架深入SpringIOC容器:BeanFactory与ApplicationContextBean生命周期:实例化、属性填充、初始化、销毁依赖注入方式:构造器注入、Setter注...

年末将至,Java 开发者必须了解的 15 个Java 顶级开源项目

专注于Java领域优质技术,欢迎关注作者:SnailClimbStar的数量统计于2019-12-29。1.JavaGuideGuide哥大三开始维护的,目前算是纯Java类型项目中Sta...

字节跨平台框架 Lynx 开源:一个 Web 开发者的原生体验

最近各大厂都在开源自己的跨平台框架,前脚腾讯刚宣布计划四月开源基于Kotlin的跨平台框架「Kuikly」,后脚字节跳动旧开源了他们的跨平台框架「Lynx」,如果说Kuikly是一个面向...

我要狠狠的反驳“公司禁止使用Lombok”的观点

经常在其它各个地方在说公司禁止使用Lombok,我一直不明白为什么不让用,今天看到一篇文章列举了一下“缺点”,这里我只想狠狠地反驳,看到列举的理由我竟无言以对。原文如下:下面,结合我自己使用Lomb...

SpringBoot Lombok使用详解:从入门到精通(注解最全)

一、Lombok概述与基础使用1.1Lombok是什么Lombok是一个Java库,它通过注解的方式自动生成Java代码(如getter、setter、toString等),从而减少样板代码的编写,...

Java 8之后的那些新特性(六):记录类 Record Class

Java是一门面向对象的语言,而对于面向对象的语言中,一个众所周知的概念就是,对象是包含属性与行为的。比如HR系统中都会有雇员的概念,那雇员会有姓名,ID身份,性别等,这些我们称之为属性;而雇员同时肯...

为什么大厂要求安卓开发者掌握Kotlin和Jetpack?优雅草卓伊凡

为什么大厂要求安卓开发者掌握Kotlin和Jetpack?深度解析现代Android开发生态优雅草卓伊凡一、Kotlin:Android开发的现代语言选择1.1Kotlin是什么?Kotlin是由...

Kotlin这5招太绝了!码农秒变优雅艺术家!

Kotlin因其简洁性、空安全性和与Java的无缝互操作性而备受喜爱。虽然许多开发者熟悉协程、扩展函数和数据类等特性,但还有一些鲜为人知的特性可以让你的代码从仅仅能用变得真正优雅且异常简洁。让我们来看...

自行部署一款免费高颜值的IT资产管理系统-咖啡壶chemex

在运维时,ICT资产太多怎么办,还是用excel表格来管理?效率太低,也不好多人使用。在几个IT资产管理系统中选择比较中,最终在Snipe-IT和chemex间选择了chemex咖啡壶。Snip...

PHP对接百度语音识别技术(php对接百度语音识别技术实验报告)

引言在目前的各种应用场景中,语音识别技术已经越来越常用,并且其应用场景正在不断扩大。百度提供的语音识别服务允许用户通过简单的接口调用,将语音内容转换为文本。本文将通过PHP语言集成百度的语音识别服务,...

知识付费系统功能全解析(知识付费项目怎么样)

开发知识付费系统需包含核心功能模块,确保内容变现、用户体验及运营管理需求。以下是完整功能架构:一、用户端功能注册登录:手机号/邮箱注册,第三方登录(微信、QQ)内容浏览:分类展示课程、文章、音频等付费...