百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Python数据分析之Pandas第二练:十分钟掌握DataFrame运算

liuian 2025-04-09 17:51 17 浏览

背景

在上一篇《Python数据分析之Pandas第一练:十分钟学会创建、查看和选择数据》中,我们练习了Pandas数据对象Series和DataFrame的基础操作,本篇将再用十分钟的时间继续相关运算的练习。

运算

Pandas主要使用值np.nan表示缺失的数据。默认情况下不包含在计算中。这次的练习对象还是使用上篇中生成的df,详细的生成过程可以到上篇文章中回顾。

Bash
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ["E"])
df1
Bash
df1.loc[dates[0] : dates[1], "E"] = 1
df1.dropna(how="any")  # 丢弃所有缺少数据的行
df1.fillna(value=5)  # 填充丢失值
pd.isna(df1)  # 获取nan值的布尔判断结果 

df.mean(0)  # 默认值为0,按列进行统计
df.mean(1)  # 1按行进行统计

当运算对象具有不同的维度并且需要形状一致时,Pandas会自动按照指定的维数进行广播.

s = pd.Series([1, 3, 5, np.nan, 6, 8], index=dates).shift(2)
df.sub(s, axis="index")  # 计算df - s
df.apply(np.cumsum)  # 将NumPy的累加函数应用到df上
df.apply(lambda x: x.max() - x.min())  #  计算最大、最小值之差
s.value_counts()  # 统计每类值的频数

str属性中配备了一些序列数据(Series)的字符串处理方法,使得在数组的每个元素上操作时非常简单。需要注意的是,默认情况下,str中的模式匹配通常使用正则表达式(在某些情况下总是使用它们)。

s = pd.Series(["A", "B", "C", "Aaba", "Baca", np.nan, "CABA", "dog", "cat"])
s.str.lower()  # 将s的值转变为小写,空值不生效

Pandas提供了各种功能,可以在join / merge-type操作的情况下将串联和数据框对象与各种索引和关系代数功能的设置逻辑相结合。

df = pd.DataFrame(np.random.randn(10, 4))
pieces = [df[:3], df[3:7], df[7:]]
pd.concat(pieces)
left = pd.DataFrame({"key": ["foo", "foo"], "lval": [1, 2]})
right = pd.DataFrame({"key": ["foo", "foo"], "rval": [4, 5]})
pd.merge(left, right, on="key")
left1 = pd.DataFrame({"key": ["foo", "bar"], "lval": [1, 2]})
right1 = pd.DataFrame({"key": ["foo", "bar"], "rval": [4, 5]})
pd.merge(left1, right1, on="key")

聚合操作涉及到下面步骤中的一个或者多个内容:

  • 按照条件把数据分成多个组
  • 对每个数据组单独用函数处理
  • 把处理后的数据结果整合到一起
df = pd.DataFrame( 
    { 
         "A": ["foo", "bar", "foo", "bar", "foo", "bar", "foo", "foo"], 
         "B": ["one", "one", "two", "three", "two", "two", "one", "three"], 
         "C": np.random.randn(8), 
         "D": np.random.randn(8) 
    }
    )
df.groupby("A").sum()
df.groupby(["A", "B"]).sum()

熟练使用Excel的伙伴们会觉得这个操作跟透视表如出一辙,确实是这样的。

一起练习吧

以上就是这次练习的主要内容,大家一起练习来吧。如有问题可随时留言交流~~~

相关推荐

如何修改图片拍摄日期?快速修改图片拍摄日期的6种方法

在数字化时代,图像作为信息传递的重要载体,在个人生活记录、新闻传播及商业营销中发挥着不可替代的作用。然而,当面对特定需求时,如隐私保护、编辑优化或时间戳校正等场景,调整图片拍摄时间的需求时常出现。通过...

python教程从基础到精通,第9课—日期与时间

Hello,小伙伴们,祝大家五.一玩得快乐!刚学习完了七大数据类型,今天咱们来学习日期与时间的表示方法。Python标准库中提供了时间和日期的支持:calendar:日历相关;time、datetim...

Python中datetime模块和date类的主要区别是什么?

Python中datetime模块和date类的主要区别如下:一、功能范围差异datetime模块核心功能:提供完整的日期和时间处理能力,包含日期、时间、时间间隔、时区等操作。关键类:datetime...

解密Python时间测量迷雾:高精度计时器time.perf_counter的妙用

当我们在Python中使用time模块进行时间测量时,可能会遇到一些精度不够的问题。具体而言,time.time()返回的是自纪元以来的秒数,但在一些情况下,其精度可能受到系统硬件时钟的限制,无法捕捉...

Python技能:时间管理哪家强?time、datetime、calendar来相会!

大家好,我是钢铁老豆!快到五一了,每年到了这个时间点,就又该吐槽放假调休啦!真心不如不调,心累啊!言归正传,今天我们要聊聊Python是如何操作日期和时间的。0.模块简介在Python中,处理日期和...

python之时间处理

datetime包导入包与模块fromdatetimeimportdatetimeimportdatetime常用函数函数名功能说明now获取当前时间戳用法:now=datetime.n...

软件测试|教你轻松玩转Python日期时间

Python基础之日期时间处理前言:软件测试工作中,有时会需要我们在代码中处理日期以及时间,python内置的datetime模块就可以很好地帮我们处理这个问题。该模块常用的类有:类名功能说明date...

「耗时测试」python time包中的time()和process_time()如何选择?

在统计python代码执行速度时要使用到time包,可以使用time.time()和time.process_time()(注:Python3.8已移除clock()方法,可以使用perf_...

python进阶突破内置模块——日期与时间详解

Python提供了多个内置模块用于处理日期和时间,涵盖了从基础时间操作到时区管理的各种需求。以下是核心模块及其关键功能的详细说明:1.datetime模块datetime是处理日期和时间的核心模块...

python就该这么学:python快速获取系统时间

在python语言中,为了得到一定目的,多数通过调用第三方的库来完成。要获取系统时间需要调用时间相关的库time。通过importtime来引入库。为了方便编码或者防止歧义,也可以通过import...

Python日期和时间

说明Python提供了一个time和calendar模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜(历元)经过了多长时间来表示。pyt...

python内置时间函数time详解

内置函数时间time()1、年:tm_year,月:tm_mon,日:tm_mday,时:tm_hour,分:tm_min,秒:tm_sec,星期:tm_wday(从0开始)2、Time.t...

【Python数据分析系列】将一个时间戳转换为可读的日期和时间格式

这是我的第396篇原创文章。一、引言在Python中可以通过datetime模块来实现。一般来说,时间戳通常是自1970年1月1日(称为“Unix时间”)以来的秒数。以下是一个示例,演示如何将这...

程序员的日常:时间戳和时区的故事

什么是时间戳(timestamp)?它和时区(timezone)又有什么关系?初学者可能一开始很难搞懂时间戳这个概念,就像这期《程序员的日常》漫画中的主人公一样。漫画注释从漫画中举的例子来看,这里的时...

快速掌握Python时间函数的常用知识

我们经常要用到时间,像日志log就要记录时间,什么时候做了什么事情;什么时候调用了哪些过程;什么时候返回了错误等等。时间模块里面的一些方法也是经常会用到的,比如游戏要控制时间,如贪吃蛇的移动时间控制,...