实战Pandas 按时间区间分组处理数据

liuian 2025-05-14 14:50 55 浏览

客户EXCEL表，里面都包含时间及其它数据，见下图：

要求以24秒为一组对后面数据进行求平均，分组信息见下图：

分析：时间没有规则，不能恰好按24秒进行分组，只能小于等于24秒，可以使用 Pandas 的 pd.to_timedelta 函数将时间字符串转换为 timedelta 类型，然后使用 pd.cut 函数对时间进行分组。

#数据读取
df =pd.read_excel("20171124.xlsx")
#查看类型
df.dtypes

# 将时间字符串转换为 timedelta 类型
df['Time'] = df['主要信息时间'].apply(lambda x: datetime.strptime(str(x), '%H:%M:%S').time())
df['Time'] = df['Time'].apply(lambda x: timedelta(hours=x.hour, minutes=x.minute, seconds=x.second))

# 对时间进行分组，每 24 秒一个分组
time_bins = pd.timedelta_range(start='0 days', end='23:59:57',freq='24S')
df['Time_Group'] = pd.cut(df['Time'], bins=time_bins)

# 对分组后的数据进行聚合，计算每个时间段内的值之和
result = df.groupby('Time_Group').mean().reset_index()

全部代码：

import pandas as pd
from datetime import datetime, time, timedelta
import os

#获取文件了列表
f_lst=os.listdir(os.getcwd()+"/data")
f_lst

#遍历文件
for i in f_lst:
    #数据读取
    df =pd.read_excel(os.getcwd()+"/data/"+i)
    # 将时间字符串转换为 timedelta 类型
    df['Time'] = df['主要信息时间'].apply(lambda x: datetime.strptime(str(x), '%H:%M:%S').time())
    df['Time'] = df['Time'].apply(lambda x: timedelta(hours=x.hour, minutes=x.minute, seconds=x.second))
    # 对时间进行分组，每 24 秒一个分组
    time_bins = pd.timedelta_range(start='0 days', end='23:59:57',freq='24S')
    df['Time_Group'] = pd.cut(df['Time'], bins=time_bins)
    # 对分组后的数据进行聚合，计算每个时间段内的值之和
    result = df.groupby('Time_Group').mean().reset_index()
    result.to_excel(os.getcwd()+"/output/"+i)

遍历原文件逐个处理后保存到新文件夹，中间试了很多办法，感觉这个方法效率最高，欢迎大家批评指正优化，谢谢！

pandas 数据类型转换

上一篇：Python能做出BI软件的联动图表效果?这可能是目前唯一的选择
下一篇：一场pandas与SQL的巅峰大战(五)

实战Pandas 按时间区间分组处理数据

相关推荐

飞牛OS入门安装遇到问题，如何解决?

C++ std::vector 简介

系统C盘清理:微信PC端文件清理，扩大C盘可用空间步骤

如何在 iPhone 和 Android 上恢复已删除的抖音消息

大模型手册: 保姆级用CherryStudio知识库

Boost高性能并发无锁队列指南:boost::lockfree::queue

西门子博途中如何输入读取和编辑date and time变量

我的Excel打开后是一堆乱码，如何解决?

用什么工具在Win中查看8G大的log文件?

威联通NAS安装阿里云盘WebDAV服务并添加到Infuse