实战Pandas 按时间区间分组处理数据

liuian 2025-05-14 14:50 5 浏览

客户EXCEL表，里面都包含时间及其它数据，见下图：

要求以24秒为一组对后面数据进行求平均，分组信息见下图：

分析：时间没有规则，不能恰好按24秒进行分组，只能小于等于24秒，可以使用 Pandas 的 pd.to_timedelta 函数将时间字符串转换为 timedelta 类型，然后使用 pd.cut 函数对时间进行分组。

#数据读取
df =pd.read_excel("20171124.xlsx")
#查看类型
df.dtypes

# 将时间字符串转换为 timedelta 类型
df['Time'] = df['主要信息时间'].apply(lambda x: datetime.strptime(str(x), '%H:%M:%S').time())
df['Time'] = df['Time'].apply(lambda x: timedelta(hours=x.hour, minutes=x.minute, seconds=x.second))

# 对时间进行分组，每 24 秒一个分组
time_bins = pd.timedelta_range(start='0 days', end='23:59:57',freq='24S')
df['Time_Group'] = pd.cut(df['Time'], bins=time_bins)

# 对分组后的数据进行聚合，计算每个时间段内的值之和
result = df.groupby('Time_Group').mean().reset_index()

全部代码：

import pandas as pd
from datetime import datetime, time, timedelta
import os

#获取文件了列表
f_lst=os.listdir(os.getcwd()+"/data")
f_lst

#遍历文件
for i in f_lst:
    #数据读取
    df =pd.read_excel(os.getcwd()+"/data/"+i)
    # 将时间字符串转换为 timedelta 类型
    df['Time'] = df['主要信息时间'].apply(lambda x: datetime.strptime(str(x), '%H:%M:%S').time())
    df['Time'] = df['Time'].apply(lambda x: timedelta(hours=x.hour, minutes=x.minute, seconds=x.second))
    # 对时间进行分组，每 24 秒一个分组
    time_bins = pd.timedelta_range(start='0 days', end='23:59:57',freq='24S')
    df['Time_Group'] = pd.cut(df['Time'], bins=time_bins)
    # 对分组后的数据进行聚合，计算每个时间段内的值之和
    result = df.groupby('Time_Group').mean().reset_index()
    result.to_excel(os.getcwd()+"/output/"+i)

遍历原文件逐个处理后保存到新文件夹，中间试了很多办法，感觉这个方法效率最高，欢迎大家批评指正优化，谢谢！

pandas 数据类型转换

上一篇：Python能做出BI软件的联动图表效果?这可能是目前唯一的选择
下一篇：一场pandas与SQL的巅峰大战(五)

实战Pandas 按时间区间分组处理数据

相关推荐

Python实现人事自动打卡，再也不会被批评

Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控

一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案

【验证码逆向专栏】vaptcha 手势验证码逆向分析

再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香

网页转成pdf文件的经验分享网页转成pdf文件的经验分享怎么弄

C++ std::vector 简介

python使用fitz模块提取pdf中的图片

《人人译客》如何规划你的移动电商网站(2)

Jupyterhub安装教程 jupyter怎么安装包

实战Pandas 按时间区间分组处理数据

相关推荐

Python实现人事自动打卡，再也不会被批评

Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控

一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案

【验证码逆向专栏】vaptcha 手势验证码逆向分析

再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香

网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄

C++ std::vector 简介

python使用fitz模块提取pdf中的图片

《人人译客》如何规划你的移动电商网站(2)

Jupyterhub安装教程 jupyter怎么安装包

网页转成pdf文件的经验分享网页转成pdf文件的经验分享怎么弄