百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

实战Pandas 按时间区间分组处理数据

liuian 2025-05-14 14:50 47 浏览

客户EXCEL表，里面都包含时间及其它数据，见下图：

要求以24秒为一组对后面数据进行求平均，分组信息见下图：

分析：时间没有规则，不能恰好按24秒进行分组，只能小于等于24秒，可以使用 Pandas 的 pd.to_timedelta 函数将时间字符串转换为 timedelta 类型，然后使用 pd.cut 函数对时间进行分组。

#数据读取
df =pd.read_excel("20171124.xlsx")
#查看类型
df.dtypes
# 将时间字符串转换为 timedelta 类型
df['Time'] = df['主要信息时间'].apply(lambda x: datetime.strptime(str(x), '%H:%M:%S').time())
df['Time'] = df['Time'].apply(lambda x: timedelta(hours=x.hour, minutes=x.minute, seconds=x.second))
# 对时间进行分组，每 24 秒一个分组
time_bins = pd.timedelta_range(start='0 days', end='23:59:57',freq='24S')
df['Time_Group'] = pd.cut(df['Time'], bins=time_bins)
# 对分组后的数据进行聚合，计算每个时间段内的值之和
result = df.groupby('Time_Group').mean().reset_index()

全部代码：

import pandas as pd
from datetime import datetime, time, timedelta
import os

#获取文件了列表
f_lst=os.listdir(os.getcwd()+"/data")
f_lst

#遍历文件
for i in f_lst:
    #数据读取
    df =pd.read_excel(os.getcwd()+"/data/"+i)
    # 将时间字符串转换为 timedelta 类型
    df['Time'] = df['主要信息时间'].apply(lambda x: datetime.strptime(str(x), '%H:%M:%S').time())
    df['Time'] = df['Time'].apply(lambda x: timedelta(hours=x.hour, minutes=x.minute, seconds=x.second))
    # 对时间进行分组，每 24 秒一个分组
    time_bins = pd.timedelta_range(start='0 days', end='23:59:57',freq='24S')
    df['Time_Group'] = pd.cut(df['Time'], bins=time_bins)
    # 对分组后的数据进行聚合，计算每个时间段内的值之和
    result = df.groupby('Time_Group').mean().reset_index()
    result.to_excel(os.getcwd()+"/output/"+i)

遍历原文件逐个处理后保存到新文件夹，中间试了很多办法，感觉这个方法效率最高，欢迎大家批评指正优化，谢谢！

相关推荐

Python 中 必须掌握的 20 个核心函数——items()函数

items()是Python字典对象的方法，用于返回字典中所有键值对的视图对象。它提供了对字典完整内容的高效访问和操作。一、items()的基本用法1.1方法签名dict.items()返回：字典键...

Python字典:键值对的艺术_python字典的用法

字典(dict)是Python的核心数据结构之一，与列表同属可变序列，但采用完全不同的存储方式：定义方式：使用花括号{}（列表使用方括号[]）存储结构：以键值对(key-valuepair)...

python字典中如何添加键值对_python怎么往字典里添加键

添加键值对首先定义一个空字典1>>>dic={}直接对字典中不存在的key进行赋值来添加123>>>dic['name']='zhangsan'>>...

Spring Boot @ConfigurationProperties 详解与 Nacos 配置中心集成

本文将深入探讨SpringBoot中@ConfigurationProperties的详细用法，包括其语法细节、类型转换、复合类型处理、数据校验，以及与Nacos配置中心的集成方式。通过...

Dubbo概述_dubbo工作原理和机制

什么是RPCRPC是RemoteProcedureCall的缩写翻译为:远程过程调用目标是为了实现两台(多台)计算机\服务器,互相调用方法\通信的解决方案RPC的概念主要定义了两部分内容序列化协...

再见 Feign!推荐一款微服务间调用神器，跟 SpringCloud 绝配

在微服务项目中，如果我们想实现服务间调用，一般会选择Feign。之前介绍过一款HTTP客户端工具Retrofit，配合SpringBoot非常好用！其实Retrofit不仅支持普通的HTTP调用，还能...

SpringGateway 网关_spring 网关的作用

奈非框架简介早期(2020年前)奈非提供的微服务组件和框架受到了很多开发者的欢迎这些框架和SpringCloudAlibaba的对应关系我们要知道Nacos对应Eureka都是注册中心Dubbo...

Sentinel 限流详解-Sentinel与OpenFeign服务熔断那些事

SentinelResource我们使用到过这个注解，我们需要了解的是其中两个属性：value：资源名称，必填且唯一。@SentinelResource(value="test/get&#...

超详细MPLS学习指南 手把手带你实现IP与二层网络的无缝融合

大家晚上好，我是小老虎，今天的文章有点长，但是都是干货，耐心看下去，不会让你失望的哦！随着ASIC技术的发展，路由查找速度已经不是阻碍网络发展的瓶颈。这使得MPLS在提高转发速度方面不再具备明显的优势...

Cisco 尝试配置MPLS-V.P.N从开始到放弃

本人第一次接触这个协议，所以打算分两篇进行学习和记录，本文枯燥预警，配置命令在下一篇全为定义，其也是算我毕业设计的一个小挑战。新概念重点备注为什么选择该协议IPSecVPN都属于传统VPN传统VP...

MFC -- 网络通信编程_mfc编程教程

要买东西的时候，店家常常说，你要是真心买的，还能给你便宜，你看真心就是不怎么值钱。。。----网易云热评一、创建服务端1、新建一个控制台应用程序，添加源文件server2、添加代码框架#includ...

35W快充?2TB存储?iPhone14爆料汇总，不要再漫天吹15了

iPhone14都还没发布，关于iPhone15的消息却已经漫天飞，故加紧整理了关于iPhone14目前已爆出的消息。本文将从机型、刘海、屏幕、存储、芯片、拍照、信号、机身材质、充电口、快充、配色、价...

SpringCloud Alibaba(四) - Nacos 配置中心

1、环境搭建1.1依赖<!--nacos注册中心注解@EnableDiscoveryClient--><dependency><groupI...

Nacos注册中心最全详解(图文全面总结)

Nacos注册中心是微服务的核心组件，也是大厂经常考察的内容，下面我就重点来详解Nacos注册中心@mikechen本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。微服务注册中...

网络技术领域端口号备忘录，受益匪浅 !

你好，这里是网络技术联盟站，我是瑞哥。网络端口是计算机网络中用于区分不同应用程序和服务的标识符。每个端口号都是一个16位的数字，范围从0到65535。网络端口的主要功能是帮助网络设备（如计算机和服务器...

一周热门
最近发表
标签列表