百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Python自动化:批量处理Excel,按要求筛选出数据并存到新表

liuian 2025-01-10 15:14 30 浏览

摘要: 你是否曾被重复的数据筛选工作折磨得筋疲力尽。现在,借助Python自动化工具,仅需几秒钟就能完成原本需要上千分钟的工作量,彻底告别了枯燥与低效!


引言

在仓库管理这个看似平凡却又充满挑战的岗位上,微信公众号粉丝小李担任着仓库主管的角色。每月,他都要执行一项看似简单却极其繁琐的任务:从过去几年的每月物品领用表中筛选出老板需要的数据,比如:领用数量大于1000的物品信息。这不仅是一项重复性极高的工作,而且手工操作一次表格就需要几分钟,每年的数据表都是按月存储的,操作一年的数据表就需要重复操作12次,而十年的数据就需要重复120次,耗费的时间累积起来高达上千分钟。

1.小李的挑战

小李在后台留言中描述了他的困境:“每年的数据表我都需要重复操作12次,十年的数据就是120次。这不仅让我感到疲惫,而且效率极低,手工操作一次表格就需要几分钟,累计起来就是上千分钟。”

2.传统方法的局限

在没有自动化工具辅助的情况下,小李的工作流程是这样的:

  • 打开每个Excel文件,逐月查找领用数量。
  • 手动筛选出领用数量大于1000的物品信息。
  • 复制这些信息并粘贴到新的Excel表中。
  • 保存并关闭每个文件,然后重复这个过程。

这个过程不仅耗时,而且容易出错,特别是当数据量庞大时,小李需要保持高度的专注力以避免遗漏或错误。

3.Python自动化的解决方案

我们为小李提供了一个Python脚本,这个脚本能够自动按条件筛选数据并保存到新的Excel里。使用pandas库,我们可以快速读取、筛选并合并数据。

import os
from openpyxl import load_workbook
import pandas as pd
from openpyxl.styles import Border, Side, PatternFill, Font, GradientFill, Alignment




def extract_and_select_data(folder_path, dest_dir):


    try:
        for filename in os.listdir(folder_path):
            if filename.endswith('.xlsx'):
                src = os.path.join(folder_path, filename)
                os.makedirs(dest_dir, exist_ok=True)
                dest_file = os.path.join(dest_dir, filename)
                wb = load_workbook(src)
                data = {}  # 储存所有工作表中满足条件的数据,以工作表名称为键
                sheet_names = wb.sheetnames
                for sheet_name in sheet_names:
                    ws = wb[sheet_name]
                    qty_list = []
                    # 获取G列的数据,并用enumrate给其对应的元素编号
                    for row in range(2, ws.max_row+1):
                        qty = ws['G'+str(row)].value
                        qty_list.append(qty)


                    qty_idx = list(enumerate(qty_list))  # 用于编号


                    # 判断数据是否大于1000,然后返回大于1000的数据所对应的行数
                    row_idx = []  # 用于储存数量大于1000所对应的的行号
                    for i in range(len(qty_idx)):
                        if qty_idx[i][1] > 1000:
                            row_idx.append(qty_idx[i][0]+2)


                    # 获取满足条件的数据
                    data_morethan1K = []
                    for i in row_idx:
                        data_morethan1K.append(
                            ws['A'+str(i)+":"+'I'+str(i)])


                    data[sheet_name] = data_morethan1K
                    thin = Side(border_style="thin",
                                color="000000")  # 定义边框粗细及颜色


                wb = load_workbook("模板.xlsx")
                ws = wb.active
                for month in data.keys():
                    ws_new = wb.copy_worksheet(ws)  # 复制模板中的工作表
                    ws_new.title = month
                    # 将每个月的数据条数逐个取出并写入新的工作表
                    # 按数据行数计数,每行数据对应9列,所以每行需分别写入9个单元格
                    for i in range(len(data[month])):
                        ws_new.cell(
                            row=i+2, column=1).value = data[month][i][0][0].value
                        ws_new.cell(
                            row=i+2, column=2).value = data[month][i][0][1].value
                        ws_new.cell(
                            row=i+2, column=3).value = data[month][i][0][2].value
                        ws_new.cell(
                            row=i+2, column=4).value = data[month][i][0][3].value.date()
                        ws_new.cell(
                            row=i+2, column=5).value = data[month][i][0][4].value
                        ws_new.cell(
                            row=i+2, column=6).value = data[month][i][0][5].value
                        ws_new.cell(
                            row=i+2, column=7).value = data[month][i][0][6].value
                        ws_new.cell(
                            row=i+2, column=8).value = data[month][i][0][7].value
                        ws_new.cell(
                            row=i+2, column=9).value = data[month][i][0][8].value


                    # 设置字号,对齐,缩小字体填充,加边框
                    # Font(bold=True)可加粗字体


                    for row_number in range(2, ws_new.max_row+1):
                        for col_number in range(1, 10):
                            c = ws_new.cell(
                                row=row_number, column=col_number)
                            c.font = Font(size=10)
                            c.border = Border(
                                top=thin, left=thin, right=thin, bottom=thin)
                            c.alignment = Alignment(
                                horizontal="left", vertical="center", shrink_to_fit=True)
                wb.save(dest_file)
    except Exception as e:
        print(e)




if __name__ == "__main__":
    import time
    s_t = time.time()
    extract_and_select_data("data", "历年领料数量大于1K")
    e_t = time.time()
    print(f"用时{e_t-s_t}s")

4.效果展示

通过上述脚本,小李现在可以在20秒钟内完成之前需要上千分钟的工作。这个自动化工具不仅提高了效率,还减少了因手动操作导致的错误。更重要的是,它让小李能够将更多的时间和精力投入到更有创造性和战略性的工作上。

结语

Python自动化不仅仅是编程技巧的展示,更是一种工作方式的革新。它能够帮助我们从重复性劳动中解放出来,让我们有更多时间去做更有创造性的工作。小李的故事证明了自动化的力量,希望他的经历能够激励更多的人去探索和利用Python自动化办公的无限可能。


如果你也像小李一样,面临着重复性工作的苦恼,或者对Python脚本的编写有任何疑问,欢迎在评论区留言,我们将为你提供一对一的技术支持!


本文为原创技术文章,转载请标明出处。如果你喜欢本文,别忘了点赞、转发和关注我们的公众号,获取更多技术干货!



数海丹心

大数据和人工智能知识分享与应用

132篇原创内容

公众号



相关推荐

Python中的列表详解及示例_python列表讲解

艾瑞巴蒂干货来了,数据列表,骚话没有直接来吧列表(List)是Python中最基本、最常用的数据结构之一,它是一个有序的可变集合,可以包含任意类型的元素。列表的基本特性有序集合:元素按插入顺序存储可变...

PowerShell一次性替换多个文件的名称

告别繁琐的文件重命名,使用PowerShell语言批量修改文件夹中的文件名,让您轻松完成重命名任务在日常工作中,我们经常需要对大量文件进行重命名,以便更好地管理和组织。之前,我们曾介绍过使用Pytho...

小白必看!Python 六大数据类型增删改查秘籍,附超详细代码解析

在Python中,数据类型可分为可变类型(如列表、字典、集合)和不可变类型(如字符串、元组、数值)。下面针对不同数据类型详细讲解其增删改查操作,并给出代码示例、输出结果及分析总结。1.列表(Li...

python数据容器之列表、元组、字符串

数据容器分为5类,分别是:列表(list)、元组(tuple)、字符串(str)、集合(set)、字典(dict)list#字面量[元素1,元素2,元素3,……]#定义变量变量名称=[元素1,元素...

python列表(List)必会的13个核心技巧(附实用方法)

列表(List)是Python入门的关键步骤,因为它是编程中最常用的数据结构之一。以下是高效掌握列表的核心技巧和实用方法:一、理解列表的本质可变有序集合:可随时修改内容,保持元素顺序混合类型:一个列表...

如何利用python批量修改文件名_python如何对文件进行批量命名

很多语言都可以做到批量修改文件名,今天我就给大家接受一下Python的方法,首选上需求。图片中有10个txt文件,现在我需要在这些文件名的前面全部加一个“学生”,可以吗?见证奇迹的时刻到了。我是怎么做...

Python中使用re模块实现正则表达式的替换字符串操作

#编程语言#我是"学海无涯自学不惜!",关注我,一同学习简单易懂的Python编程。0基础学python(83)Python中,导入re模块后还可以进行字符串的替换操作,就是sub()...

python列表十大常见问题,你遇到第几个?

Python列表常见问题及解决方案1.修改列表时的常见陷阱问题:在遍历时修改列表#错误做法:在遍历时删除元素会导致意外结果numbers=[1,2,3,4,5,6]forn...

python入门007:编辑列表_python列表怎么写入文件

一、列表的编辑操作列表创建后,随着程序的运行,可以通过对列表元素的增删改操作来编辑列表。1、修改列表元素的值修改列表元素的操作方法与访问列表元素的方法类似。例如,要修改列表元素的值,先指定列表及元素...

Python教程:在python中修改元组详解

欢迎你来到站长在线的站长学堂学习Python知识,本文学习的是《在Python中修改元组详解》。本知识点主要内容有:在Python中直接使用赋值运算符“=”给元组重新赋值、在Python中使用加赋值运...

Python列表(List)一文全掌握:核心知识点+20实战练习题

Python列表(List)知识点教程一、列表的定义与特性定义:列表是可变的有序集合,用方括号[]定义,元素用逗号分隔。list1=[1,"apple",3.14]lis...

Python教程-列表复制_python对列表进行复制

作为软件开发者,我们总是努力编写干净、简洁、高效的代码。Python列表是一种多功能的数据结构,它允许你存储一个项目的集合。在Python中,列表是可变的,这意味着你可以在创建一个列表后改变它的...

Python入门学习教程:第 6 章 列表

6.1什么是列表?在Python中,列表(List)是一种用于存储多个元素的有序集合,它是最常用的数据结构之一。列表中的元素可以是不同的数据类型,如整数、字符串、浮点数,甚至可以是另一个列表。列...

Python列表、元组、字典和集合_python中的列表元组和字典

Python中的列表(List)、元组(Tuple)、字典(Dict)和集合(Set)是四种最常用的核心数据结构。掌握它们的基础操作只是第一步,真正发挥威力的是那些高级用法和技巧。首先我们先看一下这...

学习编程第167天 python编程 使用format方法灵活替换字符串

今天学习的是刘金玉老师零基础Python教程第51期,主要内容是python编程使用format方法灵活替换字符串。一、format方法(一)format方法是字符串自带的方法,使用的format方法...