百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

代码分享:Python和VB代码实现批量合并EXCEL数据,拿走不谢

liuian 2025-02-08 11:50 16 浏览

在实际工作中,您经常需要处理各种Excel文件,例如合并很多个相同格式的Excel文件,或者同一个excel文件中很多个sheet,这种情况是不是常常令您头疼?

您是否想过让计算机帮您自动处理?说不定,您花两天做的事情,计算机十多分钟可能就完成了。

下面提供了三种合并数据的场景下的python代码和VB代码,可以复制粘贴直接使用~~


场景一

很多个相同格式的Excel文件,每个文件的表头都是一样的,存放在不同的文件夹下,如下图所示,

1、Python代码:

# !/usr/bin/python

# coding=utf-8

import os

import pandas as pd

import glob


FileNum = 0

dirList = []

exList = []


def CollectExcelCase1(path):

global FileNum

# 读取所在目录下的文件名称,返回列表

files = os.listdir(path)

# 循环处理列表中每个文件

for f in files:

# 判断是否文件夹

if(os.path.isdir(path + '/' + f)):

# 排除隐藏文件夹,因为隐藏文件夹过多

if(f[0] == '.'):

pass

else:

# 添加非隐藏文件夹

dirList.append(f)

# 循环处理每个子文件夹

for dl in dirList:

# 取出每个子文件夹中的excel文件,返回列表

fileList = glob.glob(os.path.join(dl, "*.xlsx"))

# 循环每个excel文件

for fl in fileList:

# 读取excel文件中的内容,并加入到列表中

exList.append(pd.read_excel(fl, index_col=None))

# 统计处理的文件数

FileNum = FileNum + 1


# 将exlist进行纵向合并转换为DataFrame类型

df=pd.concat(exList,axis=0)

# 将结果写入到文件CollecttoExcel.xlsx中

df.to_excel("CollecttoExcel.xlsx",encoding='gb2312')


if __name__=='__main__':

CollectExcelCase1("./")

print('一共合并了',FileNum,"个Excel文件")


2、VB代码:

单独创建一个文件夹,并新建一个Excel启用宏的工作簿,如下图所示,我们将文件夹1-5中的excel文件内容合并到结果文件夹中的CollecttoExcelVB.xlsm中

打开excel文件,在开发工具中,点击Visual Basic,打开VB编程页面,在左侧右击插入,选择模块,将以下代码拷贝至右侧的编辑区域,点击运行子过程/用户窗体,运行宏程序,确认没问题,点击保存即可。

每次打开excel文件,可以在开发工具中点击宏,然后运行宏程序。

也可以添加一个按钮,在开发工具-插入中点击按钮,然后在弹出的对话框中指定刚才的宏,点击确定,即完成添加按钮。以后每次打开这个文件时,只要点击这个按钮,即可自动执行宏,进行合并数据。

VB代码如下:

Option Explicit


Sub CollectToExcel()

Dim mypath, myfld, myfile, m, j, wb, arr()

Sheet1.UsedRange.Offset(1, 0).ClearContents '清除汇总表里面的内容

mypath = ThisWorkbook.Path & "\" '获取当前文件所在的路径

myfld = Left(ThisWorkbook.Path, InStrRev(ThisWorkbook.Path, "\") - 1) & "\" '获取当前文件所在路径的上一级路径

myfile = Dir(myfld, vbDirectory) '遍历上一级路径下的所有文件夹

'将所有文件夹路径存入数组arr中

Do While myfile <> "" '当返回值不为空时

If myfile <> "." And myfile <> ".." Then '当返回值不是"."(当前文件夹)或".."(上层文件夹)

If (GetAttr(myfld & myfile) And vbDirectory) = vbDirectory Then '如果得到的是文件夹

m = m + 1 '计算器

ReDim Preserve arr(m) '重定义数组arr

arr(m) = myfld & myfile & "\"

End If

End If

myfile = Dir '查找下一个文件夹

Loop '至此所有文件夹路径已放在数组arr中

'下面开始遍历每个文件夹中的excel文件

For j = 1 To m

myfile = Dir(arr(j) & "*.xlsx")

While myfile <> "" And myfile <> ThisWorkbook.Name '当每个文件夹中的EXCEL文件不为空,且不是当前的EXCEL文件时,执行下面操作

Set wb = CreateObject(arr(j) & myfile)

With wb.Sheets(1)

.UsedRange.Offset(1, 0).Copy Sheet1.Range("A" & Sheet1.[a1048576].End(xlUp).Row + 1) '将每个EXCEL文件的数据(第一行除外)拷贝至当前EXCEL文件

End With

wb.Close

myfile = Dir()

Wend

Next

Set wb = Nothing

'下面对当前的EXCEL文件进行格式统一

With Sheet1.Range("A1:Z65535").Font

.Name = "黑体"

.Size = 10

End With

End Sub


场景二

同一文件夹下,很多个相同格式的Excel文件,每个文件的表头都是一样的,如下图所示,

1、python代码实现:

#coding=utf-8

import os

import pandas as pd


excels = [

# 读取excel文件

pd.read_excel(fname)

# 循环读取默认路径下的excel文件,默认路径为与该程序文件相同的文件夹路径

for fname in os.listdir("./")

# 只读去excel文件

if ".xlsx" in fname

]

# 合并所有excel文件

df = pd.concat(excels)

# 将合并结果输出到CollecttoExcel.xlsx文件中

df.to_excel("CollecttoExcel.xlsx",index = False)


2、VB代码:

Option Explicit


Sub CollectToExcel()

Dim mypath, myfld, myfile, m, j, wb

Sheet1.UsedRange.Offset(1, 0).ClearContents '清除汇总表里面的内容

mypath = ThisWorkbook.Path & "\" '获取当前文件所在的路径

myfile = Dir(mypath & "\" & "*.xlsx") '从当前文件夹中获取所有要合并的表格

Do While myfile <> ""

'Set wb = Workbooks.Open(mypath & "\" & myfile) '打开遍历到的表格

While myfile <> "" And myfile <> ThisWorkbook.Name 'excel文件不为空,且不是当前的excel文件时,执行下面的操作

Set wb = CreateObject(mypath & myfile) '读取每个excel文件的内容

With wb.Sheets(1)

.UsedRange.Offset(1, 0).Copy Sheet1.Range("A" & Sheet1.[a1048576].End(xlUp).Row + 1) '将每个EXCEL文件的数据(第一行除外)拷贝至当前EXCEL文件

End With

wb.Close

myfile = Dir()

Wend

Loop

End Sub


场景三

同一个excel,有很多个相同格式的sheet文件,每个sheet的表头都是一样的,如下图所示,

1、Python代码:

#coding=utf-8

import os

import pandas as pd


# 读取excel文件内容,列表返回

files = pd.read_excel('./ExcelFile.xlsx',None)

# 获取excel文件中sheet的个数

sheets = list(files.keys())


fl = []

for i in sheets:

# 读取每个sheet的内容

sheet = files[i]

# 将读取的内容添加到结果中

fl.append(sheet)


# 将结果进行纵向合并转换为DataFrame类型

df = pd.concat(fl,axis=0)

# 将结果写入到文件CollecttoExcel.xlsx中

df.to_excel("CollecttoExcel.xlsx",index = False)


2、VB代码:

Option Explicit


Sub CollectToExcel()

Dim mypath, myfld, myfile, wb, j

Sheet1.UsedRange.Offset(1, 0).ClearContents '清除汇总表里面的内容

mypath = ThisWorkbook.Path & "\" '获取当前文件所在的路径

myfile = Dir(mypath & "\" & "*.xlsx") '从当前文件夹中获取所有要合并的表格

Do While myfile <> ""

Set wb = Workbooks.Open(mypath & "\" & myfile) '打开遍历到的表格

For j = 1 To wb.Sheets.Count '循环处理每个sheet

wb.Sheets(j).Range("a2", wb.Sheets(j).Cells.SpecialCells(xlCellTypeLastCell)).Copy '复制每个sheet的内容,从A2开始到已用区域最后一个单元格的范围全部复制

ThisWorkbook.Sheets(1).Cells(ThisWorkbook.Sheets(1).Range("A65536").End(xlUp).Row + 1, 1).PasteSpecial Paste:=xlValues '将复制的内容粘贴到当前表格中,从A列最后一个有数据的单元格后的空格开始粘贴

Next j

wb.Close (False) '复制粘贴完成后关闭被合并的表

myfile = Dir '继续遍历

Loop

End Sub


声明:??本文来自微信公众号“土拨鼠的菜园地”(ID:gh_30a852e13a3a),系原创文章,如需转载,请注明出处。

原文链接:
https://mp.weixin.qq.com/s/0WCsdzXzr381NFxOrK_p1Q

相关推荐

【常识】如何优化Windows 7

优化Windows7可以让这个经典系统运行更流畅,特别是在老旧硬件上。以下是经过整理的实用优化方案,分为基础优化和进阶优化两部分:一、基础优化(适合所有用户)1.关闭不必要的视觉效果右键计算机...

系统优化!Windows 11/10 必做的十个优化配置

以下是为Windows10/11用户整理的10个必做优化配置,涵盖性能提升、隐私保护和系统精简等方面,操作安全且无需第三方工具:1.禁用不必要的开机启动项操作路径:`Ctrl+S...

最好用音频剪辑的软件,使用方法?

QVE音频剪辑是一款简单实用的软件,功能丰富,可编辑全格式音频。支持音频转换、合并、淡入淡出、变速、音量调节等,无时长限制,用户可自由剪辑。剪辑后文件音质无损,支持多格式转换,便于存储与跨设备播放,满...

Vue2 开发总踩坑?这 8 个实战技巧让代码秒变丝滑

前端开发的小伙伴们,在和Vue2打交道的日子里,是不是总被各种奇奇怪怪的问题搞得头大?数据不响应、组件传值混乱、页面加载慢……别慌!今天带来8个超实用的Vue2实战技巧,每一个都能直击痛...

Motion for Vue:为Vue量身定制的强大动画库

在前端开发中,动画效果是提升用户体验的重要手段。Vue生态系统中虽然有许多动画库,但真正能做到高性能、易用且功能丰富的并不多。今天,我们要介绍的是MotionforVue(motion-v),...

CSS view():JavaScript 滚动动画的终结

前言CSSview()方法可能会标志着JavaScript在制作滚动动画方面的衰落。如何用5行CSS代码取代50多行繁琐的JavaScript,彻底改变网页动画每次和UI/U...

「大数据」 hive入门

前言最近会介入数据中台项目,所以会推出一系列的跟大数据相关的组件博客与文档。Hive这个大数据组件自从Hadoop诞生之日起,便作为Hadoop生态体系(HDFS、MR/YARN、HIVE、HBASE...

青铜时代的终结:对奖牌架构的反思

作者|AdamBellemare译者|王强策划|Tina要点运维和分析用例无法可靠地访问相关、完整和可信赖的数据。需要一种新的数据处理方法。虽然多跳架构已经存在了几十年,并且可以对...

解析IBM SQL-on-Hadoop的优化思路

对于BigSQL的优化,您需要注意以下六个方面:1.平衡的物理设计在进行集群的物理设计需要考虑数据节点的配置要一致,避免某个数据节点性能短板而影响整体性能。而对于管理节点,它虽然不保存业务数据,但作...

交易型数据湖 - Apache Iceberg、Apache Hudi和Delta Lake的比较

图片由作者提供简介构建数据湖最重要的决定之一是选择数据的存储格式,因为它可以大大影响系统的性能、可用性和兼容性。通过仔细考虑数据存储的格式,我们可以增强数据湖的功能和性能。有几种不同的选择,每一种都有...

深入解析全新 AWS S3 Tables:重塑数据湖仓架构

在AWSre:Invent2024大会中,AWS发布了AmazonS3Tables:一项专为可扩展存储和管理结构化数据而设计的解决方案,基于ApacheIceberg开放表格...

Apache DataFusion查询引擎简介

简介DataFusion是一个查询引擎,其本身不具备存储数据的能力。正因为不依赖底层存储的格式,使其成为了一个灵活可扩展的查询引擎。它原生支持了查询CSV,Parquet,Avro,Json等存储格式...

大数据Hadoop之——Flink Table API 和 SQL(单机Kafka)

一、TableAPI和FlinkSQL是什么TableAPI和SQL集成在同一套API中。这套API的核心概念是Table,用作查询的输入和输出,这套API都是批处理和...

比较前 3 名Schema管理工具

关注留言点赞,带你了解最流行的软件开发知识与最新科技行业趋势。在本文中,读者将了解三种顶级schema管理工具,如AWSGlue、ConfluentSchemaRegistry和Memph...

大数据技术之Flume

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。1.2Flume的优点1.可以和...