百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

python 多表查询字段或者值

liuian 2025-01-10 15:15 16 浏览

前言

OK了老铁们,不管是初入社会的牛马还是当了多年牛马的你,一定会有需要批量修改,数据处理等等日常办公繁琐又简单的重复劳动,这种情况在AI发展的今天就要学会偷懒,而我呢也是通过AI学习并且整理了一系列日常办公且常用的偷懒处理,帮助广大牛马人更好的偷懒。

场景重现

现在你有N多个数据表,领导需要你找到有xx字段或者是有xx数据的表格,别再使用人工一个一个查找了,现在可以使用python的pandas库帮你查找。

实现思路

遍历文件:使用os模块遍历指定文件夹下的所有文件,筛选出 Excel 文件(.xlsx或.xls格式)。

读取 Excel 内容:利用pandas库读取每个 Excel 文件的内容。pandas是一个强大的数据处理库,能够轻松读取和处理各种表格数据。

数据查找:根据输入的字段名或数值,在读取的 Excel 数据中进行查找。可以通过条件判断或数据筛选的方式实现。

import os
import pandas as pd


def search_excel_data(target, folder_path):
    result_paths = []
    for filename in os.listdir(folder_path):
        if filename.endswith(('.xlsx', '.xls')):
            file_path = os.path.join(folder_path, filename)
            try:
                df = pd.read_excel(file_path)
                if isinstance(target, str) and target in df.columns:
                    result_paths.append(file_path)
                elif isinstance(target, (int, float)) and (df == target).any().any():
                    result_paths.append(file_path)
            except Exception as e:
                print(f"读取 {file_path} 时出错: {e}")
    return result_paths


if __name__ == '__main__':
    target_value = input("请输入要查找的字段名或数值: ")
    try:
        target = int(target_value)
    except ValueError:
        try:
            target = float(target_value)
        except ValueError:
            target = target_value
    folder_path = input("请输入存放Excel文件的文件夹路径: ")
    result = search_excel_data(target, folder_path)
    for path in result:
        print(path)

search_excel_data函数首先遍历指定文件夹下的所有文件,筛选出 Excel 文件。 然后使用pd.read_excel读取每个 Excel 文件的数据。 通过判断输入的target是字段名(字符串类型)还是数值(整数或浮点数类型),在数据中进行查找。如果找到符合条件的文件,将其路径添加到result_paths列表中。 最后在__main__部分,通过用户输入获取要查找的目标值和存放 Excel 文件的文件夹路径,并调用函数进行查找,打印出符合条件的文件路径。

pandas是 Python 中用于数据处理和分析的核心库,它提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。其名称源于 “panel data”(面板数据)和 “Python data analysis”(Python 数据分析)。

常用函数:

  1. **read_csv()**:用于从 CSV 文件中读取数据并创建 DataFrame 对象。例如data = pd.read_csv('data.csv'),可将名为data.csv的文件数据读取到data这个 DataFrame 中。
  2. **read_excel()**:从 Excel 文件中读取数据。如df = pd.read_excel('file.xlsx', sheet_name='Sheet1'),从指定 Excel 文件的Sheet1工作表读取数据到df。
  3. **head()**:快速查看 DataFrame 的前几行数据,默认显示前 5 行。data.head()即可展示data的前 5 行内容。
  4. **tail()**:与head()相反,用于查看 DataFrame 的后几行数据,默认也是 5 行。
  5. **info()**:提供 DataFrame 的简要信息,包括每列的数据类型、非空值数量等。data.info()可打印出data的详细信息。
  6. **describe()**:生成数据的描述性统计信息,包括计数、均值、标准差、最小值、最大值以及四分位数等。data.describe()会计算并显示data的相关统计信息。
  7. **drop()**:用于删除 DataFrame 中的行或列。例如new_data = data.drop('column_name', axis = 1),将data中的column_name列删除,并将结果赋值给new_data;若要删除行,axis设为 0 。
  8. **groupby()**:按照某一列或多列对数据进行分组。grouped = data.groupby('category')会根据category列对data进行分组,之后可对分组后的数据进行聚合操作,如grouped['value'].sum()计算每个分组中value列的总和。
  9. **merge()**:用于合并两个或多个 DataFrame,类似于数据库中的表连接操作。merged_data = pd.merge(df1, df2, on='key'),根据key列将df1和df2进行合并。

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...