百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

pandas中使用excel的模糊匹配通配符，真香

liuian 2025-01-10 15:15 17 浏览

前言

在 pandas 中，实现如下的模糊匹配统计，要怎么做？

简单：

因为在 pandas 中可以把筛选和统计两种逻辑分开编写，所以代码清晰好用。 问题在于pandas 中要实现模糊匹配，只能使用正则表达式或某种具体的函数。

在 excel 中有一类可以模糊匹配的统计函数，比如 sumifs 、 countifs 等，它们可以使用通配符实现模糊匹配统计。之前的 excel 公式：

  • 问号 ? 表示1个任意的字符，星号 * 表示任意个数(0、1、或n)的字符
  • 对比来看，这可以直接在字符串中表达出 pandas 中的 startswith , endswith , contains

这种直接在字符串中表达模糊匹配规则，真香！难道在 pandas 中无法做到？

正则表达式的特殊字符

要在字符串中表达匹配规则，用正则表达式是最好的选择。其实思路挺简单，不就是直接把表达字符串中的符合替换成正则表达式相对于的符号吗？如下：

  • 行3：正则表达式中的点 . ，表示任意一个字符
  • 行4：在表达式前后添加开始 ^ 和结束 $ 标志

问题在于，用户输入的表达字符串里面可能包含了正则表达式的其他符号：

  • 这里我希望表达的是，搜索内容中有加号 + ，但因为 加号在正则表达式中有1或多个字符的意思 ，导致结果仍然匹配成功(内容中根本没有加号)

在 python 的正则表达式库中，为此有专门的函数，可以把所有在正则表达式中有特殊意义的符号，转义成匹配内容：

  • 处理后的结果中，加号 + 前面添加了反斜杠，正则表达式中反斜杠可以把特殊含义符号转义成普通内容

正确步骤

现在我们已经把整个问题拆分成2个小问题(并有解决方法)：

  1. excel 的通配符在正则表达式中的对应表达
  2. 排除正常正则表达式中的特殊符号

只要设计好这两个步骤的执行顺序，应该就可以顺利解决问题。

定义函数：

  • 函数只做一件事情，把匹配字符串转成符合要求的表达式字符串
  • 行4： 首先用 re.escape 转成普通内容，然后针对星号和问号做替换

定义一个测试函数：

  • 行3： re.match 返回有结果，就是匹配到

写一些简单的测试：

没有报错，证明没问题。

应用到 pandas 的 series.str.match 函数即可：

不过，每次都这样子调用很啰嗦。可以封装到一个函数里面：

现在可以使用：

不要忘记一键三连。你的点赞、收藏、关注，是我创作的动力。

相关推荐

2023年最新微信小程序抓包教程（微信小程序 抓包）

声明：本公众号大部分文章来自作者日常学习笔记，部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载，请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档（软件测试面试怎么说）

前言又到了毕业季，我们将会迎来许多需要面试的小伙伴，在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中，隐藏着的...

复活，视频号一键下载，有手就会，长期更新(2023-12-21)

视频号下载的话题，也算是流量密码了。但也是比较麻烦的问题，频频失效不说，使用方法也难以入手。今天，奶酪就来讲讲视频号下载的新方案，更关键的是，它们有手就会有用，最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员，还是做爬虫、逆向的爬虫工程师和安全逆向工程，必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具，脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具：Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles，今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解，网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本，而AppStore是高于21.1.0版本，本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代，应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中，保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio（以下称TestStudio）是一个易于使用的自动化测试工具，可用于Web、WPF应用的界面功能测试，也可以用于API测试，以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析（wireshark抓包总结）

0.引言Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解（加密方式、证书原理、中间人攻击）HTTPS协议的加密方式有哪些？HTTPS证书的原理是什么？如何防止中间人攻击？一：HTTPS基本介绍：1.HTTPS是什么：HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序（APP）的数据接口需要进行以下步骤：首先，确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具，并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢？我们经常在用的手机手机里面的数据怎么对它抓包呢？那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶，建议收藏

学习Fiddler工具之前，我们先了解一下Fiddler工具的特点，Fiddler能做什么？如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议，默认端口：443(2)HTTP协议（HyperTextTransferProtocol）：超文本传输协议。默认...

一周热门
最近发表
标签列表