百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

pandas中使用excel的模糊匹配通配符，真香

liuian 2025-01-10 15:15 15 浏览

前言

在 pandas 中，实现如下的模糊匹配统计，要怎么做？

简单：

因为在 pandas 中可以把筛选和统计两种逻辑分开编写，所以代码清晰好用。 问题在于pandas 中要实现模糊匹配，只能使用正则表达式或某种具体的函数。

在 excel 中有一类可以模糊匹配的统计函数，比如 sumifs 、 countifs 等，它们可以使用通配符实现模糊匹配统计。之前的 excel 公式：

  • 问号 ? 表示1个任意的字符，星号 * 表示任意个数(0、1、或n)的字符
  • 对比来看，这可以直接在字符串中表达出 pandas 中的 startswith , endswith , contains

这种直接在字符串中表达模糊匹配规则，真香！难道在 pandas 中无法做到？

正则表达式的特殊字符

要在字符串中表达匹配规则，用正则表达式是最好的选择。其实思路挺简单，不就是直接把表达字符串中的符合替换成正则表达式相对于的符号吗？如下：

  • 行3：正则表达式中的点 . ，表示任意一个字符
  • 行4：在表达式前后添加开始 ^ 和结束 $ 标志

问题在于，用户输入的表达字符串里面可能包含了正则表达式的其他符号：

  • 这里我希望表达的是，搜索内容中有加号 + ，但因为 加号在正则表达式中有1或多个字符的意思 ，导致结果仍然匹配成功(内容中根本没有加号)

在 python 的正则表达式库中，为此有专门的函数，可以把所有在正则表达式中有特殊意义的符号，转义成匹配内容：

  • 处理后的结果中，加号 + 前面添加了反斜杠，正则表达式中反斜杠可以把特殊含义符号转义成普通内容

正确步骤

现在我们已经把整个问题拆分成2个小问题(并有解决方法)：

  1. excel 的通配符在正则表达式中的对应表达
  2. 排除正常正则表达式中的特殊符号

只要设计好这两个步骤的执行顺序，应该就可以顺利解决问题。

定义函数：

  • 函数只做一件事情，把匹配字符串转成符合要求的表达式字符串
  • 行4： 首先用 re.escape 转成普通内容，然后针对星号和问号做替换

定义一个测试函数：

  • 行3： re.match 返回有结果，就是匹配到

写一些简单的测试：

没有报错，证明没问题。

应用到 pandas 的 series.str.match 函数即可：

不过，每次都这样子调用很啰嗦。可以封装到一个函数里面：

现在可以使用：

不要忘记一键三连。你的点赞、收藏、关注，是我创作的动力。

相关推荐

vue怎么和后端php配合

Vue和后端PHP可以通过HTTP请求进行配合。首先，前端Vue可以使用axios库或者Vue自带的$http对象来发送HTTP请求到后端PHP接口。通过axios库发送POST、GET、PUT等请求...

Ansible最佳实践之 AWX 使用 Ansible 与 API 通信

#头条创作挑战赛#API简单介绍红帽AWX提供了一个类似Swagger的RESTful风格的Web服务框架，可以和awx直接交互。使管理员和开发人员能够在webUI之外控制其...

PHP8.3 错误处理革命:Exception 与 Error 全面升级

亲爱的小伙伴，好久没有发布信息了，最近学习了一下PHP8.3的升级，都有哪些优化和提升，把学到的分享出来给需要的小伙伴充下电。技术段位：高可用性必修目标收益：精准错误定位+异常链路追踪适配场景...

使用 mix/vega + mix/db 进行现代化的原生 PHP 开发

最近几年在javascript、golang生态中游走，发现很多npm、gomod的优点。最近回过头开发MixPHPV3，发现composer其实一直都是一个非常优秀的工具，但是...

15 个非常好用的 JSON 工具

JSON（JavaScriptObjectNotation）是一种流行的数据交换格式，已经成为许多应用程序中常用的标准。无论您是开发Web应用程序，构建API，还是处理数据，使用JSON工具可以大...

php8环境原生实现rpc

大数据分布式架构盛行时代的程序员面试，常常遇到分布式架构，RPC,本文的主角是RPC,英文名为RemoteProcedureCall，翻译过来为“远程过程调用”。主流的平台中都支持各种远程调用技术...

「PHP编程」如何搭建私有Composer包仓库?

在前一篇文章「PHP编程」如何制作自己的Composer包？中，我们已经介绍了如何制作自己的composer包，以及如何使用composer安装自己制作的composer包。不过，这其中有...

WAF-Bypass之SQL注入绕过思路总结

过WAF（针对云WAF）寻找真实IP（源站）绕过如果流量都没有经过WAF，WAF当然无法拦截攻击请求。当前多数云WAF架构，例如百度云加速、阿里云盾等，通过更改DNS解析，把流量引入WAF集群，流量经...

【推荐】一款 IDEA 必备的 JSON 处理工具插件 — Json Assistant

JsonAssistant是基于IntelliJIDEs的JSON工具插件，让JSON处理变得更轻松！主要功能完全支持JSON5JSON窗口（多选项卡）选项卡更名移动至主编辑器用...

技术分享 | 利用PHAR协议进行PHP反序列化攻击

PHAR(“PhpARchive”)是PHP中的打包文件，相当于Java中的JAR文件，在php5.3或者更高的版本中默认开启。PHAR文件缺省状态是只读的，当我们要创建一个Phar文件需要修改...

php进阶到架构之swoole系列教程(一)windows安装swoole

目录概述安装Cygwin安装swoolephp7进阶到架构师相关阅读概述这是关于php进阶到架构之swoole系列学习课程：第一节：windows安装swoole学习目标：在Windows环境将搭建s...

go 和 php 性能如何进行对比?

PHP性能很差吗？每次讲到PHP和其他语言间的性能对比，似乎都会发现这样一个声音：单纯的性能对比没有意义，主要瓶颈首先是数据库，其次是业务代码等等。好像PHP的性能真的不能单独拿出来讨论似的。但其实一...

Linux(CentOS )手动搭建LNMP(Linux+Nginx+Mysql+PHP)坏境

CentOS搭建LNMP（Linux+Nginx+Mysql+PHP）坏境由于网上各种版本新旧不一，而且Linux版本也不尽相同，所以自己写一遍根据官网的提示自己手动搭建过程。看官方文档很重要，永远...

json和jsonp区别

JSON和JSONP虽然只有一个字母的差别,但其实他们根本不是一回事儿：JSON是一种数据交换格式,而JSONP是一种非官方跨域数据交互协议。一个是描述信息的格式,一个是信息传递的约定方法。一、...

web后端正确的返回JSON

在web开发中，前端和后端发生数据交换传输现在最常见的形式就是异步ajax交互，一般返回给js都是json，如何才是正确的返回呢？前端代码想要获取JSON数据代码如下：$.get('/user-inf...

一周热门
最近发表
标签列表