百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

「Python数据分析」Pandas进阶,使用merge()函数合并数据

liuian 2025-04-06 18:05 16 浏览

在使用python语言进行数据分析的过程中,我们的数据,有很大一部分是结构化数据,也就是比较整齐的数据。

这里,我不展开讲什么是结构化数据,因为这个范围太过于庞大。但是,有一个知识点,必须要讲一下。这个知识点就是,数据的主键。

之前,我们讲过利用concat函数进行数据合并操作。通常情况下,concat函数只是把各种原始数据集,一股脑的按照行,或者是列,进行合并。

通俗点讲,就是把数据直接一锅粥的放在一起,不考虑数据的结构问题,因为行和列缺失的话,都可以通过缺失值来进行填补。

数据的主键

而今天要讲的merge函数,等同于SQL语言中的连接语句,需要使用到数据的主键,也就是需要满足关系型数据库的第二范式。

这部分内容,过于抽象,我们使用merge函数进行数据连接操作,只需要知道数据的主键。也就是说,我们的数据集中,至少要有一列(通常是放在第一列),这一列中的数据,不允许出现重复值,能够唯一标识我们数据集中,每一行的值。

比如说,我们的人员信息表中的数据集,可能会有:身份证号码,姓名,年龄,等等数据。那么,身份证号码这一列,就是我们人员信息表的主键列,我们每个人,都可以通过身份证号码来唯一标识,因为我们每一个人,都只有一个身份证号码,不会重复。

数据连接的类型

使用merge函数连接数据,和使用sql语言命令连接数据,基本一致,也是有三种连接的类型。

一对一连接

这种连接方式,适用于同一批数据,分散在不同的数据集中的情况。

比如说,我们的个人信息,可能就会分为基本信息部分,教育信息部分,工作信息部分等等。每一部分信息,都是通过身份证号码的关键字来唯一标识。

这样,我们就可以通过一对一连接,把这几部分,都是表示我们个人信息的数据集,连接起来,以便后续进行分析和处理。

多对一连接

这里,我举例来进行说明。比如说,假设我们是订单处理员,我们每天会处理很多个订单。那么,订单和处理员的关系,就是多对一的关系。

在订单中,需要加入处理员的身份证号码,用来确认这个订单是某个处理员完成的。这样的话,我们就可以通过身份证号码,把订单数据和处理员数据,连接起来,形成一个新的数据集。

多对多连接

多对多连接,是比较抽象的一种连接过程。我还是通过例子,来帮助大家了解这种连接方式。

比如说,我们的政府部门,会有就业数据。在就业数据中,求职者可以向多个公司求职,而公司呢,也可以接受多个求职者的求职请求。

这种情况下,求职者和公司之间,就是多对多的关系。我们的政府,如果需要对就业数据进行分析处理的话,就需要把求职者和公司,通过多对多的连接方式,把数据连接起来。

一对一连接例子

我们先来看一个一对一连接的简单例子。

连接过程如下图所示

原始数据生成

原始数据集

使用merge函数,通过key连接

以上,就是一个一对一数据集连接的例子。在数据集left和right中,key完全一致,即表示两个数据集是一对一关系。

这样,就可以通过key关键字,把两个数据集中的数据,按照列的顺序,连接在一起,key关键字列保持不变。

左连接

在左连接中,merge函数的方法是:left,SQL语句的连接名称是:LEFT OUTER JOIN。

左连接表示的含义是,以左边数据集中的关键字为参照,连接左右两边的数据集。连接完成后的新数据集,保留左边数据集中的数据。右边数据集的列加入左边数据集,并且右边数据集中的关键字和左边数据集相等的话,填充加入列的数据。

我们还是通过例子进行说明

连接过程图示

生成原始数据集

原始数据格式

连接过程

我们可以观察数据,这里是通过left方法进行连接,所以保留left数据集中的数据。然后,我们是用联合主键的形式,也就是key1和key2联合起来进行连接。K1和K0,在left数据集中出现了一次,在right数据集中出现了两次,所以结果数据集中,就有两行K1和K0标识的数据集。

右连接

在右连接中,merge函数的方法是:right,SQL语句的连接名称是:RIGHT OUTER JOIN。

连接过程图示

连接过程

注意这里是以右侧数据集right为基准,所以保留right数据集中的数据,把left中的列,加入到right中,通过联合主键key1和key2进行连接。

外连接

在外连接中,merge函数的方法是:outer,SQL语句的连接名称是:FULL OUTER JOIN。

连接过程图示

连接过程

外连接,其实就是把左边和右边的主键全部放在一起,两边都有的主键,就回填所有列的数据。如果left没有的主键,则left的列,在新数据集中回填空值,right则相反。

内连接

在内连接中,merge函数的方法是:inner,SQL语句的连接名称是:INNER JOIN。

连接过程图示

连接过程

内连接可以这样理解,那就是左侧数据集和右侧数据集,联合主键相等,也就是左侧和右侧,同时出现的主键的数据行保留,最后生成新数据集。

总结

以上4种连接方式,是数据连接中的主要连接方式,也是merge函数中的主要连接方法。在实际数据分析和处理过程中,左连接和右连接运用场景更多一些,希望大家对照图示,参照代码,灵活熟练掌握这4种常用的数据连接方法。

相关推荐

总结下SpringData JPA 的常用语法

SpringDataJPA常用有两种写法,一个是用Jpa自带方法进行CRUD,适合简单查询场景、例如查询全部数据、根据某个字段查询,根据某字段排序等等。另一种是使用注解方式,@Query、@Modi...

解决JPA在多线程中事务无法生效的问题

在使用SpringBoot2.x和JPA的过程中,如果在多线程环境下发现查询方法(如@Query或findAll)以及事务(如@Transactional)无法生效,通常是由于S...

PostgreSQL系列(一):数据类型和基本类型转换

自从厂子里出来后,数据库的主力就从Oracle变成MySQL了。有一说一哈,贵确实是有贵的道理,不是开源能比的。后面的工作里面基本上就是主MySQL,辅MongoDB、ES等NoSQL。最近想写一点跟...

基于MCP实现text2sql

目的:基于MCP实现text2sql能力参考:https://blog.csdn.net/hacker_Lees/article/details/146426392服务端#选用开源的MySQLMCP...

ORACLE 错误代码及解决办法

ORA-00001:违反唯一约束条件(.)错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。ORA-00017:请求会话以设置跟踪事件ORA-00018:超出最大会话数ORA-00...

从 SQLite 到 DuckDB:查询快 5 倍,存储减少 80%

作者丨Trace译者丨明知山策划丨李冬梅Trace从一开始就使用SQLite将所有数据存储在用户设备上。这是一个非常不错的选择——SQLite高度可靠,并且多种编程语言都提供了广泛支持...

010:通过 MCP PostgreSQL 安全访问数据

项目简介提供对PostgreSQL数据库的只读访问功能。该服务器允许大型语言模型(LLMs)检查数据库的模式结构,并执行只读查询操作。核心功能提供对PostgreSQL数据库的只读访问允许L...

发现了一个好用且免费的SQL数据库工具(DBeaver)

缘起最近Ai不是大火么,想着自己也弄一些开源的框架来捣腾一下。手上用着Mac,但Mac都没有显卡的,对于学习Ai训练模型不方便,所以最近新购入了一台4090的拯救者,打算用来好好学习一下Ai(呸,以上...

微软发布.NET 10首个预览版:JIT编译器再进化、跨平台开发更流畅

IT之家2月26日消息,微软.NET团队昨日(2月25日)发布博文,宣布推出.NET10首个预览版更新,重点改进.NETRuntime、SDK、libraries、C#、AS...

数据库管理工具Navicat Premium最新版发布啦

管理多个数据库要么需要使用多个客户端应用程序,要么找到一个可以容纳你使用的所有数据库的应用程序。其中一个工具是NavicatPremium。它不仅支持大多数主要的数据库管理系统(DBMS),而且它...

50+AI新品齐发,微软Build放大招:拥抱Agent胜算几何?

北京时间5月20日凌晨,如果你打开微软Build2025开发者大会的直播,最先吸引你的可能不是一场原本属于AI和开发者的技术盛会,而是开场不久后的尴尬一幕:一边是几位微软员工在台下大...

揭秘:一条SQL语句的执行过程是怎么样的?

数据库系统能够接受SQL语句,并返回数据查询的结果,或者对数据库中的数据进行修改,可以说几乎每个程序员都使用过它。而MySQL又是目前使用最广泛的数据库。所以,解析一下MySQL编译并执行...

各家sql工具,都闹过哪些乐子?

相信这些sql工具,大家都不陌生吧,它们在业内绝对算得上第一梯队的产品了,但是你知道,他们都闹过什么乐子吗?首先登场的是Navicat,这款强大的数据库管理工具,曾经让一位程序员朋友“火”了一把。Na...

详解PG数据库管理工具--pgadmin工具、安装部署及相关功能

概述今天主要介绍一下PG数据库管理工具--pgadmin,一起来看看吧~一、介绍pgAdmin4是一款为PostgreSQL设计的可靠和全面的数据库设计和管理软件,它允许连接到特定的数据库,创建表和...

Enpass for Mac(跨平台密码管理软件)

还在寻找密码管理软件吗?密码管理软件有很多,但是综合素质相当优秀且完全免费的密码管理软件却并不常见,EnpassMac版是一款免费跨平台密码管理软件,可以通过这款软件高效安全的保护密码文件,而且可以...