百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

PostgreSQL递归遍历JSON字段【CTE】

liuian 2025-07-06 14:04 3 浏览

我最近遇到了一个有趣的挑战,试图使用 Postgres 来处理 JSON 树。 具体来说,我必须弄清楚如何在 Postgres 表中导航存储为 JSONB 的树结构。 我是这样做的。

推荐:用 NSDT设计器 快速搭建可编程3D场景。

1、实验环境搭建

让我们从定义模式开始。 我们将创建一个表,将组织结构图存储为 JSONB 对象:

CREATE TABLE org_charts (
  id    BIGSERIAL PRIMARY KEY,
  chart JSONB
);

接下来,让我们定义 JSON。 它将是员工节点的递归结构,其中包含包含员工直接下属的报告集合。 由于可以有多个级别的报告,我们的组织结构图可以任意深:

{
    "id": 1,
    "name": "Charles Montgomery Burns",
    "title": "Owner",
    "reports": [
        {
            "id": 2,
            "name": "Waylon Smithers, Jr."
        },
        {
            "id": 3,
            "name": "Inanimate carbon rod",
            "reports": [
                {
                    "id": 4,
                    "name": "Homer Simpson",
                    "title": "Safety Engineer"
                }
            ]
        },
        {
            "id": 5,
            "name": "Lenny Leonard"
        },
        {
            "id": 6,
            "name": "Carl Carlson"
        },
        {
            "id": 7,
            "name": "Frank Grimes",
            "status": "deceased"
        }
    ]
}

2、递归查询

我们想编写一个查询来遍历这棵树,例如,打印出所有员工的姓名。 为此,我们需要使用 Postgres 强大的递归公用表表达式 (CTE)。 递归 CTE 听起来很吓人,但实际上写起来相当简单。 这是我为此写的:

WITH RECURSIVE reports (id, json_element) AS (
  -- non recursive term
  SELECT
    id,
    chart
  FROM org_charts
 
  UNION
 
  -- recursive term
  SELECT
    id,
    CASE
    WHEN jsonb_typeof(json_element) = 'array'
      THEN jsonb_array_elements(json_element)
    WHEN jsonb_exists(json_element, 'reports')
      THEN jsonb_array_elements(json_element -> 'reports')
    END AS json_element
  FROM
    reports
  WHERE
    jsonb_typeof(json_element) = 'array' OR jsonb_typeof(json_element) = 'object'
)

让我们仔细分析一下。 查询开始于:

WITH RECURSIVE reports (id, json_element) AS (

在这里,我们声明了一个名为 reports 的递归 CTE,它有两个参数 id 和 json_element。 请注意,参数表示由整个查询以及内部子查询返回的列。

接下来,我们定义非递归项:

-- non recursive term
  SELECT
    id,
    chart
  FROM org_charts

这个查询告诉 Postgres 如何开始评估 CTE。 它首先被评估(并且只有一次),其结果驱动其余的查询。 请注意,此查询必须返回与 CTE 定义的列相匹配的两列(在本例中为 id 和 json_element)。

在非递归项之后,我们需要定义递归项:

-- recursive term
  SELECT
    id,
    CASE
    WHEN jsonb_typeof(json_element) = 'array'
      THEN jsonb_array_elements(json_element)
    WHEN jsonb_exists(json_element, 'reports')
      THEN jsonb_array_elements(json_element -> 'reports')
    END AS json_element
  FROM
    reports
  WHERE
    jsonb_typeof(json_element) = 'array' OR jsonb_typeof(json_element) = 'object'

这里有几点需要注意:

  • 此查询引用 CTE 本身(FROM 报告),这使得它可以递归。
  • 此查询还必须返回代表 id 和 json_element 的两列。
  • 必须使用 UNION 或 UNION ALL 组合非递归项和递归项的结果。

现在,让我们谈谈这个查询在做什么。 本质上,它是将嵌套的 JSON 结构展开成行。 如果遇到 JSON 数组,它会使用 jsonb_array_elements() 函数为每个成员创建一行。 如果它遇到包含报告集合的元素,它也会使用 jsonb_array_elements() 展开该元素。 最后,它只查看 JSON 数组或对象(而不是值或 NULL)。

3、查询结果

那么,我们实际上如何运行这个 CTE? 通过简单地将报告视为任何其他表:

SELECT * FROM reports;

运行上面的查询结果如下:

{
    "id": 1,
    "name": "Charles Montgomery Burns",
    "title": "Owner",
    "reports": [
        {
            "id": 2,
            "name": "Waylon Smithers, Jr."
        },
        {
            "id": 3,
            "name": "Inanimate carbon rod",
            "reports": [
                {
                    "id": 4,
                    "name": "Homer Simpson",
                    "title": "Safety Engineer"
                }
            ]
        },
        {
            "id": 5,
            "name": "Lenny Leonard"
        },
        {
            "id": 6,
            "name": "Carl Carlson"
        },
        {
            "id": 7,
            "name": "Frank Grimes",
            "status": "deceased"
        }
    ]
}
{
    "id": 2, 
    "name": "Waylon Smithers, Jr."
}
{
    "id": 3, 
    "name": "Inanimate carbon rod", 
    "reports": [
        {
            "id": 4, 
            "name": "Homer Simpson", 
            "title": "Safety Engineer"
        }
    ]
}
{
    "id": 5, 
    "name": "Lenny Leonard"
}
{
    "id": 6, 
    "name": "Carl Carlson"
}
{
    "id": 7, 
    "name": "Frank Grimes", 
    "status": "deceased"
}
NULL
{    
    "id": 4, 
    "name": "Homer Simpson", 
    "title": "Safety Engineer"
}

正如您在这里看到的,我们的查询为每个员工创建了一行加上一个 NULL。 老实说,我不确定为什么会返回 NULL 行(我尝试过但未能摆脱它)。 也就是说,很容易过滤掉 NULL 行。

要获取名称列表(这是我们最初的目标),我们可以这样做:

SELECT json_element -> 'name' AS employee_name
FROM reports
WHERE jsonb_exists(json_element, 'name');

这里我们只查看那些包含元素名称的行,然后返回名称的值:

employee_name
“Charles Montgomery Burns”
“Waylon Smithers, Jr.”
“Inanimate carbon rod”
“Lenny Leonard”
“Carl Carlson”
“Frank Grimes”
“Homer Simpson”

总的来说,使用 Postgres 递归 CTE 来导航 JSON 树被证明是一项具有挑战性但有益的练习。 如果你掌握了基础知识,那么构建复杂查询是相当简单的。


原文链接:
http://www.bimant.com/blog/postgres-json-traverse/

相关推荐

MySQL合集-mysql5.7及mysql8的一些特性

1、Json支持及虚拟列1.1jsonJson在5.7.8原生支持,在8.0引入了json字段的部分更新(jsonpartialupdate)以及两个聚合函数,JSON_OBJECTAGG,JS...

MySQL 双表架构在房产中介房源管理中的深度实践

MySQL房源与价格双表封神:降价提醒实时推送客户房产中介实战:MySQL空间函数精准定位学区房MySQL狠招:JSON字段实现房源标签自由组合筛选房源信息与价格变更联动:MySQL黄金搭档解决客户看...

MySQL 5.7 JSON 数据类型使用总结

从MySQL5.7.8开始,MySQL支持原生的JSON数据类型。MySQL支持RFC7159定义的全部json数据类型,具体的包含四种基本类型(strings,numbers,boolea...

MySQL 8.0 SQL优化黑科技,面试官都不一定知道!

前言提到SQL优化,大多数人想到的还是那些经典套路:建索引、避免全表扫描、优化JOIN顺序…这些确实是基础,但如果你还停留在MySQL5.7时代的优化思维,那就out了。MySQL8.0已经发布好...

如何在 MySQL 中使用 JSON 数据(mysql的json函数与实例)

在MySQL中学习“NoSQL”MySQL从5.7版本开始就支持JSON格式的数据类型,该数据类型支持JSON文档的自动验证和优化存储和访问。尽管JSON数据最好存储在MongoDB等...

MySQL中JSON的存储原理(mysql中json字段操作)

前言:表中有json字段后,非索引查询性能变得非常糟糕起因是我有一张表,里面有json字段后,而当mysql表中有200w数据的时候,走非索引查询性能变得非常糟糕需要3到5s。因此对mysql的jso...

mysql 之json字段详解(多层复杂检索)

MySQL5.7.8开始支持JSON数据类型。MySQL8.0版本中增加了对JSON类型的索引支持。示例表CREATETABLE`users`(`id`intNOTNULLAU...

VMware vCenter Server 8.0U3b 发布下载,新增功能概览

VMwarevCenterServer8.0U3b发布下载,新增功能概览ServerManagementSoftware|vCenter请访问原文链接:https://sysin.or...

Spring Boot 3.x 新特性详解:从基础到高级实战

1.SpringBoot3.x简介与核心特性1.1SpringBoot3.x新特性概览SpringBoot3.x是建立在SpringFramework6.0基础上的重大版...

如何设计Agent的记忆系统(agent记忆方法)

最近看了一张画Agent记忆分类的图我觉得分类分的还可以,但是太浅了,于是就着它的逻辑,仔细得写了一下在不同的记忆层,该如何设计和选型先从流程,作用,实力和持续时间的这4个维度来解释一下这几种记忆:1...

Spring Boot整合MyBatis全面指南:从基础到高级应用(全网最全)

一、基础概念与配置1.1SpringBoot与MyBatis简介技术描述优点SpringBoot简化Spring应用开发的框架,提供自动配置、快速启动等特性快速开发、内嵌服务器、自动配置、无需X...

5大主流方案对比:MySQL千亿级数据线上平滑扩容实战

一、扩容方案剖析1、扩容问题在项目初期,我们部署了三个数据库A、B、C,此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配,我们在Service服务层使用uid%3进行取模分片,从而将数据...

PostgreSQL 技术内幕(五)Greenplum-Interconnect模块

Greenplum是在开源PostgreSQL的基础上,采用MPP架构的关系型分布式数据库。Greenplum被业界认为是最快最具性价比的数据库,具有强大的大规模数据分析任务处理能力。Greenplu...

在实际操作过程中如何避免出现SQL注入漏洞

一前言本文将针对开发过程中依旧经常出现的SQL编码缺陷,讲解其背后原理及形成原因。并以几个常见漏洞存在形式,提醒技术同学注意相关问题。最后会根据原理,提供解决或缓解方案。二SQL注入漏洞的原理、形...

运维从头到尾安装日志服务器,看这一篇就够了

一、rsyslog部署1.1)rsyslog介绍Linux的日志记录了用户在系统上一切操作,看日志去分析系统的状态是运维人员必须掌握的基本功。rsyslog日志服务器的优势:1、日志统一,集中式管理...