百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

MyBatis Plus 如何优化千万级数据的 CRUD?

liuian 2025-07-27 21:58 9 浏览

背景

做 Java 开发 8 年,接触过 Hibernate、JPA、MyBatis,到现在主力框架 MyBatis Plus(简称 MP)。一路踩坑无数,从最初写死 SQL 到现在用 Lambda 链式操作,感触最深的是:CRUD 看似简单,数据量一大,性能问题就来了。

最近负责的一个项目,数据库表量级破千万,每次执行 CRUD 都像走钢丝,稍有不慎就引起数据库报警。本文就结合这个项目的实战经验,聊聊 MyBatis Plus 在千万级数据场景下如何优化 CRUD 操作


一、MyBatis Plus 简介

MP 是 MyBatis 的增强工具,主打“无侵入、低门槛、强增强”,提供了一整套优雅的 CRUD 封装,尤其适合中后台系统的开发。

但性能优化这件事,MP 提供了钩子,还得靠我们自己去掌握底层逻辑与场景判断


二、千万级数据的挑战

当数据达到千万级时,常见的问题有:

  • 查询慢、分页卡顿
  • 更新/删除误操作影响大
  • 数据迁移困难
  • 索引策略不合理
  • 乐观锁/悲观锁未启用带来并发问题

三、优化 CRUD 的关键策略

下面我从 增、删、改、查 四个维度,结合 MP 的用法,逐一拆解优化策略。


1.查询优化(Select)

使用分页插件 + 索引优化

Page<User> page = new Page<>(1, 10);
IPage<User> result = userMapper.selectPage(page, new QueryWrapper<User>()
        .eq("status", "active")
        .orderByDesc("create_time"));

优化点:

  • 创建复合索引 (status, create_time),避免文件排序
  • 设置合理的 limit 范围,避开深分页(推荐游标分页)

游标分页(Keyset Pagination)案例:

QueryWrapper<User> wrapper = new QueryWrapper<>();
wrapper.lt("id", lastId)
       .orderByDesc("id")
       .last("limit 100");

List<User> users = userMapper.selectList(wrapper);

比传统 OFFSET 分页快得多,适合批量导出或加载。


2.插入优化(Insert)

批量插入代替单条插入

List<User> userList = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
    userList.add(new User("user" + i));
}
userMapper.insertBatchSomeColumn(userList); // 需自定义方法或 MyBatis 扩展

建议:

  • 单次批量插入控制在 1000 条以内,避免 SQL 超长
  • 使用原生 JDBC 批处理,性能更优

3.更新优化(Update)

避免全表更新

错误:

userMapper.update(null, new UpdateWrapper<User>().set("status", "inactive"));

优化:

UpdateWrapper<User> wrapper = new UpdateWrapper<>();
wrapper.eq("status", "active");
wrapper.set("status", "inactive");
userMapper.update(null, wrapper);

永远记住:Update 要加条件!

乐观锁控制并发更新

@TableField(fill = FieldFill.UPDATE)
@Version
private Integer version;
user.setVersion(3);
userMapper.updateById(user); // MP 会自动加 version 判断

4.删除优化(Delete)

逻辑删除替代物理删除

@TableLogic
private Integer isDeleted;
userMapper.deleteById(123L); // 实际执行的是 UPDATE 操作

逻辑删除的优势:

  • 避免误删
  • 保留数据审计
  • 与回收站机制兼容

注意:逻辑删除字段要加索引!


四、批处理与异步处理

在千万级数据场景,批处理 + 异步化 是性能优化的核心手段:

  • 使用 Stream 分批处理大数据集合
  • 配合 Spring Batch 或自定义线程池实现异步任务
  • 使用定时任务(如 XXL-JOB)分时段处理数据

五、数据库层面的优化建议

  • 合理建索引(避免过多/重复索引)
  • 垂直/水平分表(ShardingSphere、MyCat)
  • 使用中间件缓存热点数据(Redis)
  • 慎用视图和子查询,优先考虑 JOIN 重构

六、总结:CRUD 优化是一场系统工程

MyBatis Plus 提供了优雅的接口,但数据量上来之后,框架只是工具,根本还在底层 SQL 和设计策略上

作为一个写了 8 年 Java 的程序员,我最大的体会是:

性能不是调出来的,是设计出来的。

合理建模 + 规范使用 MP + 数据库调优,才能让你的系统在千万级数据面前从容应对。

相关推荐

快速上手maven

Maven的作用在开发过程中需要用到各种各样的jar包,查找和下载这些jar包是件费时费力的事,特别是英文官方网站,可以将Maven看成一个整合了所有开源jar包的合集,我们需要jar包只需要从Mav...

Windows系统——配置java环境变量

怎么配置java环境变量呢?首先是安装好jdk然后我的电脑右键选择属性然后选择左侧高级系统设置高级然后点环境变量然后在用户变量或系统变量中配置,用户变量指的是只有当前用户可用,系统变量指的是系统中...

ollama本地部署更改默认C盘,Windows配置环境变量方法

ollama是一个大语言模型(LLM——LargeLanguageModel),本地电脑安装网上也要很多教程,看上去非常简单,一直下一步,然后直接就可以使用了。但是我在实操的时候并不是这样,安装完...

# Windows 环境变量 Path 显示样式更改

#怎样学习Java##Windows环境变量Path显示样式更改##1、传统Path环境变量显示:```---》键盘上按【WIN+I】打开系统【设置】---》依次点击---》【系统...

如何在Windows中创建用户和系统环境变量

在Windows中创建环境变量之前您应该了解的事情在按照本指南中所示的任何步骤创建指向文件夹、文件或其他任何内容的用户和系统变量之前,您应该了解两件事。第一个也是最重要的一个是了解什么是环境变量。...

Windows 中的环境变量是什么?

Windows中的环境变量是什么?那么,Windows中的环境变量是什么?简而言之,环境变量是描述应用程序和程序运行环境的变量。所有类型的程序都使用环境变量来回答以下问题:我安装的计算机的名称是什么...

【Python程序开发系列】谈一谈Windows环境变量:系统和用户变量

这是我的第350篇原创文章。一、引言环境变量(environmentvariables)一般是指在操作系统中用来指定操作系统运行环境的一些参数,如:临时文件夹位置和系统文件夹位置等。环境变量是在操作...

系统小技巧:还原Windows10路径环境变量

有时,我们在Windows10的“运行”窗口中执行一些命令或运行一些程序,这时即便没有指定程序的具体路径,只输入程序的名称(如notepad.exe),便可以迅速调用成功。这是因为Windows默认...

Windows10系统的“环境变量”在哪里呢?

当我们在操作系统是Windows10的电脑里安装了一些软件,要通过配置环境变量才能使用软件时,在哪里能找到“环境变量”窗口呢?可以按照下面的步骤找到“环境变量”。说明:下面的步骤和截图是在Window...

系统小技巧:彻底弄懂Windows 10环境变量

每当我们进行系统清理时,清理软件总能自动找到Windows的临时文件夹之所在,然后加以清理,即便是我们重定向了TEMP目录也是如此。究其原因,是因为清理软件会根据TEMP环境变量来判断现有临时文件夹的...

MySQL 5.7 新特性大全和未来展望

本文转自微信公众号:高可用架构作者:杨尚刚引用美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师,负责新浪微博核心数据库架构改造优化,以及数据库相关的服务器存...

MySQL系列-源码编译安装(v8.0.25)

一、前言生产环境建议使用二进制安装法,其优点是部署简单、快速、方便,并且相对"yum/rpm安装"方法能更方便地自定义文件存放的目录结构,方便用脚本批量部署,方便日后运维管理。在生产...

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后,顿时产生了浓厚的兴趣。今天,就让我们跟随我的脚步,一起来揭开它神秘的面纱吧。简介canal翻译为...

技术老兵十年专攻MySQL:编写了763页核心总结,90%MySQL问题全解

MySQL是开放源码的关系数据库管理系统,由于性能高、成本低、可靠性好,成为现在最流行的开源数据库。MySQL学习指南笔记领取方式:关注、转发后私信小编【111】即可免费获得《MySQL进阶笔记》的...

Mysql和Hive之间通过Sqoop进行数据同步

文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置CPU数和内存大小查看CPU数sysctl machdep.cpu...