百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

MyBatis Plus 如何优化千万级数据的 CRUD?

liuian 2025-07-27 21:58 35 浏览

背景

做 Java 开发 8 年,接触过 Hibernate、JPA、MyBatis,到现在主力框架 MyBatis Plus(简称 MP)。一路踩坑无数,从最初写死 SQL 到现在用 Lambda 链式操作,感触最深的是:CRUD 看似简单,数据量一大,性能问题就来了。

最近负责的一个项目,数据库表量级破千万,每次执行 CRUD 都像走钢丝,稍有不慎就引起数据库报警。本文就结合这个项目的实战经验,聊聊 MyBatis Plus 在千万级数据场景下如何优化 CRUD 操作


一、MyBatis Plus 简介

MP 是 MyBatis 的增强工具,主打“无侵入、低门槛、强增强”,提供了一整套优雅的 CRUD 封装,尤其适合中后台系统的开发。

但性能优化这件事,MP 提供了钩子,还得靠我们自己去掌握底层逻辑与场景判断


二、千万级数据的挑战

当数据达到千万级时,常见的问题有:

  • 查询慢、分页卡顿
  • 更新/删除误操作影响大
  • 数据迁移困难
  • 索引策略不合理
  • 乐观锁/悲观锁未启用带来并发问题

三、优化 CRUD 的关键策略

下面我从 增、删、改、查 四个维度,结合 MP 的用法,逐一拆解优化策略。


1.查询优化(Select)

使用分页插件 + 索引优化

Page<User> page = new Page<>(1, 10);
IPage<User> result = userMapper.selectPage(page, new QueryWrapper<User>()
        .eq("status", "active")
        .orderByDesc("create_time"));

优化点:

  • 创建复合索引 (status, create_time),避免文件排序
  • 设置合理的 limit 范围,避开深分页(推荐游标分页)

游标分页(Keyset Pagination)案例:

QueryWrapper<User> wrapper = new QueryWrapper<>();
wrapper.lt("id", lastId)
       .orderByDesc("id")
       .last("limit 100");

List<User> users = userMapper.selectList(wrapper);

比传统 OFFSET 分页快得多,适合批量导出或加载。


2.插入优化(Insert)

批量插入代替单条插入

List<User> userList = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
    userList.add(new User("user" + i));
}
userMapper.insertBatchSomeColumn(userList); // 需自定义方法或 MyBatis 扩展

建议:

  • 单次批量插入控制在 1000 条以内,避免 SQL 超长
  • 使用原生 JDBC 批处理,性能更优

3.更新优化(Update)

避免全表更新

错误:

userMapper.update(null, new UpdateWrapper<User>().set("status", "inactive"));

优化:

UpdateWrapper<User> wrapper = new UpdateWrapper<>();
wrapper.eq("status", "active");
wrapper.set("status", "inactive");
userMapper.update(null, wrapper);

永远记住:Update 要加条件!

乐观锁控制并发更新

@TableField(fill = FieldFill.UPDATE)
@Version
private Integer version;
user.setVersion(3);
userMapper.updateById(user); // MP 会自动加 version 判断

4.删除优化(Delete)

逻辑删除替代物理删除

@TableLogic
private Integer isDeleted;
userMapper.deleteById(123L); // 实际执行的是 UPDATE 操作

逻辑删除的优势:

  • 避免误删
  • 保留数据审计
  • 与回收站机制兼容

注意:逻辑删除字段要加索引!


四、批处理与异步处理

在千万级数据场景,批处理 + 异步化 是性能优化的核心手段:

  • 使用 Stream 分批处理大数据集合
  • 配合 Spring Batch 或自定义线程池实现异步任务
  • 使用定时任务(如 XXL-JOB)分时段处理数据

五、数据库层面的优化建议

  • 合理建索引(避免过多/重复索引)
  • 垂直/水平分表(ShardingSphere、MyCat)
  • 使用中间件缓存热点数据(Redis)
  • 慎用视图和子查询,优先考虑 JOIN 重构

六、总结:CRUD 优化是一场系统工程

MyBatis Plus 提供了优雅的接口,但数据量上来之后,框架只是工具,根本还在底层 SQL 和设计策略上

作为一个写了 8 年 Java 的程序员,我最大的体会是:

性能不是调出来的,是设计出来的。

合理建模 + 规范使用 MP + 数据库调优,才能让你的系统在千万级数据面前从容应对。

相关推荐

手机下载pe启动盘(手机pe启动盘制作工具)

使用手机制作电脑PE启动盘需要以下步骤:1.手机需要支持OTG功能,并插入U盘。2.下载并安装一个名为“Rufus”的应用程序,它可以将U盘制作成可引导的PE启动盘。3.打开Rufus应用程序,...

2025年路由器推荐(2021年值得买的路由器)

水星AX18G这个无线速率是1800Mbps也属于“阉割”版的,跟标准的WiFi6还有一定差距。不过价格便宜,也可以作为WiFi6的尝试产品家里有宽带的话,买个无线路由器,约100元左右就行。每月交宽...

磁盘分区形式(磁盘分区形式MBR与GPT怎么转换)

怎么进行磁盘分区,可以参考以下步骤:步骤1.在“此电脑”上右键点击,选择“管理”,然后在“计算机管理”窗口的左侧列表中选择“磁盘管理”。在Windows10中也可以右键点击开始菜单,直接选择“磁盘...

固态硬盘使用寿命(固态硬盘使用寿命多久)

2012年9月买的联想U410超极本,到目前五年多,使用6300小时左右,电池损耗率只有15%+,固态硬盘升级120GB+原装的500GB机械硬盘,内存升级到16GB(上限了),加上Primocach...

general(general是什么意思)

GENERAL的意思是:1、adj.一般的,普通的;综合的;大体的2、n.一般;将军,上将;常规短语:1、generaldesign总体设计2、generalhospital总医院;综合医...

手机处理器排名最新图(手机处理器排行榜全部)

众所周知,手机端SOC很少在插电模式下运行,因此能耗比在移动端CPU性能中特别重要。本文整理了主流的SOC能耗比情况,给大家购买手机做一个参考。SOC能耗比较高的,包括麒麟810,骁龙625,麒麟65...

pdf版本怎么弄(怎么把word转为pdf)

回答如下:要将PDF文件恢复到以前的版本,您需要执行以下步骤:1.找到保存PDF文件的文件夹或位置。2.在该位置中找到以前的版本,这可能是备份文件、自动保存文件或之前保存的版本。3.如果您没有备...

怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
  • 怎么几个电脑共用一台打印机
笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
  • 笔记本电脑本地连接连不上(笔记本本地连接不上什么原因)
万能bt搜索引擎网站(bt万能搜索破解版)

最好用最全面的的磁力搜索引擎是磁力熊,因为它是一个内容丰富、还是功能最为强大的一个磁力搜索网站,通过它不仅仅可以搜索磁力熊磁力熊,是一个内容丰富、功能最为强大的一个磁力搜索网站,通过它不仅仅可以搜索...

苹果id注册官网登录(appleid官网注册账号)

浏览器访问申请AppleID官网注册  1、在浏览器地址栏上面输入:“https://appleid.apple.com/cn”,进入申请AppleID官网界面,点击下面的“创建AppleID...

苹果笔记本怎么下载windows系统

方法一:使用BootCamp方法二:使用虚拟机方法三:使用Wine简介BootCamp是苹果电脑自带的一个软件,可以帮助用户在Mac上安装Windows操作系统。虚拟机则是运行在Mac上的一个软件...

华硕电脑激活码(华硕电脑windows激活码在哪里)

你所说的应该是系统激活密钥吧华硕OEM密钥就行!HomePremium(家庭高级版):27GBM-Y4QQC-JKHXW-D9W83-FJQKDUltimate(旗舰版):6K2KY-BF...

wifi如何防止别人蹭网(wifi如何防止别人蹭网呢)

防止WIFI被蹭网的方法1、家庭的wifi信号,一般是通过设置无线路由器发射出来。在设置无线路由器时,一定要注意设置无线密码的安全强度。最好含有大小写字母加数字的组合,不要设置连续数字,比如“1234...

无线ap安装示意图(无线ap如何安装方法)

商用无线ap安装完成后连接ap应用添加wifi网络信号将无线网卡插入电脑USBWindows7/8系统下,网卡安装成功后直接进行软件安装...2.继续安装类型,推荐保持默认选择,点击“下一步”继续安装...