百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Spring Boot中如何实现批量插入操作?

liuian 2025-04-27 14:46 16 浏览

其实在SpringBoot中想要实现批量插入操作可以有很多的方式,这主要取决于你所选用的ORM框架以及所使用的数据库。下面是我们总结的一些常用的实现批量插入操作的方法,我们一起来看看吧!

使用Spring Data JPA批量插入

Spring Data JPA是目前比较流行的一个ORM工具框架,在这个框架中支持了批量插入的操作。在默认的情况下,Spring Data JPA会在插入每条记录后立即执行flush操作。为了提高性能,可以手动控制flush和clear操作。如下所示。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import javax.persistence.EntityManager;
import javax.persistence.PersistenceContext;
import java.util.List;

@Service
public class BatchInsertService {

    @Autowired
    private YourEntityRepository repository;

    @PersistenceContext
    private EntityManager entityManager;

    @Transactional
    public void batchInsert(List<YourEntity> entities) {
        int batchSize = 50; // 批处理大小,可以根据实际情况调整
        for (int i = 0; i < entities.size(); i++) {
            entityManager.persist(entities.get(i));
            if (i % batchSize == 0 && i > 0) {
                entityManager.flush();
                entityManager.clear();
            }
        }
        entityManager.flush();
        entityManager.clear();
    }
}

使用JDBC批量插入

当然除了上面的这种方式之外,如果在项目中不想使用JPA技术,也可以通过JDBC操作来实现数据的批量插入操作,如下所示。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Service;
import java.util.List;

@Service
public class BatchInsertService {

    @Autowired
    private JdbcTemplate jdbcTemplate;

    public void batchInsert(List<YourEntity> entities) {
        String sql = "INSERT INTO your_table (column1, column2) VALUES (?, ?)";
        jdbcTemplate.batchUpdate(sql, entities, 1000, (ps, argument) -> {
            ps.setString(1, argument.getColumn1());
            ps.setString(2, argument.getColumn2());
        });
    }
}

使用MyBatis批量插入

除了上述两种方式之外,还有就是我们比较常用的MyBatis框架的批量插入操作。如下所示。

import org.apache.ibatis.annotations.Insert;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import java.util.List;

@Mapper
public interface YourEntityMapper {

    @Insert({
        "<script>",
        "INSERT INTO your_table (column1, column2) VALUES ",
        "<foreach collection='entities' item='entity' separator=','>",
        "(#{entity.column1}, #{entity.column2})",
        "</foreach>",
        "</script>"
    })
    void batchInsert(@Param("entities") List<YourEntity> entities);
}

@Service
public class BatchInsertService {

    @Autowired
    private YourEntityMapper mapper;

    public void batchInsert(List<YourEntity> entities) {
        mapper.batchInsert(entities);
    }
}

但是需要注意,在批量插入时,要注意控制批处理的大小。批次过大会导致内存溢出,过小则无法充分发挥批量操作的性能优势。对于批量插入的事务性来讲,需要确保批量插入操作在事务中执行,以确保数据的一致性和完整性。

从数据库层面来讲,不同的数据库支持的批量插入的性能优化操作是不一样的,需要具体根据相应的数据库来选择合适的方式来操作。

总结

这些方法均适用于Spring Boot项目,可以根据实际需求和技术栈选择合适的方式进行批量插入操作。

相关推荐

深入解析 MySQL 8.0 JSON 相关函数:解锁数据存储的无限可能

引言在现代应用程序中,数据的存储和处理变得愈发复杂多样。MySQL8.0引入了丰富的JSON相关函数,为我们提供了更灵活的数据存储和检索方式。本文将深入探讨MySQL8.0中的JSON...

MySQL的Json类型个人用法详解(mysql json类型对应java什么类型)

前言虽然MySQL很早就添加了Json类型,但是在业务开发过程中还是很少设计带这种类型的表。少不代表没有,当真正要对Json类型进行特定查询,修改,插入和优化等操作时,却感觉一下子想不起那些函数怎么使...

MySQL的json查询之json_array(mysql json_search)

json_array顾名思义就是创建一个数组,实际的用法,我目前没有想到很好的使用场景。使用官方的例子说明一下吧。例一selectjson_array(1,2,3,4);json_array虽然单独...

头条创作挑战赛#一、LSTM 原理 长短期记忆网络

#头条创作挑战赛#一、LSTM原理长短期记忆网络(LongShort-TermMemory,LSTM)是一种特殊类型的循环神经网络(RNN),旨在解决传统RNN在处理长序列数据时面临的梯度...

TensorBoard最全使用教程:看这篇就够了

机器学习通常涉及在训练期间可视化和度量模型的性能。有许多工具可用于此任务。在本文中,我们将重点介绍TensorFlow的开源工具套件,称为TensorBoard,虽然他是TensorFlow...

图神经网络版本的Kolmogorov Arnold(KAN)代码实现和效果对比

本文约4600字,建议阅读10分钟本文介绍了图神经网络版本的对比。KolmogorovArnoldNetworks(KAN)最近作为MLP的替代而流行起来,KANs使用Kolmogorov-Ar...

kornia,一个实用的 Python 库!(python kkb_tools)

大家好,今天为大家分享一个实用的Python库-kornia。Github地址:https://github.com/kornia/kornia/Kornia是一个基于PyTorch的开源计算...

图像分割掩码标注转YOLO多边形标注

Ultralytics团队付出了巨大的努力,使创建自定义YOLO模型变得非常容易。但是,处理大型数据集仍然很痛苦。训练yolo分割模型需要数据集具有其特定格式,这可能与你从大型数据集中获得的...

[python] 向量检索库Faiss使用指北

Faiss是一个由facebook开发以用于高效相似性搜索和密集向量聚类的库。它能够在任意大小的向量集中进行搜索。它还包含用于评估和参数调整的支持代码。Faiss是用C++编写的,带有Python的完...

如何把未量化的 70B 大模型加载到笔记本电脑上运行?

并行运行70B大模型我们已经看到,量化已经成为在低端GPU(比如Colab、Kaggle等)上加载大型语言模型(LLMs)的最常见方法了,但这会降低准确性并增加幻觉现象。那如果你和你的朋友们...

ncnn+PPYOLOv2首次结合!全网最详细代码解读来了

编辑:好困LRS【新智元导读】今天给大家安利一个宝藏仓库miemiedetection,该仓库集合了PPYOLO、PPYOLOv2、PPYOLOE三个算法pytorch实现三合一,其中的PPYOL...

人工智能——图像识别(人工智能图像识别流程)

概述图像识别(ImageRecognition)是计算机视觉的核心任务之一,旨在通过算法让计算机理解图像内容,包括分类(识别物体类别)、检测(定位并识别多个物体)、分割(像素级识别)等,常见的应用场...

PyTorch 深度学习实战(15):Twin Delayed DDPG (TD3) 算法

在上一篇文章中,我们介绍了DeepDeterministicPolicyGradient(DDPG)算法,并使用它解决了Pendulum问题。本文将深入探讨TwinDelayed...

大模型中常用的注意力机制GQA详解以及Pytorch代码实现

分组查询注意力(GroupedQueryAttention)是一种在大型语言模型中的多查询注意力(MQA)和多头注意力(MHA)之间进行插值的方法,它的目标是在保持MQA速度的同时...

pytorch如何快速创建具有特殊意思的tensor张量?

专栏推荐正文我们通过值可以看到torch.empty并没有进行初始化创建tensor并进行随机初始化操作,常用rand/rand_like,randint正态分布(0,1)指定正态分布的均值还有方差i...