当前位置：网站首页 > IT知识 > 正文

Elasticsearch 存储设计与MySQL数据同步方案

liuian 2025-08-03 06:02 24 浏览

Elasticsearch 存储设计

Elasticsearch中index约等于MySQL的database，type约等于MySQL的table；

虽然Elasticsearch支持一个index多个type，但是官方并不推荐如此使用，而且多个type底层其实也是用一张大表进行存储的。

所以，Elasticsearch 中存储的数据用一个type来存储就可以了。使用nested类型保存一对多关系。

MySQL数据同步

1. MySQL & Elasticsearch双写

实现思路：在业务 insert ＆ update MySQL的地方同时 insert ＆ update Elasticsearch
优点：实现简单
缺点：业务代码侵入；能力无法复用；业务强耦合；影响业务处理性能；
优化做法：配合MQ提高吞吐量、改同步为异步
推荐指数：不可取

2. 定时 MySQL SELECT

实现思路：数据库的相关表中增加是否需要同步的标识字段，例如现有的类型为 timestamp 的 update_time 字段，任何更新数据表内容的操作都会使该字段的时间发生变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取到 Elasticsearch ；
优点：实现简单；没有侵入；没有硬编码；
缺点：时效性较差；对 MySQL Delete 操作无能为力；增大 MySQL 的压力；无法按字段同步，只能整行同步；对SQL单之类瞬时大批量更新处理繁琐；
优化做法：给标志字段添加索引，从从库进行读取；
推荐指数：一般

3. Binlog 解析

实现思路：读取 MySQL 的 Binlog 日志，获取指定表的日志信息；根据信息同步到 ES；
优点：没有侵入；没有硬编码；性能高；业务解耦；
缺点：实现相对复杂；
优化做法：配合MQ，使用生产者消费者模式提高同步性能；采用 MySQL 主-从-从模式；
推荐指数 : 推荐 : Java生态的常规做法 开源组件：阿里 canal
实现依赖 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式授权 MySQL 连接账号，使其具有作为 MySQL slave 的权限

mysql 刷新权限

上一篇：Spring Boot3中使用阿里Canal实现MySQL与ElasticSearch的数据同步
下一篇：Mysql实战总结&面试20问

相关推荐

win11怎么激活（win11怎么激活office）: 目前，Windows11的永久激活方法还没有被公开或者确认。不过，你可以尝试以下几种方法来激活Windows11：使用数字许可证：如果你的电脑已经安装了Windows10并且已经激活，那么你可以...

笔记本电脑快捷键大全（笔记本电脑快捷键大全常用）

苹果恢复出厂设置（苹果恢复出厂设置还能恢复数据吗）: 首先打开手机上面的“设置”功能，进入手机的系统设置。进入手机的设置后，选择“通用"。进入通用之后，往下滑动页面，在页面的最下方可以看到“还原”的选项，点击进入。进入还原之后，有多个还原选项，我...

路由器的配置步骤（路由器配置教学）: 打开浏览器-输入192.168.1.1(一般路由器地址是这个或者查看路由器背面的登录信息)进路由-输入用户名,密码,（默认一般是admin）。2、在【设置向导】里，选择【PPOE拨号】（有些是ADS...

psp模拟器ios（psp模拟器ios推荐）: psp手机模拟器推荐PPSSPP，作为最流行的开源PSP模拟器，因为其强大的功能和兼容性广受玩家们喜爱。虽然提供了PC和安卓双平台的支持，但是有碍于安卓设备的硬件，移动端PPSSPP的功能并不完整。不...

台式机重装系统按f几（重装电脑系统按f几）: F8、F9、F10、F11、F12、F2、del。一般用到这几个。下面以联想电脑装WIN10系统为例:1、将制作好的U盘插入要重装系统的电脑，开机画面出现电脑品牌logo时，不停地按“f2键”进入“B...

win10激活错误代码0x8007007b: Win10激活出现0x8007007b解决方法如下1、找到计算机，右键点击属性，确认你的电脑系统是否是windows10。2、鼠标右击桌面，依次点击个性化－主题－桌面图标设置，勾选计算机后依次点击应用...

4000台式电脑最好的组装配置: 四千元价格组装电脑主机与五千元组装电脑主机的价格类似，因为电脑主机就几个大部件，电脑主机主板是多少代的产品？主板内存的插槽数？电脑处理器等如果是自己组装，都可以配置到十二代产品，电脑硬盘可以分为256G固态硬盘做系统盘，1T机械硬盘作为工作...; 2025-11-06 20:05 liuian

linux是一种什么系统（linux属于什么系统）: Linux，全称GNU/Linux，是一种免费使用和自由传播的类UNIX操作系统，是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。其内核由林纳斯·本纳第克特·托瓦兹于1991年1...

手机管理大师免费版（手机管理大师极速版）: 使用手机“文件管理”打开文件夹时提示访问受限，需要前往“文件”应用查看1.进入手机设置——安全——应用权限——权限/应用2.在手机桌面找到手机管家——权限隐私——应用权限——权限/应用?当然，相对于被...

电脑能开机但是进不去桌面怎么办: 打开任务管理器按Ctrl+Shift+Esc打开任务管理器。文件中运行新任务点击文件，运行新任务。输入指令重启桌面输入explorer.exe，点击确定，等待桌面重启完成就可以了。电脑已经是我们生活中...

怎样解除自动关机模式（怎样解除自动开关机）: 1、打开手机主界面，找到系统自带的“时钟”应用，点击打开它。2、点击进入时钟后，点击右下角的“计时器”。3、进入到计时器后，点击“在计时结束启用雷达”这个选项。4、然后在这里，下拉到最下面，勾选“停...

电脑最高配置是什么配置2025: 一，2023最新主流电脑装机配置如下。二，处理器可以使用十二代的i512400或者i512490f，内存16gb双通道，显卡rtx3060，主板可以使用b660m或者h610m。三，如果十三代酷睿...

MySQL慢查询优化:从explain到索引，DBA手把手教你提升10倍性能: 数据库性能是应用系统的生命线，而慢查询就像隐藏在系统中的定时炸弹。某电商平台曾因一条未优化的SQL导致订单系统响应时间从200ms飙升至8秒，最终引发用户投诉和订单流失。今天我们就来系统学习MySQL...

一文读懂SQL五大操作类别(DDL/DML/DQL/DCL/TCL)的基础语法: 在SQL中，DDL、DML、DQL、DCL、TCL是按操作类型划分的五大核心语言类别，缩写及简介如下：DDL（DataDefinitionLanguage，数据定义语言）：用于定义和管理数据库结构...

一周热门

最近发表

首页
收录
顶部