当前位置：网站首页 > IT知识 > 正文

Elasticsearch 存储设计与MySQL数据同步方案

liuian 2025-08-03 06:02 31 浏览

Elasticsearch 存储设计

Elasticsearch中index约等于MySQL的database，type约等于MySQL的table；

虽然Elasticsearch支持一个index多个type，但是官方并不推荐如此使用，而且多个type底层其实也是用一张大表进行存储的。

所以，Elasticsearch 中存储的数据用一个type来存储就可以了。使用nested类型保存一对多关系。

MySQL数据同步

1. MySQL & Elasticsearch双写

实现思路：在业务 insert ＆ update MySQL的地方同时 insert ＆ update Elasticsearch
优点：实现简单
缺点：业务代码侵入；能力无法复用；业务强耦合；影响业务处理性能；
优化做法：配合MQ提高吞吐量、改同步为异步
推荐指数：不可取

2. 定时 MySQL SELECT

实现思路：数据库的相关表中增加是否需要同步的标识字段，例如现有的类型为 timestamp 的 update_time 字段，任何更新数据表内容的操作都会使该字段的时间发生变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取到 Elasticsearch ；
优点：实现简单；没有侵入；没有硬编码；
缺点：时效性较差；对 MySQL Delete 操作无能为力；增大 MySQL 的压力；无法按字段同步，只能整行同步；对SQL单之类瞬时大批量更新处理繁琐；
优化做法：给标志字段添加索引，从从库进行读取；
推荐指数：一般

3. Binlog 解析

实现思路：读取 MySQL 的 Binlog 日志，获取指定表的日志信息；根据信息同步到 ES；
优点：没有侵入；没有硬编码；性能高；业务解耦；
缺点：实现相对复杂；
优化做法：配合MQ，使用生产者消费者模式提高同步性能；采用 MySQL 主-从-从模式；
推荐指数 : 推荐 : Java生态的常规做法 开源组件：阿里 canal
实现依赖 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式授权 MySQL 连接账号，使其具有作为 MySQL slave 的权限

mysql 刷新权限

上一篇：Spring Boot3中使用阿里Canal实现MySQL与ElasticSearch的数据同步
下一篇：Mysql实战总结&面试20问

相关推荐

设置无线网密码步骤（如何设置无线网络wifi密码）: 首先使用已经连接到网络的手机或电脑，在浏览器地址栏输入192.168.1.1或者192.168.0.1；输入管理员账号和密码，两个一般都是输入admin；点击【无线设置】，进入【安全选项】，在输入旧密...

下载优酷官方正版（下载优酷官方正版网站）: 您好，直接打开浏览器或者打开手机的应用商城，然后输入该软件的名称然后搜索即可在搜索结果中下载安装即可，也可以下载一个市场类软件，常见的有安卓市场，机锋市场等，之后使用此款软件下载其他程序。优酷视频...

iso文件安装器（iso安装程序）: 不能。苹果手机是不能安装apk格式软件的，apk是安卓系统的安装包格式。通过将APK文件直接传到Android模拟器或Android手机中执行即可安装。apk文件和sis一样，把androidsdk...

台式电脑重装系统按哪个键进入: 不同品牌的设备按键是不同的1、如果原来电脑装一键还原软件，装系统时直接在启动画面选择重新恢复系统项即可；2、如需启动光盘或者优盘来重装系统，需要开机按启动热键，选择对应的按键即可调出启动菜单选择界面，在菜单中选择优盘或光驱，按回车，按提示进...; 2025-12-22 17:55 liuian

戴尔笔记本电脑一开机就蓝屏: 笔记本蓝屏可能是电脑硬盘故障，可以更换一个硬盘尝试。也可能是更新了驱动与修复漏洞补丁，可以进入安全模式将更新的驱动删除。有可能是内存条故障，可以把内存条取下来，用橡皮擦轻轻擦拭金手指，然后用毛刷将内存...

优酷路由宝怎么设置（优酷路由宝怎么设置网络）: 无线连接如果准备用手机、笔记本电脑来设置优酷路由宝，需要先把WAN口，连接宽带网线（宽带猫、光猫）；然后手机/笔记本电脑搜索连接到优酷路由宝的WiFi。优酷路由宝的默认WiFi名称是：Youku_开...

一键装机软件大全（一键装机下载）: 1一键装机工具是一种自动化安装计算机操作系统以及常用软件的工具。2使用一键装机工具，需要先准备好需要安装的操作系统镜像和需要安装的软件列表，然后将它们放在一键装机工具所指定的位置。接下来，打开一键...

home键是什么意思苹果手机（home键是苹果手机哪个键）: 就是手机屏幕正下方的那个圆形的按钮，就是苹果手机的home键，home键的作用比较大，可以用来设置指纹解锁，单机home键可以返回主屏幕界面，双击home键可以弹出后台应用程序可以进行清楚，还可以通过...

tplink说明书图片（tp-link路由器说明书步骤图）: 第一步连接路由器WIFI在手机获取IP地址里找到路由器网关地址，第二步在浏览器地址栏输入路由器网关地址，之后会跳转到路由器管理员登录界面，输入账号密码就可以进入路由后台管理路由，如果提示路由器密码错误...

如何不安装flash玩4399（现在4399不提供flash如何玩游戏）: 没有flash是玩不了的，需要开启flash才可以。1、首先打开浏览器，进入4399的游戏页面。2、进入游戏页面后，点击【已被屏蔽】文字。3、然后右上角会出现窗口，点击【管理】按钮。4、进入管理页面后...

chrome download apk（chromedownloadapk in english）: 手机下载安装的第三方应用出现问题,无法正常使用，建议按照以下方法操作：1.关闭重新启动该应用。2.建议将此软件卸载重新安装尝试。3.更换其他版本尝试。4.更新下手机系统版本后安装尝试5.备份手机数据（...

qq空间官网手机登录网页版（qq空间官网登陆入口）: z.qq.com可以通过以下方式登录手机QQ空间：1、使用手机登录手机腾讯网3g.qq.com，点击“空间”，根据提示QQ号码和QQ密码就可以登录；2、通过手机直接输入手机QQ空间网址z.qq.com，根据提示操作即可登录；3、下载手机Q...; 2025-12-22 13:55 liuian

windows11我的电脑在哪里打开: 1/6通过“开始”进入“设置”-“时间和语言”。2/6在“时间和语言”界面选择“区域”3/6这里我们将区域更改位“新加披”，退出。4/6打开微软自带的市场，搜索“你的手机”获取并下载。5/6安装完成后...

win10怎么取消开机自启动（win10如何关闭开机自动启动）: 要关闭Windows10的开机自动启动程序，你可以按下Win+R键，输入"msconfig"并按回车键打开系统配置工具。在"启动"选项卡中，你可以看到所有开机自动...

手机cpu排名2025（手机cpu排名榜）: 一、2022手机CPU性能综合排名前八名手机CPU：1、型号：苹果A16---综合分数：暂无2、型号：骁龙8gen1---综合分数：42333、联发科天玑9000---综合分数：38724、...

一周热门

最近发表

首页
收录
顶部