百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

Elasticsearch 存储设计与MySQL数据同步方案

liuian 2025-08-03 06:02 2 浏览

Elasticsearch 存储设计

Elasticsearch中index约等于MySQL的database，type约等于MySQL的table；

虽然Elasticsearch支持一个index多个type，但是官方并不推荐如此使用，而且多个type底层其实也是用一张大表进行存储的。

所以，Elasticsearch 中存储的数据用一个type来存储就可以了。使用nested类型保存一对多关系。

MySQL数据同步

1. MySQL & Elasticsearch双写

  • 实现思路 ：在业务 insert ＆ update MySQL的地方同时 insert ＆ update Elasticsearch
  • 优点 ：实现简单
  • 缺点 ： 业务代码侵入；能力无法复用；业务强耦合；影响业务处理性能；
  • 优化做法：配合MQ提高吞吐量、改同步为异步
  • 推荐指数 ： 不可取

2. 定时 MySQL SELECT

  • 实现思路 ：数据库的相关表中增加是否需要同步的标识字段，例如现有的类型为 timestamp 的 update_time 字段，任何更新数据表内容的操作都会使该字段的时间发生变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取到 Elasticsearch ；
  • 优点 ：实现简单；没有侵入；没有硬编码；
  • 缺点 ： 时效性较差；对 MySQL Delete 操作无能为力；增大 MySQL 的压力； 无法按字段同步，只能整行同步；对SQL单之类瞬时大批量更新处理繁琐；
  • 优化做法：给标志字段添加索引，从从库进行读取；
  • 推荐指数 ： 一般

3. Binlog 解析

  • 实现思路 ：读取 MySQL 的 Binlog 日志，获取指定表的日志信息；根据信息同步到 ES；
  • 优点 ：没有侵入；没有硬编码；性能高；业务解耦；
  • 缺点 ： 实现相对复杂；
  • 优化做法：配合MQ，使用生产者消费者模式提高同步性能；采用 MySQL 主-从-从模式；
  • 推荐指数 : 推荐 : Java生态的常规做法 开源组件：阿里 canal
  • 实现依赖 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式 授权 MySQL 连接账号，使其具有作为 MySQL slave 的权限

相关推荐

快速上手maven

Maven的作用在开发过程中需要用到各种各样的jar包，查找和下载这些jar包是件费时费力的事，特别是英文官方网站，可以将Maven看成一个整合了所有开源jar包的合集，我们需要jar包只需要从Mav...

Windows系统——配置java环境变量

怎么配置java环境变量呢？首先是安装好jdk然后我的电脑右键选择属性然后选择左侧高级系统设置高级然后点环境变量然后在用户变量或系统变量中配置，用户变量指的是只有当前用户可用，系统变量指的是系统中...

ollama本地部署更改默认C盘，Windows配置环境变量方法

ollama是一个大语言模型（LLM——LargeLanguageModel），本地电脑安装网上也要很多教程，看上去非常简单，一直下一步，然后直接就可以使用了。但是我在实操的时候并不是这样，安装完...

# Windows 环境变量 Path 显示样式更改

#怎样学习Java##Windows环境变量Path显示样式更改##1、传统Path环境变量显示：```---》键盘上按【WIN+I】打开系统【设置】---》依次点击---》【系统...

如何在Windows中创建用户和系统环境变量

在Windows中创建环境变量之前您应该了解的事情在按照本指南中所示的任何步骤创建指向文件夹、文件或其他任何内容的用户和系统变量之前，您应该了解两件事。第一个也是最重要的一个是了解什么是环境变量。...

Windows 中的环境变量是什么?

Windows中的环境变量是什么？那么，Windows中的环境变量是什么？简而言之，环境变量是描述应用程序和程序运行环境的变量。所有类型的程序都使用环境变量来回答以下问题：我安装的计算机的名称是什么...

【Python程序开发系列】谈一谈Windows环境变量:系统和用户变量

这是我的第350篇原创文章。一、引言环境变量（environmentvariables）一般是指在操作系统中用来指定操作系统运行环境的一些参数，如：临时文件夹位置和系统文件夹位置等。环境变量是在操作...

系统小技巧:还原Windows10路径环境变量

有时，我们在Windows10的“运行”窗口中执行一些命令或运行一些程序，这时即便没有指定程序的具体路径，只输入程序的名称（如notepad.exe），便可以迅速调用成功。这是因为Windows默认...

Windows10系统的“环境变量”在哪里呢?

当我们在操作系统是Windows10的电脑里安装了一些软件，要通过配置环境变量才能使用软件时，在哪里能找到“环境变量”窗口呢？可以按照下面的步骤找到“环境变量”。说明：下面的步骤和截图是在Window...

系统小技巧:彻底弄懂Windows 10环境变量

每当我们进行系统清理时，清理软件总能自动找到Windows的临时文件夹之所在，然后加以清理，即便是我们重定向了TEMP目录也是如此。究其原因，是因为清理软件会根据TEMP环境变量来判断现有临时文件夹的...

MySQL 5.7 新特性大全和未来展望

本文转自微信公众号：高可用架构作者：杨尚刚引用美图公司数据库高级DBA，负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师，负责新浪微博核心数据库架构改造优化，以及数据库相关的服务器存...

MySQL系列-源码编译安装(v8.0.25)

一、前言生产环境建议使用二进制安装法，其优点是部署简单、快速、方便，并且相对"yum/rpm安装"方法能更方便地自定义文件存放的目录结构，方便用脚本批量部署，方便日后运维管理。在生产...

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随我的脚步，一起来揭开它神秘的面纱吧。简介canal翻译为...

技术老兵十年专攻MySQL:编写了763页核心总结，90%MySQL问题全解

MySQL是开放源码的关系数据库管理系统，由于性能高、成本低、可靠性好，成为现在最流行的开源数据库。MySQL学习指南笔记领取方式：关注、转发后私信小编【111】即可免费获得《MySQL进阶笔记》的...

Mysql和Hive之间通过Sqoop进行数据同步

文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置CPU数和内存大小查看CPU数sysctl machdep.cpu...

一周热门
最近发表
标签列表