Es7.x数据迁移实战(Snapshot、S3)

liuian 2025-06-24 15:18 64 浏览

前言

前面文章写过ES的迁移方案，不同场景使用不同的迁移方案会事半功倍，今天咱们就来具体操作一下基于Snapshot方式来迁移数据，Snapshot更加适用于大数据量跨集群迁移数据。并且索引创建快照的过程是增量的。在给索引创建快照的过程中，Elasticsearch会分析存储在仓库中的索引文件并且只会复制那些自从上次快照之后新建或有所更新的文件。这使得多个快照以一种紧凑的方式存储在同一个仓库里。创建快照的过程是以非阻塞方式执行的。一个索引在创建快照的同时能够被检索和查询。尽管如此，快照保存的是在开始进行创建快照的那个时间点的索引的视图。所以，在开始创建快照之后的记录不会出现在这个快照里。在主分片启动之后创建快照的过程就会立即开始，并且之后不会改变位置。

操作

开门见山，直接上操作，咱们使用Kibana可视化桌面来操作，当然也可以直接使用CURL的方式。

安装S3插件

除了S3，也可以使用本地存储fs等，进入docker容器

docker exec -it c76785ab5a8b bash

# 安装插件
./bin/elasticsearch-plugin insyall repository-s3

exit

重启容器（不建议这样安装，万一容器挂了重新启动后就会没有，建议使用挂载的方式）

docker restart c76785ab5a8b

查看是否安装成功

GET _cat/plugins

c76785ab5a8b analysis-ik 7.8.1
c76785ab5a8b repository-s3 7.8.1

显示这样表明安装成功，一般情况下插件版本是和ES的版本对应的

创建仓库

创建仓库之前咱们先把minio的AK、SK在后台配置（安全），以同样的方式进入docker中

./bin/elasticsearch-keystore add s3.client.default.access_key
./bin/elasticsearch-keystore add s3.client.default.secret_key

添加后退出重启（不建议）

然后开始创建仓库

PUT _snapshot/stock_backup
{
  "type": "s3",
  "settings": {
    "bucket": "stock",
    "protocol": "http",
    "disable_chunked_encoding": "true",
    "endpoint": "172.0.0.1:9000"
  }
}

验证是否创建成功

GET _snapshot/_all?pretty

{
  "stock_backup" : {
    "type" : "s3",
    "settings" : {
      "bucket" : "stock",
      "disable_chunked_encoding" : "true",
      "endpoint" : "172.0.0.1:9000",
      "protocol" : "http"
    }
  }
}

此时，仓库已经创建好了，咱们直接备份数据

备份

全量备份

PUT _snapshot/stock_backup/snapshot_all

部分备份，例如：只备份其中的index

当然也可以添加参数：

indices： 要本分的index，逗号分割。

max_wait: 最大等待时间。

wait_interval: 等待间隔。

wait_for_completion： 参数指定创建snapshot的请求是否等待快照创建完成再返回。

ignore_unavailable： 把这个选项设置为 true 的时候在创建快照的过程中会忽略不存在的索引。默认情况下，如果没有设置 ignore_unavailable 在索引不存在的情况下快照请求将会失败。

include_global_state： 为false 能够防止集群的全局状态被作为快照的一部分存储起来。默认情况下，如果快照中的1个或多个索引不是全部主分片都可用会导致整个创建快照的过程失败。通过设置 partial 为 true 可以改变这个行为。

PUT _snapshot/stock_backup/default_all
{
  "indices": "dec_default_news,dec_default_rate,dec_default_ha",
  "ignore_unavailable": true,
  "include_global_state": false
}

查看备份状态

GET _snapshot/stock_backup/default_all  # 查看单个

{
  "snapshots" : [
    {
      "snapshot" : "default_all",
      "uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
      "version_id" : 7080199,
      "version" : "7.8.1",
      "indices" : [
        "dec_default_news",
        "dec_default_rate",
        "dec_default_ha"
      ],
      "include_global_state" : false,
      "state" : "SUCCESS",
      "start_time" : "2022-04-02T03:16:09.842Z",
      "start_time_in_millis" : 1648869369842,
      "end_time" : "2022-04-02T03:16:09.842Z",
      "end_time_in_millis" : 1648869369842,
      "duration_in_millis" : 0,
      "failures" : [ ],
      "shards" : {
        "total" : 3,
        "failed" : 0,
        "successful" : 3
      }
    }
  ]
}

GET _snapshot/stock_backup/_all?pretty  # 查看所有

{
  "snapshots" : [
    {
      "snapshot" : "default_all",
      "uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
      "version_id" : 7080199,
      "version" : "7.8.1",
      "indices" : [
        "dec_default_news",
        "dec_default_rate",
        "dec_default_ha"
      ],
      "include_global_state" : false,
      "state" : "SUCCESS",
      "start_time" : "2022-04-02T03:16:09.842Z",
      "start_time_in_millis" : 1648869369842,
      "end_time" : "2022-04-02T03:16:09.842Z",
      "end_time_in_millis" : 1648869369842,
      "duration_in_millis" : 0,
      "failures" : [ ],
      "shards" : {
        "total" : 3,
        "failed" : 0,
        "successful" : 3
      }
    }
  ]
}

此时已经备份成功

恢复

咱们的操作是跨集群的数据迁移，同样的操作，在另一个集群里面创建相同的仓库

PUT _snapshot/stock_backup
{
  "type": "s3",
  "settings": {
    "bucket": "stock",
    "protocol": "http",
    "disable_chunked_encoding": "true",
    "endpoint": "172.0.0.1:9000"
  }
}

然后看下现在有备份数据

GET _snapshot/stock_backup/_all?pretty
{
  "snapshots" : [
    {
      "snapshot" : "default_all",
      "uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
      "version_id" : 7080199,
      "version" : "7.8.1",
      "indices" : [
        "dec_default_news",
        "dec_default_rate",
        "dec_default_ha"
      ],
      "include_global_state" : false,
      "state" : "SUCCESS",
      "start_time" : "2022-04-02T03:16:09.842Z",
      "start_time_in_millis" : 1648869369842,
      "end_time" : "2022-04-02T03:16:09.842Z",
      "end_time_in_millis" : 1648869369842,
      "duration_in_millis" : 0,
      "failures" : [ ],
      "shards" : {
        "total" : 3,
        "failed" : 0,
        "successful" : 3
      }
    }
  ]
}

发现已经存在了备份的数据，此时只需要恢复就行

POST _snapshot/stock_backup/default_all/_restore

{
  "acknowledged" : true
}

等待执行结束就OK

GET _cat/indices

yellow open dec_default_news   HWykC-xpQVK0ZqK-3NjXVA 1 1     308    0   208kb   208kb
yellow open dec_default_rate   F3JFzHF-QK2AH_9IUmnacA 1 1  409471    0 221.5mb 221.5mb
yellow open dec_default_ha     c78OXNB1T3KafgVHj7TwiA 1 1     164    0 250.2kb 250.2kb

大功告成

kibana可视化使用教程