Elasticsearch集群数据的数据备份与恢复

Elasticsearch提供snapshot api命令来完成数据备份操作，可以把集群当前的状态和数据全部存储到一个其他目录上，本地路径或网络路径均可，并且支持增量备份。可以根据数据量来决定备份的执行频率，增量备份的速度还是很快的。

创建备份仓库

我们把仓库地址暂定为本地磁盘的/home/esuser/esbackup目录，

首先，我们需要在/etc/elasticsearch/elasticsearch.yml配置文件中加上

path.repo: /home/esuser/esbackup

并重启Elasticsearch。

启动成功后，发送创建仓库的请求：

curl -XPUT 'http://elasticsearch:9200/_snapshot/esbackup?pretty' -H 'Content-Type: application/json' -d '
{
    "type": "fs", 
    "settings": {
        "location": "/home/esuser/esbackup"
    }
}
'

参数解释：

type: 仓库的类型名称，请求里都是fs，表示file system。
location: 仓库的地址，要与elasticsearch.yml配置文件相同，否则会报错
max_snapshot_bytes_per_sec: 指定数据从Elasticsearch到仓库（数据备份）的写入速度上限，默认是20mb/s
max_restore_bytes_per_sec: 指定数据从仓库到Elasticsearch（数据恢复）的写入速度上限，默认也是20mb/s

用于限流的两个参数，需要根据实际的网络进行设置，如果备份目录在同一局域网内，可以设置得大一些，便于加快备份和恢复的速度。

查看仓库

curl -XGET 'http://elasticsearch:9200/_snapshot/esbackup?pretty'

索引备份

仓库创建好并验证完成后，可以执行snapshot api对索引进行备份了，

如果不指定索引名称，表示备份当前所有open状态的索引都备份，还有一个参数wait_for_completion，表示是否需要等待备份完成后才响应结果，默认是false，请求提交后会立即返回，然后备份操作在后台异步执行，如果设置为true，请求就变成同步方式，后台备份完成后，才会有响应。建议使用默认值即可，有时备份的整个过程会持续1-2小时。

示例1：备份所有的索引，备份名称为snapshot_20210312

curl -XPUT 'http://elasticsearch:9200/_snapshot/esbackup/snapshot_20210312?pretty'

示例2：备份索引music的数据，备份名称为snapshot_20210312_02，并指定wait_for_completion为true

curl -XPUT 'http://elasticsearch:9200/_snapshot/esbackup/snapshot_20210312_02?wait_for_completion=true&pretty' -H 'Content-Type: application/json' -d '
{
  "indices": "music",
  "ignore_unavailable": true,
  "include_global_state": false,
  "partial": true
}'

这条命令中几个参数介绍：

indices：索引名称，允许写多个，用","分隔，支持通配符。
ignore_unavailable：可选值true/false，如果为true，indices里不存在的index就可以忽略掉，备份操作正常执行，默认是false，如果某个index不存在，备份操作会提示失败。
include_global_state：可选值true/false，含义是要不要备份集群的全局state数据。
partial：可选值true/false，是否支持备份部分shard的数据。默认值为false，如果索引的部分primary shard不可用，partial为false时备份过程会提示失败。

使用snapshot api对数据的备份是增量进行的，执行snapshotting的时候，Elasticsearch会分析已经存在于仓库中的snapshot对应的index file，在前一次snapshot基础上，仅备份创建的或者发生过修改的index files。这就允许多个snapshot在仓库中可以用一种紧凑的模式来存储，非常节省存储空间，并且snapshotting过程是不会阻塞所有的Elasticsearch读写操作的。

同样的，snapshot作为数据快照，在它之后写入index中的数据，是不会反应到这次snapshot中的，snapshot数据的内容包含index的副本，也可以选择是否保存全局的cluster元数据，元数据里面包含了全局的cluster设置和template。

每次只能执行一次snapshot操作，如果某个shard正在被snapshot备份，那么这个shard此时就不能被移动到其他node上去，这会影响shard rebalance的操作。只有在snapshot结束之后，这个shard才能够被移动到其他的node上去。

查看snapshot备份列表

查看仓库内所有的备份列表

curl -XGET 'http://elasticsearch:9200/_snapshot/esbackup/_all?pretty'

删除snapshot备份

如果需要删除某个snapshot备份快照，一定要使用delete命令，造成别自个跑到服务器目录下做rm操作，因为snapshot是增量备份的，里面有各种依赖关系，极可能损坏backup数据，记住不要上来就自己干文件，让人家标准的命令来执行，命令如下：

curl -XDELETE 'http://elasticsearch:9200/_snapshot/hdfsbackup/snapshot_20200122?pretty'

查看备份进度

备份过程长短视数据量而定，wait_for_completion设置为true虽然可以同步得到结果，但时间太长的话也不现实，我们是希望备份操作后台自己搞，我们时不时的看看进度就行，其实还是调用的snapshot的get操作命令，加上_status参数即可，备份过程中会显示什么时间开始的，有几个shard在备份等等信息：

curl -XGET 'http://elasticsearch:9200/_snapshot/esbackup/snapshot_20210312_02/_status?pretty'

取消备份

正在备份的数据可以执行取消，使用的是delete命令：

curl -XDELETE 'http://elasticsearch:9200/_snapshot/esbackup/snapshot_20210312?pretty'

这个命令有两个作用：

如果备份正在进行中，那么取消备份操作，并且删除备份了一半的数据。
如果备份已经完成，直接删除备份数据。

数据恢复

常规恢复

数据恢复使用restore命令，示例如下：

curl -XPOST 'http://elasticsearch:9200/_snapshot/esbackup/snapshot_20210312_02/_restore?pretty'

注意一下被恢复的索引，必须全部是close状态的，否则会报错，关闭索引的命令：

curl -XPOST 'http://elasticsearch:9200/music/_close?pretty'

恢复完成后，索引自动还原成open状态。

同样有些参数可以进行选择：

curl -XPOST 'http://elasticsearch02:9200/_snapshot/hdfsbackup/snapshot_20200122_02/_restore
{
    "indices": "music", 
    "ignore_unavailable": true,
    "include_global_state": true
}

默认会把备份数据里的索引全部还原，我们可以使用indices参数指定需要恢复的索引名称。同样可以使用wait_for_completion参数，ignore_unavailable、partial和include_global_state与备份时效果相同，不赘述。

监控restore的进度

与备份类似，调用的recovery的get操作命令查看恢复的进度：

curl -XGET 'http://elasticsearch:9200/music/_recovery?pretty'

music为索引名称。

取消restore

与备份类似，delete正在恢复的索引可以取消恢复过程：

curl -XDELETE 'http://elasticsearch:9200/music'

参考

Snapshot and restore

我的技术笔记