上一篇文章中我们用S3表引擎简单快速的实现了存算分离。本文在S3表引擎的基础上聊聊实现存算分离的存储策略。

minio是什么？

MinIO 是一款基于 Go 语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。

MinIO将对象存储的固有优势与一套强大的特性、一个非常简单、直观的界面和一组扩展的集成结合在一起。它的独特之处在于，它是用云原生技术从头开始构建的，简单、快速、持久和高度可扩展。由于相信复杂的解决方案是不可扩展的，极简主义的设计理念形成了MinIO架构设计的基础。这就是minio成为在几个关键方面都很出色的系统的原因。

Minio的特点：

• 高性能：作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GG/s的写速率
• 可扩容：不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心
• 云原生：容器化、基于K8S的编排、多租户支持
• Amazon S3兼容：Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。
• 可对接后端存储: 除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
• SDK支持: 基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持
• Lambda计算: Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。
• 有操作页面
• 功能简单: 这一设计原则让MinIO不容易出错、更快启动
• 支持纠删码：MinIO使用纠删码，在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据

ClickHouse的特征

ClickHouse支持S3协议利用外部存储。

• 使用S3表引擎直接读取服从S3协议的外部数据
• ClickHouse提供了使用S3作为MergeTree引擎的存储支持。ClickHouse存储卷允许从MergeTree表引擎中抽象物理磁盘，类型支持S3。

ClickHouse的存储策略

S3包容性是云原生应用的硬性要求，Minio支持S3兼容，这意味着ClickHouse可以与Minio进行通信，作为ClickHouse可用的磁盘。

S3函数和S3表引擎允许我们使用熟悉的 ClickHouse 语法查询 S3 中的数据。但是，关于数据管理功能和性能是有限的。不支持主索引，不支持缓存，文件插入需要由用户管理。

因此，ClickHouse 认识到 S3 代表了一种有吸引力的存储解决方案，尤其是在“较冷”数据的查询性能不太重要的情况下，用户寻求将存储和计算分开的解决方案。为了实现此目的，clickhouse提供了对使用 S3 作为MergeTree引擎的存储的支持。这将使用户能够利用 S3 的可扩展性和成本效益，以及 MergeTree 引擎的插入和查询性能。

存储层

ClickHouse 数据部分可以根据存储策略在卷和填充率之间移动，从而创建存储层的概念。

存储层解锁了冷热架构，其中最新数据（通常也是查询最多的）只需要高性能存储（例如 NVMe SSD）上的少量空间。随着数据老化，查询时间的 SLA 会增加，查询频率也会增加。历史数据可以存储在速度较慢、性能较低的存储（如 HDD）或对象存储（如 S3）上。

创建磁盘

要将 S3 存储桶用作磁盘，我们必须首先对ClickHouse进行配置，要么扩展配置.xm，要么最好在conf.d 下创建一个新文件。

S3 磁盘声明的示例如下所示：

<clickhouse>

<storage_configuration>

...

<disks>

<s3>

<type>s3</type>

<endpoint>https://sample-bucket.s3.us-east-2.amazonaws.com/tables/</endpoint>

<access_key_id>your_access_key_id</access_key_id>

<secret_access_key>your_secret_access_key</secret_access_key>

<region></region>

<metadata_path>/var/lib/clickhouse/disks/s3/</metadata_path>

</s3>

<s3_cache>

<type>cache</type>

<disk>s3</disk>

<path>/var/lib/clickhouse/disks/s3_cache/</path>

<max_size>10Gi</max_size>

</s3_cache>

</disks>

...

</storage_configuration>

</clickhouse>

创建存储策略

配置后，此“磁盘”可由策略中声明的存储卷使用。对于下面的示例，我们假设 s3 是我们唯一的存储。这忽略了更复杂的热-冷架构，其中数据可以根据 TTL 和填充率重新定位。

<clickhouse>

<storage_configuration>

<disks>

<s3>

...

</s3>

<s3_cache>

...

</s3_cache>

</disks>

<policies>

<s3_main>

<volumes>

<main>

<disk>s3</disk>

</main>

</volumes>

</s3_main>

</policies>

</storage_configuration>

</clickhouse>

创建表

假设已将磁盘配置为使用具有写入访问权限的存储桶，那么就应该能够创建一个表，并将数据直接流式传输到 s3 支持的表。

建表语句示例

CREATE TABLE trips_s3

(

`trip_id` UInt32,

`pickup_date` Date,

`pickup_datetime` DateTime,

`dropoff_datetime`DateTime,

`pickup_longitude` Float64,

`pickup_latitude` Float64,

`dropoff_longitude`Float64,

`dropoff_latitude` Float64,

`passenger_count` UInt8,

`trip_distance` Float64,

`tip_amount` Float32,

`total_amount` Float32,

`payment_type` Enum8('UNK'= 0, 'CSH' = 1, 'CRE' = 2, 'NOC' = 3, 'DIS' = 4)

)

ENGINE = MergeTree

PARTITION BY toYYYYMM(pickup_date)

ORDER BY pickup_datetime

SETTINGS index_granularity = 8192, storage_policy='s3_main'

在创建存储策略时，我们已经指明了S3磁盘为’ s3_main’，建表语句中需要配置’ storage_policy='s3_main'’。

插入数据

INSERT INTO trips_s3 SELECT trip_id, pickup_date, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude, passenger_count, trip_distance, tip_amount, total_amount, payment_type FROM s3('https://ch-nyc-taxi.s3.eu-west-3.amazonaws.com/tsv/trips_{0..9}.tsv.gz', 'TabSeparatedWithNames') LIMIT 1000000;

根据硬件的不同，后面的 1m 行插入可能需要几分钟才能执行。您可以通过 system.processes 表确认进度。随意将行计数调整到 10m 的限制。

如何将 S3 对象存储用作 ClickHouse 磁盘详细配置见Integrating S3 with ClickHouse | ClickHouse Docs