ClickHouse通过与kafka的简单配合即可实现实时数据的分析应用。

Kafka 是目前广泛应用的消息中间件，常用做系统的数据缓存，能够实时接收应用端产生实时数据，作为数据总线，收集上游系统产生的数据，为下游数据消费系统提供数据订阅服务，生成报表或数据应用等。

Clickhouse支持与 Kafka 集成，具有Kafka Engine，能够快速构建数据通道，从Kafka中获取数据并写入本地存储。clickhouse与kafka集成的具体实现可分为三部分内容：建立Kafka Engine 外表，与kafka建立连接；创建MergeTree普通表，用于存储Kafka数据；创建Materialized View。通过上述步骤，就可以实现Kafka数据导入ClickHouse集群。

Clickhouse应用实践

为了进一步探索Clickhouse的应用，我们以互联网用户行为分析系统为例进行了验证，在不需要任何第三方工具的情况下，以Clickhouse搭建平台，实现日志的结构化查询。解决了日志分析所遇到的由于文件过于复杂而且查询不便等问题。

（一）需求描述

HTTP SERVER都能记录下访问日志，比如nginx、tomcat等web服务，但是记录基本都是以文件的方式存储，在通常情况下，这些日志不经转换难以有效地进行分析。为此，我们计划将日志文件数据解析之后存入clickhouse，利用clikhouse的高性能计算能力进行分析。由于日志文件是每访问一次就记录一条数据，并不存在唯一标识，所以还需要解决日志的增量入库的同时，避免不重复记录数据和不遗漏数据。

（二）应用描述

我们使用syslog将nginx的日志以JSON的方式发给kafka，以clickhouse的kafka引擎消费kafka的消息，实现了nginx日志实时入库，而且可以结构化查询日志的目的。同时规避了clickhouse不支持高并发写入少量数据的问题。

系统流程入下图所示：

Nginx、rsyslog、kafka、clickhouse、ABI等组件的安装过程可以参考各自的官方手册，本文不做另行说明，本系统的关键配置过程如下：

1.nginx的配置：

（1）日志格式，配置为json格式，参考代码如下：

（2）将日志发送给rsyslog的配置如下：

2.Rsyslog的配置：

rsyslog配置要点是配置kafka的地址、topic等信息：

3.Clickhouse表操作：

（1）创建一张kafka引擎的表，代码如下：

（2）创建格式化数据存储表，代码参考：

（3）创建物化视图，参考代码如下：

通过上面配置，查询nginx153表，可以看到实时的结构化的访问日志。

4.ABI分析报表设置

（1）添加查询类数据集，其SQL如下：

（2）添加分析文档，绑定前面的数据集，即可实现一个按时间选择的实时PV、UV统计报表。

（三）应用成效

解决了日志文件分析的困难的问题，使得分析人员可以使用结构化数据进行分析，对全量的日志进行实时运算也能在秒级响应，大大提高了工作效率；解决了日志增量入库问题。

本方案部署简单，nginx原生支持rsyslog,rsyslog原生支持写入kafka，clickhouse又可以支持从kafka里消费数据。所以仅需要简单的配置就可以实现nginx日志的格式化。

得益于clickhouse强大的统计计算能力，ABI分析平台可直接利用原始数据表进行统计，也能实现实时的访问结果秒级响应。

结构化之后，也为运维人员提供的极大的便利，比如要从nginx日志中找出某天访问量最高的IP，以前用日志文件的方式，实现难度是不可想象的，而现在一条简单的SQL秒级就可以得到结果。

五、总结

基于上述分析，我们认为基于Clickhouse实现日志实时分析，并构建敏捷数据分析平台，是一种行之有效的方案。其原因有以下几点：

首先，高效是clickhouse的一大优势之一。下图是官方测试数据，可看出其查询性能远远高于其他平台。（详细信息可查询clickhouse官方网站https://clickhouse.yandex/benchmark.html）

其次，clickhouse具有易用的特点。ClickHouse支持基于SQL的声明式查询语言，该语言大部分情况下是与SQL标准兼容的。支持的查询包括 GROUP BY，ORDER BY，IN，JOIN以及非相关子查询。可以直接通过mysql、jdbc、kafka等相关函数访问外部数据。

再次，clickhouse具有易维护的特点。Clickhouse部署非常简单(在linux平台只需安装三个安装包即可)，通过覆盖安装即可实现升级。且系统很稳定性较高，维护工作较少。

同时，clickhouse具有易集成的特点。Clickhouse提供了JDBC、ODBC、PHP、PYTHON等驱动程序，其接口基于HTTP协议，非常容易实现自定义连接。

最后，自主可控是其最大的优势之一。而clickhouse是完全开源的，我们可以完全掌握，能够自主可控并根据自己的需要进行修改。