百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

ClickHouse 可观测性最佳实践（clickhouse 查询性能）

liuian 2025-07-10 16:38 4 浏览

ClickHouse 介绍

ClickHouse 是一款高性能、列式存储的开源分析型数据库，专为在线分析处理（OLAP）场景设计。它能够处理海量数据，支持实时查询和复杂的数据分析，具备极高的读写性能和数据压缩能力。ClickHouse 提供了强大的 SQL 支持，包括对复杂查询、聚合操作和窗口函数的优化，使其成为处理大规模数据集的理想选择。此外，ClickHouse 支持分布式架构，通过数据分片和副本机制，能够实现高可用性和水平扩展。它广泛应用于日志分析、物联网数据处理、实时监控等领域，帮助企业快速获取数据洞察，驱动业务决策。

对 ClickHouse 进行可观测性建设，能有效助力我们的工程师故障排查、系统优化和成本优化等。

观测云

观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。

部署 DataKit

DataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。

登录观测云控制台，在「集成」-「DataKit」选择对应安装方式，当前采用 Linux 主机部署 DataKit。

开启 ClickHouse 采集

1、修改 config.xml

在 ClickHouse Server 的 config.xml 配置文件中找到如下的代码段，取消注释，并设置 metrics 暴露的端口号（可自定义，唯一即可）。修改完成后重启（若为集群，则每台机器均需操作）。

vim /etc/clickhouse-server/config.xml

2、修改 clickhousev1.conf

进入 DataKit 安装目录下的 conf.d/clickhousev1 目录，复制 clickhousev1.conf.sample 并命名为 clickhousev1.conf。主要修改这个 IP 和端口，端口与上一步保持一致，示例如下：

3、重启DataKit

配置好后，重启 DataKit 即可。

关键指标

这里主要列举 ClickHouse 的一部分关键指标，详情可参考详细文档。

指标名

描述

类型

单位

HTTPConnection

HTTP 连接数

float

count

TCPConnection

TCP 连接数

float

count

InterserverConnection

其他副本用于获取部分数据的连接数量

float

count

MemoryTracking

内存使用量

float

B

Query

正在执行的查询数量

float

count

SelectQuery

执行的 SELECT 查询数量

float

count

InsertQuery

执行的 INSERT 查询数量

float

count

ReplicatedChecks

数据块一致性检查的次数

float

count

场景视图

登录观测云控制台，点击「场景」 -「新建仪表板」，输入 “ClickHouse”， 选择 “ClickHouse 监控视图”，点击 “确定” 即可添加视图。

监控器（告警）

ClickHouse 实例 {{instance}} HTTP 连接数告警

简要描述：根据 HTTPConnection 指标设置阈值告警。

ClickHouse 实例 {{instance}} TCP 连接数告警

简要描述：根据 TCPConnection 指标设置阈值告警。

ClickHouse 实例 {{instance}} 副本一致性检查次数异常告警

简要描述：根据 ReplicatedChecks 指标设置突变告警，当副本之间数据块一致性检查的次数最近 15 分钟比最近 30 分钟差值百分比大于阈值时，进行告警。

总结

本文从指标、可视化仪表板、监控告警等角度展示了如何使用观测云这个一体化观测平台对 ClickHouse 进行全面观测，大大减少了管理多个运维工具的负担，让 DevOps 团队将更多精力投放到更高价值的工作中。

相关推荐

2023年最新微信小程序抓包教程（微信小程序 抓包）

声明：本公众号大部分文章来自作者日常学习笔记，部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载，请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档（软件测试面试怎么说）

前言又到了毕业季，我们将会迎来许多需要面试的小伙伴，在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中，隐藏着的...

复活，视频号一键下载，有手就会，长期更新(2023-12-21)

视频号下载的话题，也算是流量密码了。但也是比较麻烦的问题，频频失效不说，使用方法也难以入手。今天，奶酪就来讲讲视频号下载的新方案，更关键的是，它们有手就会有用，最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员，还是做爬虫、逆向的爬虫工程师和安全逆向工程，必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具，脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具：Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles，今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解，网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本，而AppStore是高于21.1.0版本，本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代，应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中，保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio（以下称TestStudio）是一个易于使用的自动化测试工具，可用于Web、WPF应用的界面功能测试，也可以用于API测试，以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析（wireshark抓包总结）

0.引言Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解（加密方式、证书原理、中间人攻击）HTTPS协议的加密方式有哪些？HTTPS证书的原理是什么？如何防止中间人攻击？一：HTTPS基本介绍：1.HTTPS是什么：HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序（APP）的数据接口需要进行以下步骤：首先，确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具，并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢？我们经常在用的手机手机里面的数据怎么对它抓包呢？那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶，建议收藏

学习Fiddler工具之前，我们先了解一下Fiddler工具的特点，Fiddler能做什么？如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议，默认端口：443(2)HTTP协议（HyperTextTransferProtocol）：超文本传输协议。默认...

一周热门
最近发表
标签列表