百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

那些年我们踩过的一些坑之 ClickHouse

liuian 2025-07-10 16:38 6 浏览

摘要:

ClickHouse 挺好用的,但是这些坑防不胜防,用过的才懂。本篇文章将持续更新...


1.内存限制

2.写数据失败

3.删除数据

4.Join 关联默认值

现在用不到没关系,先收藏,防止后面找不到哦。

#大数据# #大数据学习#

1、group by 使用内存限制


错误信息如下:

Code: 241.DB::Exception: Memory limit (for query) exceeded:would use 
9.37 GiB (attempt to allocate chunk of 134217760 bytes), 
maximum: 9.31 GiB.

定位到该查询中的 SQL 中使用了 group by ,默认的配置中没有对 group by 做内存限制。

解决方案:

执行 SQL 之前,在客户端进行如下设置

set max_memory_usage=32000000000;
set max_bytes_before_external_group_by=16000000000;
-- 下面是 sql 内容

在进行group by的时候,内存使用量已经达到了
max_bytes_before_external_group_by的时候就进行写磁盘(基于磁盘的group by相对于基于磁盘的order by性能损耗要好很多的),一般
max_bytes_before_external_group_by设置为max_memory_usage / 2,原因是在clickhouse中聚合分两个阶段:查询并且建立中间数据;合并中间数据 写磁盘在第一个阶段,如果无须写磁盘,clickhouse在第一个和第二个阶段需要使用相同的内存。


https://clickhouse.tech/docs/en/sql-reference/statements/select/group-by/#select-group-by-in-external-memory


2、写入数据失败


1.错误信息如下:

Too many parts (300). Merges are processing significantly 
slower than inserts...

使用 Flink 实时消费 Kafka 的数据,Sink 到 ClickHouse ,策略是一条一条插入,任务上线一段时间之后,ClickHouse 扛不住数据插入的压力了(

是因为MergeTree的merge的速度跟不上 data part 生成的速度。),就报错了上述的报错信息。


解决方案:

优化 FLink ClickHouse Sink逻辑, 根据时间和数据量做触发,满足其一才会执行插入操作。


2.错误信息如下

Code: 252, e.displayText() = DB::Exception: Too many partitions
for single INSERT block (more than 100). 

大概意思就是单次插入的数据分区太多了,超过默认配置的 100 个了。


解决方案:

1.合理设置分区字段 2.修改这个
max_partitions_per_insert_block 参数,调大这个值。


3、删除数据失败

错误信息如下:

Code: 359,e.displayText()=DB::Exception: Table or Partition in xxx was not dropped.
Reason:
1. Size (158.40 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB)
2. File '/data/clickhouse/clickhouse-server/flags/force_drop_table' intended to force DROP doesn't exist


从报错信息中的原因 1 可以看到,删除的数据实际大小已经超过了配置的大小。原因 2 说明是可以跳过配置检查,进行强制删除的,但是没找到这个文件
/data/clickhouse/clickhouse-server/flags/force_drop_table,所以不能跳过检查,也就是不能强制删除。


根据错误提示2 ,在所在的节点执行:

sudo touch '/data/clickhouse/clickhouse-server/flags/force_drop_table' 
&& sudo chmod 666 '/data/clickhouse/clickhouse-server/flags/force_drop_table' 

然后再次执行 删除操作就可以了。

需要注意的是,这个标识文件有效期只有一次,执行删除完毕之后,这个文件就会消失。


4、Join 误用

关联两张表,对于未关联的行,使用该字段的默认值填充,而不是使用 null 填充。


在 system.settings 表中可以找到参数 join_use_nulls



这和我们在 Mysql 或者 Hive 等使用习惯上不一致,如果想要改成一样的,需要修改这个参数 join_use_nulls 为 1。


准备数据

-- 建表 1
create table st_center.test_join_1
(
    id String,
    name String
) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;
-- 建表 2
create table st_center.test_join_2
(
    id String,
    name String
) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;
-- 插入测试数据
insert into test_join_1(id, name) values ('1','大数据学习指南');
insert into test_join_1(id, name) values ('2','大数据进阶之路');
insert into test_join_2(id, name) values ('1','大数据学习指南');

数据准备好了,下面我们测试一下。

select * from st_center.test_join_1  as t1
all left join st_center.test_join_2  as t2
on t1.id = t2.id

关联结果如下,未连接的行使用默认值填充的。String类型就填充空字符串,数值类型就填充 0

修改参数,在 SQL 最后加入 settings join_use_nulls = 1

select * from st_center.test_join_1  as t1
all left join st_center.test_join_2  as t2
on t1.id = t2.id
settings join_use_nulls = 1

关联结果如下,和我们在 mysql 等中的使用习惯一样了。

如果对你有帮助,欢迎点赞收藏转发,关注我,不迷路,带你学习大数据!

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...