百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

ClickHouse数据库SQL编写规范

liuian 2025-01-08 15:17 23 浏览

0. 严禁使用alter table delete/update where **的操作，虽说clickhouse支持此类操作。

1.不要select *。按需取column,所有olap 列式存储从磁盘+网络IO考虑

2.不要在大结果集上构造虚拟列。因为虚拟列非常消耗资源浪费性能，拿到pv uv后在前端显示时构造比率。

3.不要在唯一列或大基数列上进行分组或去重操作。基数太大会消耗过多的io和内存。

4.根据需要查询指定范围的数据where

5.关联查询时小表在后(大表 join 小表 ),JOIN操作时一定要把数据量小的表放在右边，ClickHouse中无论是Left Join 、Right Join还是Inner Join永远都是拿着右表中的每一条记录到左表中查找该记录是否存在，所以右表必须是小表。不要用RIGHT JOIN,此外一般join能力不强

6.使用 uniqCombined 替代 distinct uniqCombined对去重进行了优化，通过近似去重提升十倍查询性能

uniq--近似数量确定结果

uniqExact--准确结果

uniqCombined--建议使用，近似结果,性能好

uniqCombined64--近似结果64位hash

uniqHLL12 --近似误差 using the HyperLogLog algorithm

7.通过使用 limit 限制返回数据条数

8.尽量不去使用字符串类型

9.尽量指定查询分区获取必要的数据

10.分组前过滤不必要的字段

11.日期型要用date或者datetime类型存储，虽然clickhouse底层将DateTime存储为时间戳Long类型，但不建议直接存储Long类型，因为DateTime不需要经过函数转换处理，执行效率高、可读性好

12.实时写入使用本地表，不要使用分布式表

13.GLOBAL IN 和 GLOBAL JOIN 可以避免查询放大的问题

14.Nullable类型最好用特殊字符替换

15.使用prewhere替代where关键字；当查询列明显多于筛选列时使用prewhere可十倍提升查询性能

16. 尽量不要执行单条或小批量删除和插入操作，这样会产生大量小分区文件，给后台merge任务带来巨大压力。不要一次写入太多分区，或数据写入太快，数据写入太快会导致merge速度跟不上而报错；一般建议每秒中发起2-3次写入操作，每次操作写入2w-5w条数据。

相关推荐

快速上手maven

Maven的作用在开发过程中需要用到各种各样的jar包，查找和下载这些jar包是件费时费力的事，特别是英文官方网站，可以将Maven看成一个整合了所有开源jar包的合集，我们需要jar包只需要从Mav...

Windows系统——配置java环境变量

怎么配置java环境变量呢？首先是安装好jdk然后我的电脑右键选择属性然后选择左侧高级系统设置高级然后点环境变量然后在用户变量或系统变量中配置，用户变量指的是只有当前用户可用，系统变量指的是系统中...

ollama本地部署更改默认C盘，Windows配置环境变量方法

ollama是一个大语言模型（LLM——LargeLanguageModel），本地电脑安装网上也要很多教程，看上去非常简单，一直下一步，然后直接就可以使用了。但是我在实操的时候并不是这样，安装完...

# Windows 环境变量 Path 显示样式更改

#怎样学习Java##Windows环境变量Path显示样式更改##1、传统Path环境变量显示：```---》键盘上按【WIN+I】打开系统【设置】---》依次点击---》【系统...

如何在Windows中创建用户和系统环境变量

在Windows中创建环境变量之前您应该了解的事情在按照本指南中所示的任何步骤创建指向文件夹、文件或其他任何内容的用户和系统变量之前，您应该了解两件事。第一个也是最重要的一个是了解什么是环境变量。...

Windows 中的环境变量是什么?

Windows中的环境变量是什么？那么，Windows中的环境变量是什么？简而言之，环境变量是描述应用程序和程序运行环境的变量。所有类型的程序都使用环境变量来回答以下问题：我安装的计算机的名称是什么...

【Python程序开发系列】谈一谈Windows环境变量:系统和用户变量

这是我的第350篇原创文章。一、引言环境变量（environmentvariables）一般是指在操作系统中用来指定操作系统运行环境的一些参数，如：临时文件夹位置和系统文件夹位置等。环境变量是在操作...

系统小技巧:还原Windows10路径环境变量

有时，我们在Windows10的“运行”窗口中执行一些命令或运行一些程序，这时即便没有指定程序的具体路径，只输入程序的名称（如notepad.exe），便可以迅速调用成功。这是因为Windows默认...

Windows10系统的“环境变量”在哪里呢?

当我们在操作系统是Windows10的电脑里安装了一些软件，要通过配置环境变量才能使用软件时，在哪里能找到“环境变量”窗口呢？可以按照下面的步骤找到“环境变量”。说明：下面的步骤和截图是在Window...

系统小技巧:彻底弄懂Windows 10环境变量

每当我们进行系统清理时，清理软件总能自动找到Windows的临时文件夹之所在，然后加以清理，即便是我们重定向了TEMP目录也是如此。究其原因，是因为清理软件会根据TEMP环境变量来判断现有临时文件夹的...

MySQL 5.7 新特性大全和未来展望

本文转自微信公众号：高可用架构作者：杨尚刚引用美图公司数据库高级DBA，负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师，负责新浪微博核心数据库架构改造优化，以及数据库相关的服务器存...

MySQL系列-源码编译安装(v8.0.25)

一、前言生产环境建议使用二进制安装法，其优点是部署简单、快速、方便，并且相对"yum/rpm安装"方法能更方便地自定义文件存放的目录结构，方便用脚本批量部署，方便日后运维管理。在生产...

MySQL如何实时同步数据到ES?试试这款阿里开源的神器!

前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随我的脚步，一起来揭开它神秘的面纱吧。简介canal翻译为...

技术老兵十年专攻MySQL:编写了763页核心总结，90%MySQL问题全解

MySQL是开放源码的关系数据库管理系统，由于性能高、成本低、可靠性好，成为现在最流行的开源数据库。MySQL学习指南笔记领取方式：关注、转发后私信小编【111】即可免费获得《MySQL进阶笔记》的...

Mysql和Hive之间通过Sqoop进行数据同步

文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置CPU数和内存大小查看CPU数sysctl machdep.cpu...

一周热门
最近发表
标签列表