百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

ClickHouse数据库SQL编写规范

liuian 2025-01-08 15:17 16 浏览

0. 严禁使用alter table delete/update where **的操作，虽说clickhouse支持此类操作。

1.不要select *。按需取column,所有olap 列式存储从磁盘+网络IO考虑

2.不要在大结果集上构造虚拟列。因为虚拟列非常消耗资源浪费性能，拿到pv uv后在前端显示时构造比率。

3.不要在唯一列或大基数列上进行分组或去重操作。基数太大会消耗过多的io和内存。

4.根据需要查询指定范围的数据where

5.关联查询时小表在后(大表 join 小表 ),JOIN操作时一定要把数据量小的表放在右边，ClickHouse中无论是Left Join 、Right Join还是Inner Join永远都是拿着右表中的每一条记录到左表中查找该记录是否存在，所以右表必须是小表。不要用RIGHT JOIN,此外一般join能力不强

6.使用 uniqCombined 替代 distinct uniqCombined对去重进行了优化，通过近似去重提升十倍查询性能

uniq--近似数量确定结果

uniqExact--准确结果

uniqCombined--建议使用，近似结果,性能好

uniqCombined64--近似结果64位hash

uniqHLL12 --近似误差 using the HyperLogLog algorithm

7.通过使用 limit 限制返回数据条数

8.尽量不去使用字符串类型

9.尽量指定查询分区获取必要的数据

10.分组前过滤不必要的字段

11.日期型要用date或者datetime类型存储，虽然clickhouse底层将DateTime存储为时间戳Long类型，但不建议直接存储Long类型，因为DateTime不需要经过函数转换处理，执行效率高、可读性好

12.实时写入使用本地表，不要使用分布式表

13.GLOBAL IN 和 GLOBAL JOIN 可以避免查询放大的问题

14.Nullable类型最好用特殊字符替换

15.使用prewhere替代where关键字；当查询列明显多于筛选列时使用prewhere可十倍提升查询性能

16. 尽量不要执行单条或小批量删除和插入操作，这样会产生大量小分区文件，给后台merge任务带来巨大压力。不要一次写入太多分区，或数据写入太快，数据写入太快会导致merge速度跟不上而报错；一般建议每秒中发起2-3次写入操作，每次操作写入2w-5w条数据。

相关推荐

vue怎么和后端php配合

Vue和后端PHP可以通过HTTP请求进行配合。首先，前端Vue可以使用axios库或者Vue自带的$http对象来发送HTTP请求到后端PHP接口。通过axios库发送POST、GET、PUT等请求...

Ansible最佳实践之 AWX 使用 Ansible 与 API 通信

#头条创作挑战赛#API简单介绍红帽AWX提供了一个类似Swagger的RESTful风格的Web服务框架，可以和awx直接交互。使管理员和开发人员能够在webUI之外控制其...

PHP8.3 错误处理革命:Exception 与 Error 全面升级

亲爱的小伙伴，好久没有发布信息了，最近学习了一下PHP8.3的升级，都有哪些优化和提升，把学到的分享出来给需要的小伙伴充下电。技术段位：高可用性必修目标收益：精准错误定位+异常链路追踪适配场景...

使用 mix/vega + mix/db 进行现代化的原生 PHP 开发

最近几年在javascript、golang生态中游走，发现很多npm、gomod的优点。最近回过头开发MixPHPV3，发现composer其实一直都是一个非常优秀的工具，但是...

15 个非常好用的 JSON 工具

JSON（JavaScriptObjectNotation）是一种流行的数据交换格式，已经成为许多应用程序中常用的标准。无论您是开发Web应用程序，构建API，还是处理数据，使用JSON工具可以大...

php8环境原生实现rpc

大数据分布式架构盛行时代的程序员面试，常常遇到分布式架构，RPC,本文的主角是RPC,英文名为RemoteProcedureCall，翻译过来为“远程过程调用”。主流的平台中都支持各种远程调用技术...

「PHP编程」如何搭建私有Composer包仓库?

在前一篇文章「PHP编程」如何制作自己的Composer包？中，我们已经介绍了如何制作自己的composer包，以及如何使用composer安装自己制作的composer包。不过，这其中有...

WAF-Bypass之SQL注入绕过思路总结

过WAF（针对云WAF）寻找真实IP（源站）绕过如果流量都没有经过WAF，WAF当然无法拦截攻击请求。当前多数云WAF架构，例如百度云加速、阿里云盾等，通过更改DNS解析，把流量引入WAF集群，流量经...

【推荐】一款 IDEA 必备的 JSON 处理工具插件 — Json Assistant

JsonAssistant是基于IntelliJIDEs的JSON工具插件，让JSON处理变得更轻松！主要功能完全支持JSON5JSON窗口（多选项卡）选项卡更名移动至主编辑器用...

技术分享 | 利用PHAR协议进行PHP反序列化攻击

PHAR(“PhpARchive”)是PHP中的打包文件，相当于Java中的JAR文件，在php5.3或者更高的版本中默认开启。PHAR文件缺省状态是只读的，当我们要创建一个Phar文件需要修改...

php进阶到架构之swoole系列教程(一)windows安装swoole

目录概述安装Cygwin安装swoolephp7进阶到架构师相关阅读概述这是关于php进阶到架构之swoole系列学习课程：第一节：windows安装swoole学习目标：在Windows环境将搭建s...

go 和 php 性能如何进行对比?

PHP性能很差吗？每次讲到PHP和其他语言间的性能对比，似乎都会发现这样一个声音：单纯的性能对比没有意义，主要瓶颈首先是数据库，其次是业务代码等等。好像PHP的性能真的不能单独拿出来讨论似的。但其实一...

Linux(CentOS )手动搭建LNMP(Linux+Nginx+Mysql+PHP)坏境

CentOS搭建LNMP（Linux+Nginx+Mysql+PHP）坏境由于网上各种版本新旧不一，而且Linux版本也不尽相同，所以自己写一遍根据官网的提示自己手动搭建过程。看官方文档很重要，永远...

json和jsonp区别

JSON和JSONP虽然只有一个字母的差别,但其实他们根本不是一回事儿：JSON是一种数据交换格式,而JSONP是一种非官方跨域数据交互协议。一个是描述信息的格式,一个是信息传递的约定方法。一、...

web后端正确的返回JSON

在web开发中，前端和后端发生数据交换传输现在最常见的形式就是异步ajax交互，一般返回给js都是json，如何才是正确的返回呢？前端代码想要获取JSON数据代码如下：$.get('/user-inf...

一周热门
最近发表
标签列表