百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

[翻译]phoenix的配置项(phoenix framework)

liuian 2025-03-29 19:29 26 浏览

自己在工作中使用到了phoenix, 过程中也使用到了一些phoenix的基本配置项,发现配置的还挺多的,就把官网上的一些翻译了过来,权当记录吧

原文地址:
http://phoenix.apache.org/tuning.html

属性名称属性描述默认值
phoenix.query.timeoutMs查询超时时间,默认为10分钟,单位:毫秒600000
phoenix.query.keepAliveMs当客户端的线程超过线程池的核心线程数量时,空闲线程等等待任务的默认时间。超过这个时间,空闲线程就会关闭,默认是60s60000
phoenix.query.threadPoolSize客户端线程池的线程数量,当集群扩大时,这个数量最好也增大128
phoenix.query.queueSize线程池的队列最在深度,超过这个深度的任务就会被拒绝。当值为0的时候,就会使用 SynchronousQueue5000
phoenix.stats.guidepost.width服务器端参数,这个参数指定集群传输的字节指标,值较小时,会增加并行计算,但也增加客户端合并块的数量。(初步理解,当客户端数据数据到100MB时,就会发送到服务端。数值小的时候,可以多线程发送)100MB
phoenix.stats.guidepost.per.region服务器端参数, 指定每个region的指标。如果这个值大于0,那么guidepost.width就会是 MAX_FILE_SIZE of table / phoenix.stats.guidepost.per.region. ,否则就会使用phoenix.stats.guidepost.width,没有默认值None
phoenix.stats.updateFrequency服务器端参数, 指定 statistics table的统计信息的刷新频率,刷新后会通知客户端。默认是15分钟900000
phoenix.stats.useCurrentTime服务器高级参数,为真:当hbase表发生合并或者compactions时,统计表会用服务器的当前时间作为行的时间戳。为false:就会使用表的被统计的最大的时间戳。除非你自己自己插入数据时,自己控制时间戳,最好使用默认。true
phoenix.query.spoolThresholdBytes并行查询结果的阈值,超过这个阈值,就会溢出到硬盘。默认为20MB,单位:字节20971520
phoenix.query.maxSpoolToDiskBytes并行查询结果最大的字节数,超过这个阈值,查询就会失败。默认是1GB1024000000
phoenix.query.maxGlobalMemoryPercentage所有线程使用的最大堆内存( Runtime.getRuntime().maxMemory())的百分比.只会对小的内存跟踪。主要是统计group by aggregation过程中产生的map内存的使用。当到达这个值的时候,会尝试获取更多的内存。主要就是节省内存的使用。默认是15%15
phoenix.query.maxGlobalMemorySize所有线程使用的最大内存的字节数。如果设置这个参数,就会使用phoenix.query.maxGlobalMemorySize和phoenix.query.maxGlobalMemoryPercentage的最小值
phoenix.query.maxGlobalMemoryWaitMs当内存不够时,client就会被阻塞。这个参数是最大的等待时间。超过这个时间。就会抛出 InsufficientMemoryException 默认是10s10000
phoenix.query.maxTenantMemoryPercentage所有消费者能够占用phoenix.query.maxGlobalMemoryPercentage的最大的占用比例,超过这个值,就会抛出 InsufficientMemoryException 默认是100%100
phoenix.query.dateFormat默认时间格式。TO_CHAR(), TO_DATE(), resultSet.getString()yyyy-MM-dd HH:mm:ss
phoenix.query.dateFormatTimeZone时区的ID,指定默认的时区。对date, time,timestamp,to_date()有效.可以简写为“PST”,也可以写为“ America/Los_Angeles”,或自定义偏移量如“ GMT-9:00”,“LOCAL”会使用当前的时区GMT
phoenix.query.numberFormat数字和字符串互相转换的数字格式。 TO_CHAR(), TO_NUMBER(), resultSet.getString()#,##0.##
phoenix.mutate.maxSizecommit或rollback前,一次批量处理的最大的行数500000
phoenix.mutate.batchSize自动提交时。一次批处理的数量,这个参数会被 connect 参数UpsertBatchSize 覆盖。注意,当这 UPSERT SELECT or DELETE 在服务器使用 coprocessor执行时。connect参数对bathcsize无效1000
phoenix.coprocessor.maxServerCacheTimeToLiveMs服务器缓存的最大存活时间(毫秒)。从最后一次访问到现在的过期时间。当服务器端发生 IOException(“Could not find hash cache for joinId”) 时,可以考虑调整这个参数。当服务器端 有像“Earlier hash cache(s) might have expired on servers”这样的警告时,就是一个调大这个参数的信号。 30000
phoenix.query.useIndexes查询时是否作用索引True
phoenix.index.mutableBatchSizeThresholdNumber of mutations in a batch beyond which index metadata will be sent as a separate RPC to each region server as opposed to included inline with each mutation. Defaults to 5.5
phoenix.schema.dropMetaData删除一张phoenix表时,是否删除对应的Hbase表。默认是TrueTrue
phoenix.groupby.spillable在regionServer上 是否一个大量不重复的数据是否允许溢出到磁盘上(Group By 也不例外)。为False时,抛出 InsufficientMemoryExceptionTrue
phoenix.groupby.spillFiles溢出文件的数量( Number of memory mapped spill files to be used when spilling GROUP BY distinct values to disk. Default is 2)2
phoenix.groupby.maxCacheSizegroupBy 溢出 时最大的缓存字节数。默认是100Mb102400000
phoenix.groupby.estimatedDistinctValues当一个group by执行时预估的不同值的数量,( Used to perform initial sizing with growth of 1.5x each time reallocation is required)1000
phoenix.distinct.value.compress.threshold使用聚合函数时。跟踪的不同值数量的阈值。超过这个数量后就会使用 Snappy压缩,默认是1MB1024000
phoenix.index.maxDataFileSizePerc共享索引表MAX_FILESIZE对于数据表MAX_FIELSIZE的百分比。这个值应该根据索引行和数据行的预计平均大小来估算,默认是50%50%
phoenix.coprocessor.maxMetaDataCacheTimeToLiveMs服务器端元数据缓存的过期时间。默认是30分钟。单位:毫秒180000
phoenix.coprocessor.maxMetaDataCacheSize服务器端最大的元数据字节数。如果超过这个值。就会根据最后访问时间来删除一些数据。默认是20MB20480000
phoenix.client.maxMetaDataCacheSize客户端最大的元数据字节数。如果超过这个值。就会根据最后访问时间来删除一些数据。默认是10MB10240000
phoenix.sequence.cacheSize在下一个序列值被分配时,从服务器和缓存中保留的序列值的数目。在序列自己定义时这个参数无效(猜测:这个是主键的生成策略)。默认为100100
phoenix.clock.skew.intervalDelay interval(in milliseconds) when opening SYSTEM.CATALOG to compensate possible time clock skew when SYSTEM.CATALOG moves among region servers.2000
phoenix.index.failure.handling.rebuild当数据发生变化时,索引是否自动重建True
phoenix.index.failure.handling.rebuild.interval索引重建后。检查下一次重建的时间间隔(毫秒)10000
phoenix.index.failure.handling.rebuild.overlap.time索引失效后到索引重建的时间间隔(毫秒)。这个参数是为了防止。存在time clock skew.的更新丢失。300000
phoenix.query.rowKeyOrderSaltedTable对于salted表。非聚合函数总是返回以rowkey排序的数据。为true时,在表创建时,分割点可以先不指定,但就会在每个salt bucket使用默认的分割。默认是TrueTrue
phoenix.connection.autoCommit是否自动提交。对于所有连接有效False
phoenix.spool.directory数据量到20MB(phoenix.query.spoolThresholdBytes )溢出到本地目录/tmp
phoenix.query.scanResultChunkSize一次查询返回的批量数量2999

相关推荐

教你把多个视频合并成一个视频的方法

一.情况介绍当你有一个m3u8文件和一个目录,目录中有连续的视频片段,这些片段可以连成一段完整的视频。m3u8文件打开后像这样:m3u8文件,可以理解为播放列表,里面是播放视频片段的顺序。视频片段像这...

零代码编程:用kimichat合并一个文件夹下的多个文件

一个文件夹里面有很多个srt字幕文件,如何借助kimichat来自动批量合并呢?在kimichat对话框中输入提示词:你是一个Python编程专家,完成如下的编程任务:这个文件夹:D:\downloa...

Java APT_java APT 生成代码

JavaAPT(AnnotationProcessingTool)是一种在Java编译阶段处理注解的工具。APT会在编译阶段扫描源代码中的注解,并根据这些注解生成代码、资源文件或其他输出,...

Unit Runtime:一键运行 AI 生成的代码,或许将成为你的复制 + 粘贴神器

在我们构建了UnitMesh架构之后,以及对应的demo之后,便着手于实现UnitMesh架构。于是,我们就继续开始UnitRuntime,以用于直接运行AI生成的代码。PS:...

挣脱臃肿的枷锁:为什么说Vert.x是Java开发者手中的一柄利剑?

如果你是一名Java开发者,那么你的职业生涯几乎无法避开Spring。它如同一位德高望重的老国王,统治着企业级应用开发的大片疆土。SpringBoot的约定大于配置、SpringCloud的微服务...

五年后,谷歌还在全力以赴发展 Kotlin

作者|FredericLardinois译者|Sambodhi策划|Tina自2017年谷歌I/O全球开发者大会上,谷歌首次宣布将Kotlin(JetBrains开发的Ja...

kotlin和java开发哪个好,优缺点对比

Kotlin和Java都是常见的编程语言,它们有各自的优缺点。Kotlin的优点:简洁:Kotlin程序相对于Java程序更简洁,可以减少代码量。安全:Kotlin在类型系统和空值安全...

移动端架构模式全景解析:从MVC到MVVM,如何选择最佳设计方案?

掌握不同架构模式的精髓,是构建可维护、可测试且高效移动应用的关键。在移动应用开发中,选择合适的软件架构模式对项目的可维护性、可测试性和团队协作效率至关重要。随着应用复杂度的增加,一个良好的架构能够帮助...

颜值非常高的XShell替代工具Termora,不一样的使用体验!

Termora是一款面向开发者和运维人员的跨平台SSH终端与文件管理工具,支持Windows、macOS及Linux系统,通过一体化界面简化远程服务器管理流程。其核心定位是解决多平台环境下远程连接、文...

预处理的底层原理和预处理编译运行异常的解决方案

若文章对您有帮助,欢迎关注程序员小迷。助您在编程路上越走越好![Mac-10.7.1LionIntel-based]Q:预处理到底干了什么事情?A:预处理,顾名思义,预先做的处理。源代码中...

为“架构”再建个模:如何用代码描述软件架构?

在架构治理平台ArchGuard中,为了实现对架构的治理,我们需要代码+模型描述所要处理的内容和数据。所以,在ArchGuard中,我们有了代码的模型、依赖的模型、变更的模型等,剩下的两个...

深度解析:Google Gemma 3n —— 移动优先的轻量多模态大模型

2025年6月,Google正式发布了Gemma3n,这是一款能够在2GB内存环境下运行的轻量级多模态大模型。它延续了Gemma家族的开源基因,同时在架构设计上大幅优化,目标是让...

比分网开发技术栈与功能详解_比分网有哪些

一、核心功能模块一个基本的比分网通常包含以下模块:首页/总览实时比分看板:滚动展示所有正在进行的比赛,包含比分、比赛时间、红黄牌等关键信息。热门赛事/焦点战:突出显示重要的、关注度高的比赛。赛事导航...

设计模式之-生成器_一键生成设计

一、【概念定义】——“分步构建复杂对象,隐藏创建细节”生成器模式(BuilderPattern):一种“分步构建型”创建型设计模式,它将一个复杂对象的构建与其表示分离,使得同样的构建过程可以创建...

构建第一个 Kotlin Android 应用_kotlin简介

第一步:安装AndroidStudio(推荐IDE)AndroidStudio是官方推荐的Android开发集成开发环境(IDE),内置对Kotlin的完整支持。1.下载And...