[翻译]phoenix的配置项(phoenix framework)
liuian 2025-03-29 19:29 26 浏览
自己在工作中使用到了phoenix, 过程中也使用到了一些phoenix的基本配置项,发现配置的还挺多的,就把官网上的一些翻译了过来,权当记录吧
原文地址:
http://phoenix.apache.org/tuning.html
属性名称 | 属性描述 | 默认值 |
phoenix.query.timeoutMs | 查询超时时间,默认为10分钟,单位:毫秒 | 600000 |
phoenix.query.keepAliveMs | 当客户端的线程超过线程池的核心线程数量时,空闲线程等等待任务的默认时间。超过这个时间,空闲线程就会关闭,默认是60s | 60000 |
phoenix.query.threadPoolSize | 客户端线程池的线程数量,当集群扩大时,这个数量最好也增大 | 128 |
phoenix.query.queueSize | 线程池的队列最在深度,超过这个深度的任务就会被拒绝。当值为0的时候,就会使用 SynchronousQueue | 5000 |
phoenix.stats.guidepost.width | 服务器端参数,这个参数指定集群传输的字节指标,值较小时,会增加并行计算,但也增加客户端合并块的数量。(初步理解,当客户端数据数据到100MB时,就会发送到服务端。数值小的时候,可以多线程发送) | 100MB |
phoenix.stats.guidepost.per.region | 服务器端参数, 指定每个region的指标。如果这个值大于0,那么guidepost.width就会是 MAX_FILE_SIZE of table / phoenix.stats.guidepost.per.region. ,否则就会使用phoenix.stats.guidepost.width,没有默认值 | None |
phoenix.stats.updateFrequency | 服务器端参数, 指定 statistics table的统计信息的刷新频率,刷新后会通知客户端。默认是15分钟 | 900000 |
phoenix.stats.useCurrentTime | 服务器高级参数,为真:当hbase表发生合并或者compactions时,统计表会用服务器的当前时间作为行的时间戳。为false:就会使用表的被统计的最大的时间戳。除非你自己自己插入数据时,自己控制时间戳,最好使用默认。 | true |
phoenix.query.spoolThresholdBytes | 并行查询结果的阈值,超过这个阈值,就会溢出到硬盘。默认为20MB,单位:字节 | 20971520 |
phoenix.query.maxSpoolToDiskBytes | 并行查询结果最大的字节数,超过这个阈值,查询就会失败。默认是1GB | 1024000000 |
phoenix.query.maxGlobalMemoryPercentage | 所有线程使用的最大堆内存( Runtime.getRuntime().maxMemory())的百分比.只会对小的内存跟踪。主要是统计group by aggregation过程中产生的map内存的使用。当到达这个值的时候,会尝试获取更多的内存。主要就是节省内存的使用。默认是15% | 15 |
phoenix.query.maxGlobalMemorySize | 所有线程使用的最大内存的字节数。如果设置这个参数,就会使用phoenix.query.maxGlobalMemorySize和phoenix.query.maxGlobalMemoryPercentage的最小值 | |
phoenix.query.maxGlobalMemoryWaitMs | 当内存不够时,client就会被阻塞。这个参数是最大的等待时间。超过这个时间。就会抛出 InsufficientMemoryException 默认是10s | 10000 |
phoenix.query.maxTenantMemoryPercentage | 所有消费者能够占用phoenix.query.maxGlobalMemoryPercentage的最大的占用比例,超过这个值,就会抛出 InsufficientMemoryException 默认是100% | 100 |
phoenix.query.dateFormat | 默认时间格式。TO_CHAR( | yyyy-MM-dd HH:mm:ss |
phoenix.query.dateFormatTimeZone | 时区的ID,指定默认的时区。对date, time,timestamp,to_date()有效.可以简写为“PST”,也可以写为“ America/Los_Angeles”,或自定义偏移量如“ GMT-9:00”,“LOCAL”会使用当前的时区 | GMT |
phoenix.query.numberFormat | 数字和字符串互相转换的数字格式。 TO_CHAR( | #,##0.## |
phoenix.mutate.maxSize | commit或rollback前,一次批量处理的最大的行数 | 500000 |
phoenix.mutate.batchSize | 自动提交时。一次批处理的数量,这个参数会被 connect 参数UpsertBatchSize 覆盖。注意,当这 UPSERT SELECT or DELETE 在服务器使用 coprocessor执行时。connect参数对bathcsize无效 | 1000 |
phoenix.coprocessor.maxServerCacheTimeToLiveMs | 服务器缓存的最大存活时间(毫秒)。从最后一次访问到现在的过期时间。当服务器端发生 IOException(“Could not find hash cache for joinId”) 时,可以考虑调整这个参数。当服务器端 有像“Earlier hash cache(s) might have expired on servers”这样的警告时,就是一个调大这个参数的信号。 | 30000 |
phoenix.query.useIndexes | 查询时是否作用索引 | True |
phoenix.index.mutableBatchSizeThreshold | Number of mutations in a batch beyond which index metadata will be sent as a separate RPC to each region server as opposed to included inline with each mutation. Defaults to 5. | 5 |
phoenix.schema.dropMetaData | 删除一张phoenix表时,是否删除对应的Hbase表。默认是True | True |
phoenix.groupby.spillable | 在regionServer上 是否一个大量不重复的数据是否允许溢出到磁盘上(Group By 也不例外)。为False时,抛出 InsufficientMemoryException | True |
phoenix.groupby.spillFiles | 溢出文件的数量( Number of memory mapped spill files to be used when spilling GROUP BY distinct values to disk. Default is 2) | 2 |
phoenix.groupby.maxCacheSize | groupBy 溢出 时最大的缓存字节数。默认是100Mb | 102400000 |
phoenix.groupby.estimatedDistinctValues | 当一个group by执行时预估的不同值的数量,( Used to perform initial sizing with growth of 1.5x each time reallocation is required) | 1000 |
phoenix.distinct.value.compress.threshold | 使用聚合函数时。跟踪的不同值数量的阈值。超过这个数量后就会使用 Snappy压缩,默认是1MB | 1024000 |
phoenix.index.maxDataFileSizePerc | 共享索引表MAX_FILESIZE对于数据表MAX_FIELSIZE的百分比。这个值应该根据索引行和数据行的预计平均大小来估算,默认是50% | 50% |
phoenix.coprocessor.maxMetaDataCacheTimeToLiveMs | 服务器端元数据缓存的过期时间。默认是30分钟。单位:毫秒 | 180000 |
phoenix.coprocessor.maxMetaDataCacheSize | 服务器端最大的元数据字节数。如果超过这个值。就会根据最后访问时间来删除一些数据。默认是20MB | 20480000 |
phoenix.client.maxMetaDataCacheSize | 客户端最大的元数据字节数。如果超过这个值。就会根据最后访问时间来删除一些数据。默认是10MB | 10240000 |
phoenix.sequence.cacheSize | 在下一个序列值被分配时,从服务器和缓存中保留的序列值的数目。在序列自己定义时这个参数无效(猜测:这个是主键的生成策略)。默认为100 | 100 |
phoenix.clock.skew.interval | Delay interval(in milliseconds) when opening SYSTEM.CATALOG to compensate possible time clock skew when SYSTEM.CATALOG moves among region servers. | 2000 |
phoenix.index.failure.handling.rebuild | 当数据发生变化时,索引是否自动重建 | True |
phoenix.index.failure.handling.rebuild.interval | 索引重建后。检查下一次重建的时间间隔(毫秒) | 10000 |
phoenix.index.failure.handling.rebuild.overlap.time | 索引失效后到索引重建的时间间隔(毫秒)。这个参数是为了防止。存在time clock skew.的更新丢失。 | 300000 |
phoenix.query.rowKeyOrderSaltedTable | 对于salted表。非聚合函数总是返回以rowkey排序的数据。为true时,在表创建时,分割点可以先不指定,但就会在每个salt bucket使用默认的分割。默认是True | True |
phoenix.connection.autoCommit | 是否自动提交。对于所有连接有效 | False |
phoenix.spool.directory | 数据量到20MB(phoenix.query.spoolThresholdBytes )溢出到本地目录 | /tmp |
phoenix.query.scanResultChunkSize | 一次查询返回的批量数量 | 2999 |
相关推荐
- 教你把多个视频合并成一个视频的方法
-
一.情况介绍当你有一个m3u8文件和一个目录,目录中有连续的视频片段,这些片段可以连成一段完整的视频。m3u8文件打开后像这样:m3u8文件,可以理解为播放列表,里面是播放视频片段的顺序。视频片段像这...
- 零代码编程:用kimichat合并一个文件夹下的多个文件
-
一个文件夹里面有很多个srt字幕文件,如何借助kimichat来自动批量合并呢?在kimichat对话框中输入提示词:你是一个Python编程专家,完成如下的编程任务:这个文件夹:D:\downloa...
- Java APT_java APT 生成代码
-
JavaAPT(AnnotationProcessingTool)是一种在Java编译阶段处理注解的工具。APT会在编译阶段扫描源代码中的注解,并根据这些注解生成代码、资源文件或其他输出,...
- Unit Runtime:一键运行 AI 生成的代码,或许将成为你的复制 + 粘贴神器
-
在我们构建了UnitMesh架构之后,以及对应的demo之后,便着手于实现UnitMesh架构。于是,我们就继续开始UnitRuntime,以用于直接运行AI生成的代码。PS:...
- 挣脱臃肿的枷锁:为什么说Vert.x是Java开发者手中的一柄利剑?
-
如果你是一名Java开发者,那么你的职业生涯几乎无法避开Spring。它如同一位德高望重的老国王,统治着企业级应用开发的大片疆土。SpringBoot的约定大于配置、SpringCloud的微服务...
- 五年后,谷歌还在全力以赴发展 Kotlin
-
作者|FredericLardinois译者|Sambodhi策划|Tina自2017年谷歌I/O全球开发者大会上,谷歌首次宣布将Kotlin(JetBrains开发的Ja...
- kotlin和java开发哪个好,优缺点对比
-
Kotlin和Java都是常见的编程语言,它们有各自的优缺点。Kotlin的优点:简洁:Kotlin程序相对于Java程序更简洁,可以减少代码量。安全:Kotlin在类型系统和空值安全...
- 移动端架构模式全景解析:从MVC到MVVM,如何选择最佳设计方案?
-
掌握不同架构模式的精髓,是构建可维护、可测试且高效移动应用的关键。在移动应用开发中,选择合适的软件架构模式对项目的可维护性、可测试性和团队协作效率至关重要。随着应用复杂度的增加,一个良好的架构能够帮助...
- 颜值非常高的XShell替代工具Termora,不一样的使用体验!
-
Termora是一款面向开发者和运维人员的跨平台SSH终端与文件管理工具,支持Windows、macOS及Linux系统,通过一体化界面简化远程服务器管理流程。其核心定位是解决多平台环境下远程连接、文...
- 预处理的底层原理和预处理编译运行异常的解决方案
-
若文章对您有帮助,欢迎关注程序员小迷。助您在编程路上越走越好![Mac-10.7.1LionIntel-based]Q:预处理到底干了什么事情?A:预处理,顾名思义,预先做的处理。源代码中...
- 为“架构”再建个模:如何用代码描述软件架构?
-
在架构治理平台ArchGuard中,为了实现对架构的治理,我们需要代码+模型描述所要处理的内容和数据。所以,在ArchGuard中,我们有了代码的模型、依赖的模型、变更的模型等,剩下的两个...
- 深度解析:Google Gemma 3n —— 移动优先的轻量多模态大模型
-
2025年6月,Google正式发布了Gemma3n,这是一款能够在2GB内存环境下运行的轻量级多模态大模型。它延续了Gemma家族的开源基因,同时在架构设计上大幅优化,目标是让...
- 比分网开发技术栈与功能详解_比分网有哪些
-
一、核心功能模块一个基本的比分网通常包含以下模块:首页/总览实时比分看板:滚动展示所有正在进行的比赛,包含比分、比赛时间、红黄牌等关键信息。热门赛事/焦点战:突出显示重要的、关注度高的比赛。赛事导航...
- 设计模式之-生成器_一键生成设计
-
一、【概念定义】——“分步构建复杂对象,隐藏创建细节”生成器模式(BuilderPattern):一种“分步构建型”创建型设计模式,它将一个复杂对象的构建与其表示分离,使得同样的构建过程可以创建...
- 构建第一个 Kotlin Android 应用_kotlin简介
-
第一步:安装AndroidStudio(推荐IDE)AndroidStudio是官方推荐的Android开发集成开发环境(IDE),内置对Kotlin的完整支持。1.下载And...
- 一周热门
-
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
飞牛OS入门安装遇到问题,如何解决?
-
系统C盘清理:微信PC端文件清理,扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看,轻松搞定虚拟机、Docker、软路由
-
python使用fitz模块提取pdf中的图片
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)