全部产品
Search
文档中心

开源大数据平台E-MapReduce:参数配置

更新时间:Dec 06, 2024

本文为您介绍FE、BE、Broker以及系统参数的部分配置项以及修改方式。

背景信息

配置项分为动态参数和静态参数。动态参数主要是FE有部分动态配置,支持在线修改。静态参数是需要重启服务生效的配置项。

本文为您介绍以下内容:

FE动态参数

动态参数可以通过如下命令修改。

ADMIN SET FRONTEND CONFIG ("key" = "value");

LOG相关配置

配置项

默认值

描述

qe_slow_log_ms

5000

Slow query的认定时长,单位为ms。

元数据与集群管理相关配置

配置项

默认值

描述

catalog_try_lock_timeout_ms

5000

Catalog Lock获取的超时时长,单位为ms。

edit_log_roll_num

50000

Image日志拆分大小。

ignore_unknown_log_id

FALSE

是否忽略未知的logID:

  • TRUE:FE会忽略这些未知的logID。

  • FALSE:针对未知的logID,FE会退出进程。

当FE回滚到低版本时,可能存在低版本BE无法识别的logID。

ignore_meta_check

FALSE

是否忽略元数据落后的情形:

  • FALSE:忽略。

  • TRUE:不忽略。

max_backend_down_time_second

3600

BE和FE失联之后,FE能够容忍BE重新加回来的最长时间,单位为s。

drop_backend_after_decommission

TRUE

BE被下线后,是否删除该BE:

  • TRUE:删除该BE。

  • FALSE:不删除该BE。

查询引擎相关配置

配置项

默认值

描述

expr_children_limit

10000

查询中IN谓词中可以涉及的数目。

expr_depth_limit

3000

查询嵌套的层次。

max_allowed_in_element_num_of_delete

10000

DELETE语句中IN谓词最多允许的元素数量。

max_layout_length_per_row

2147483647

单行最大的长度。

disable_cluster_feature

TRUE

是否禁用逻辑集群功能:

  • TRUE:禁用。

  • FALSE:不禁用。

enable_materialized_view

TRUE

是否允许创建物化视图:

  • TRUE:允许。

  • FALSE:不允许。

enable_decimal_v3

TRUE

是否开启Decimal V3:

  • TRUE:开启。

  • FALSE:不开启。

enable_sql_blacklist

FALSE

是否开启SQL Query黑名单校验:

  • TRUE:开启。

  • FALSE:不开启。

说明

如果开启该功能,则在黑名单中的Query不能被执行。

dynamic_partition_check_interval_seconds

600

动态分区检查的时间周期,单位为s。

dynamic_partition_enable

TRUE

是否开启动态分区功能:

  • TRUE:开启动态分区功能。

  • FALSE:不开启动态分区功能。

max_partitions_in_one_batch

4096

批量创建分区时,分区数目的最大值。

max_query_retry_time

2

FE上查询重试的次数。

max_create_table_timeout_second

60

建表最大超时时间,单位为s。

max_running_rollup_job_num_per_table

1

每个Table执行Rollup任务的最大并发度。

max_planner_scalar_rewrite_num

10_0000

优化器重写ScalarOperator允许的最大次数。

statistics_manager_sleep_time_sec

60*10

自动创建统计信息表的周期,单位为s。

statistic_collect_interval_sec

120*60

统计信息功能执行周期,单位为s。

statistic_update_interval_sec

24 *60* 60

统计信息Job的默认收集间隔时间,单位为s。

statistic_sample_collect_rows

200000

采样统计信息Job的默认采样行数,默认为200000行。

enable_statistic_collect

TRUE

统计信息收集功能开关:

  • TRUE:开启统计信息收集功能。

  • FALSE:不开启统计信息收集功能。

enable_local_replica_selection

FALSE

优化器是否优先选择与该FE相同IP的BE节点上的tablet:

  • TRUE:是。

  • FALSE:否。

max_distribution_pruner_recursion_depth

100

分区裁剪允许的最大递归深度。

导入和导出相关配置

配置项

默认值

描述

load_straggler_wait_second

300

控制BE副本最大容忍的导入落后时长,单位为s。

如果超过该时长,则进行克隆。

desired_max_waiting_jobs

100

最多等待的任务。

适用于所有的任务,例如建表、导入和是Schema Change。

max_running_txn_num_per_db

100

并发导入的任务数。

max_load_timeout_second

259200

适用于所有导入,单位为s。

min_load_timeout_second

1

适用于所有导入,单位为s。

load_parallel_instance_num

1

单个BE上并发实例数,默认1个。

disable_hadoop_load

FALSE

是否禁用从Hadoop导入:

  • TRUE:禁用从Hadoop导入。

  • FALSE:不禁用从Hadoop导入。

disable_load_job

FALSE

如果集群异常时,是否接受导入任务:

  • TRUE:接受导入任务。

  • FALSE:不接受导入任务。

db_used_data_quota_update_interval_secs

300

更新数据库使用配额的时间周期,单位为s。

history_job_keep_max_second

604800

历史任务最大的保留时长,单位为s。

label_keep_max_num

1000

一定时间内所保留导入任务的最大数量。

保留时间在label_keep_max_second中设置。

label_keep_max_second

259200

label保留时长,单位为s。

max_routine_load_job_num

100

最大的Routine Load作业数。

max_routine_load_task_concurrent_num

5

每个Routine Load作业最大并发执行的task数。

max_routine_load_task_num_per_be

5

每个BE最大并发执行的Routine Load task数,需要小于等于BE的routine_load_thread_pool_size配置。

max_routine_load_batch_size

524288000

每个Routine Load task导入的最大数据量。

routine_load_task_consume_second

3

每个Routine Load task消费数据的最大时间,单位为s。

routine_load_task_timeout_second

15

每个Routine Load task超时时间,单位为s。

max_tolerable_backend_down_num

0

如果故障的BE节点数超过该阈值,则不能自动恢复Routine Load作业。

period_of_auto_resume_min

5

自动恢复Routine Load的时间间隔。

spark_load_default_timeout_second

86400

Spark导入的超时时间,单位为s。

spark_home_default_dir

STARROCKS_HOME_DIR/lib/spark2x

Spark客户端根目录。

stream_load_default_timeout_second

600

StreamLoad超时时间,单位为s。

max_stream_load_timeout_second

259200

Stream导入的超时时间允许设置的最大值,单位为s。

insert_load_default_timeout_second

3600

Insert Into语句的超时时间,单位为s。

broker_load_default_timeout_second

14400

Broker Load的超时时间,单位为s。

min_bytes_per_broker_scanner

67108864

单个实例处理的最小数据量,默认64 MB。

max_broker_concurrency

100

单个任务最大并发实例数,默认100个。

export_max_bytes_per_be_per_task

268435456

单个导出任务在单个BE上导出的最大数据量,默认256 MB。

export_running_job_num_limit

5

导出作业最大的运行数目。

export_task_default_timeout_second

7200

导出作业超时时长,单位为s,默认2小时。

存储相关配置

配置项

默认值

描述

enable_strict_storage_medium_check

FALSE

在创建表时,FE是否检查BE的可用的存储介质空间:

  • TRUE:检查。

  • FALSE:不检查。

capacity_used_percent_high_water

0.75

Backend上磁盘使用容量的度量值。

超过0.75之后,尽量不再往该tablet上发送建表和克隆的任务,直至恢复正常。

storage_high_watermark_usage_percent

85

BE存储目录下空间使用率的最大值。

storage_min_left_capacity_bytes

2 *1024* 1024*1024

BE存储目录下剩余空间的最小值,默认2 GB。

storage_flood_stage_left_capacity_bytes

1 *1024* 1024*1024

BE存储目录的剩余空间。

如果剩余空间小于该值,则会拒绝Load Restore作业。默认1 GB。

storage_flood_stage_usage_percent

95

BE存储目录下空间使用率。

如果空间使用率超过该值,则会拒绝Load和Restore作业。

catalog_trash_expire_second

86400

删表或数据库之后,元数据在回收站中保留的时长,单位为s,默认1天。

如果超过该时长,则数据无法恢复。

alter_table_timeout_second

86400

Schema change超时时间,单位为s,默认1天。

balance_load_disk_safe_threshold

0.5

仅对disk_and_tablet策略有效。

如果所有BE的磁盘使用率低于50%,则认为磁盘使用均衡。

balance_load_score_threshold

0.1

  • 针对be_load_score策略,负载比平均负载低10%的BE处于低负载状态,比平均负载高10% 的BE处于高负载状态。

  • 针对disk_and_tablet策略,如果最大和最小BE磁盘使用率之差高于10%,则认为磁盘使用不均衡,会触发tablet重新均衡。

disable_balance

FALSE

是否禁用Tablet调度:

  • true:禁用。

  • false:不禁用。

max_scheduling_tablets

2000

正在调度的tablet数量。

如果正在调度的tablet数量超过该值,则跳过tablet均衡检查。

max_balancing_tablets

100

正在均衡的tablet数量。

如果正在均衡的tablet数量超过该值,则跳过tablet重新均衡。

disable_colocate_balance

FALSE

是否禁用Colocate Table的副本均衡:

  • TRUE:禁用。

  • FALSE:不禁用。

recover_with_empty_tablet

FALSE

在tablet副本丢失或损坏时,是否使用空的tablet代替:

  • TRUE:使用空的tablet代替。

  • FALSE:不使用空的tablet代替。

使用空的tablet代替可以保证在有tablet副本丢失或损坏时,query依然能被执行(但是由于缺失了数据,结果可能是错误的)。

min_clone_task_timeout_sec

3*60

克隆Tablet的最小超时时间,单位为s,默认3min。

max_clone_task_timeout_sec

2 *60* 60

克隆 Tablet 的最大超时时间,单位为s,默认2h。

tablet_create_timeout_second

1

建表超时时长,单位为s。

tablet_delete_timeout_second

2

删除表的超时时间,单位为s。

tablet_repair_delay_factor_second

60

FE 控制进行副本修复的间隔,单位为s。

consistency_check_start_time

23

FE 发起副本一致性检测的起始时间,默认是23:00。

consistency_check_end_time

4

FE 发起副本一致性检测的终止时间,默认是4:00。

check_consistency_default_timeout_second

600

副本一致性检测的超时时间,单位为s。

其他配置

配置项

默认值

描述

plugin_enable

TRUE

是否开启了插件功能:

  • TRUE:开启了插件功能。

  • FALSE:没有开启插件功能。

说明

只能在Master节点安装或卸载插件。

max_small_file_number

100

允许存储小文件数目的最大值。

max_small_file_size_bytes

1024*1024

存储文件的大小上限,默认1 MB。

backup_job_default_timeout_ms

86400*1000

Backup作业的超时时间,单位为s,默认1天。

report_queue_size

100

Disk、Task或Tablet的Report的等待队列长度。

FE静态参数

LOG相关配置

配置项

默认值

描述

log_roll_size_mb

1024

日志拆分的大小,每1 GB拆分一个日志。

sys_log_dir

StarRocksFe.STARROCKS_HOME_DIR/log

日志保留的目录。

sys_log_level

INFO

日志的级别。

可以配置的等级从宽松到严格依次为INFO、WARNING、ERROR和FATAL。

sys_log_verbose_modules

空字符串

日志打印的模块。

例如,如果填写为org.apache.starrocks.catalog,则只打印catalog模块下的日志。

sys_log_roll_interval

DAY

日志拆分的时间间隔。

sys_log_delete_age

7d

日志删除的间隔。

sys_log_roll_num

10

每个sys_log_roll_interval时间内,保留的日志文件数目。

audit_log_dir

starrocksFe.STARROCKS_HOME_DIR/log

审计日志保留的目录。

audit_log_roll_num

90

审计日志保留的数目。

audit_log_modules

"slow_query", "query"

审计日志打印的模块,默认保留slow_query和query。

audit_log_roll_interval

DAY

审计日志拆分的时间间隔,取值为DAY或HOUR。

audit_log_delete_age

30d

审计日志删除的间隔。

dump_log_dir

STARROCKS_HOME_DIR/log

Dump日志的目录。

dump_log_modules

"query"

Dump日志打印的模块,默认保留query。

dump_log_roll_interval

DAY

Dump日志拆分的时间间隔。

日志文件的后缀为yyyyMMdd(DAY)或yyyyMMddHH(HOUR)。

dump_log_roll_num

90

每个dump_log_roll_interval时间内,保留的Dump日志文件数目。

dump_log_delete_age

30d

Dump日志保留的时间长度。

Server进程相关配置

配置项

默认值

描述

frontend_address

0.0.0.0

FE IP地址。

priority_networks

空字符串

以CIDR形式10.10.**.**/24指定BE的IP地址,适用于机器有多个IP,需要指定优先使用的网络。

http_port

8030

Http Server的端口。

http_backlog_num

1024

HTTP Server的backlog队列长度。

cluster_name

StarRocks Cluster

Web页面中Title显示的集群名称。

rpc_port

9020

FE上的Thrift Server端口。

thrift_backlog_num

1024

Thrift Server的backlog队列长度。

thrift_server_type

THREAD_POOL

FE的Thrift服务使用的服务模型。例如,SIMPLE、THREADED和THREAD_POOL。

thrift_server_max_worker_threads

4096

Thrift Server最大工作线程数。

thrift_client_timeout_ms

0

Client超时时间。

默认值为0,表示永远不会超时。

brpc_idle_wait_max_time

10000

BRPC的空闲等待时间,单位为ms,默认为10s。

query_port

9030

FE上的MySQL Server端口。

mysql_service_nio_enabled

TRUE

是否开启FE连接服务的nio:

  • TRUE:开启。

  • FALSE:不开启。

mysql_service_io_threads_num

4

FE连接服务线程数。

mysql_nio_backlog_num

1024

MySQL Server的backlog队列长度。

max_mysql_service_task_threads_num

4096

MySQL Server处理任务的最大线程数。

max_connection_scheduler_threads_num

4096

连接定时器的线程池的最大线程数。

qe_max_connection

1024

FE上最多接收的连接数,适用于所有用户。

check_java_version

TRUE

是否检查执行时的版本与编译的Java版本的兼容性:

  • TRUE:检查。

  • FALSE:不检查。

元数据与集群管理相关配置

配置项

默认值

描述

meta_dir

StarRocksFe.STARROCKS_HOME_DIR/meta

元数据保留目录。

heartbeat_mgr_threads_num

8

HeartbeatMgr中发送心跳任务的线程数。

heartbeat_mgr_blocking_queue_size

1024

HeartbeatMgr中发送心跳任务的线程池的队列长度。

metadata_failure_recovery

FALSE

强制重置FE的元数据。

说明

请谨慎使用该参数。

edit_log_port

9010

FE Group(Master、Follower、Observer)之间通信用的端口。

edit_log_type

BDB

Edit log的类型,只能为BDB。

bdbje_heartbeat_timeout_second

30

BDBJE心跳超时的间隔,单位为s。

bdbje_lock_timeout_second

1

BDBJE锁超时的间隔,单位为s。

max_bdbje_clock_delta_ms

5000

Master与Non-master最大容忍的时钟偏移,单位为ms。

txn_rollback_limit

100

事务回滚的上限。

bdbje_replica_ack_timeout_second

10

BDBJE Master等待足够多的FOLLOWER ACK的最长时间c

master_sync_policy

SYNC

Master日志刷盘的方式,默认是SYNC。

replica_sync_policy

SYNC

Follower日志刷盘的方式,默认是SYNC。

meta_delay_toleration_second

300

非Master节点能够容忍的最大元数据落后的时间,单位为s。

cluster_id

-1

相同cluster_id的FE或BE节点属于haode同一个集群。

默认值-1,表示在Master FE第一次启动时随机生成一个cluster_id。

查询引擎相关配置

配置项

默认值

描述

disable_colocate_join

FALSE

是否开启Colocate Join:

  • FALSE:不开启Colocate Join。

  • TRUE:开启Colocate Join。

enable_udf

FALSE

是否开启UDF:

  • FALSE:不开启UDF。

  • TRUE:开启UDF。

publish_version_interval_ms

10

发送版本生效任务的时间间隔。

statistic_cache_columns

10_0000

缓存统计信息表的行数。

导入和导出相关配置

配置项

默认值

描述

async_load_task_pool_size

10

导入任务执行的线程池大小。

load_checker_interval_second

5

导入轮询的间隔,单位为s。

transaction_clean_interval_second

30

清理已结束事务的周期,单位为s。

label_clean_interval_second

14400

label清理的间隔,单位为s。

spark_dpp_version

1.0.0

Spark dpp版本。

spark_resource_path

空字符串

Spark依赖包的根目录。

spark_launcher_log_dir

sys_log_dir/spark_launcher_log

Spark日志目录。

yarn_client_path

STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn

YARN客户端根目录。

yarn_config_dir

STARROCKS_HOME_DIR/lib/yarn-config

YARN配置文件目录。

export_checker_interval_second

5

导出线程轮询间隔,单位为s。

export_task_pool_size

5

导出任务线程池大小。

export_checker_interval_second

5

导出作业调度器的调度周期,单位为s。

存储相关配置

配置项

默认值

描述

storage_cooldown_second

2592000

介质迁移的时间,单位为s,默认30天。

default_storage_medium

HDD

默认的存储介质,取值为HDD和SSD。

在创建表或分区时,如果没有指定存储介质,则会使用该值。

schedule_slot_num_per_path

2

一个BE存储目录能够同时执行tablet相关任务的数目。

tablet_balancer_strategy

disk_and_tablet

Tablet均衡策略,取值为disk_and_tablet或be_load_score。

tablet_stat_update_interval_second

300

FE向每个BE请求收集tablet信息的时间间隔,单位为s,默认5min。

其他配置

配置项

默认值

描述

plugin_dir

STARROCKS_HOME_DIR/plugins

插件安装的目录。

small_file_dir

STARROCKS_HOME_DIR/small_files

小文件的根目录。

max_agent_task_threads_num

4096

代理任务的线程池的最大线程数。

authentication_ldap_simple_bind_base_dn

""

用户的base DN,指定用户的检索范围。

authentication_ldap_simple_bind_root_dn

""

检索用户时,使用的管理员账号DN。

authentication_ldap_simple_bind_root_pwd

""

检索用户时,使用的管理员账号密码。

authentication_ldap_simple_server_host

""

LDAP服务的host地址。

authentication_ldap_simple_server_port

389

LDAP服务的端口。

authentication_ldap_simple_user_search_attr

uid

LDAP对象中标识用户的属性名称。

tmp_dir

starrocksFe.STARROCKS_HOME_DIR/temp_ddir

临时文件保存目录,例如Backup和Restore等进程保留的目录。

locale

zh_CN.UTF-8

字符集。

hive_meta_load_concurrency

4

Hive元数据并发线程数。

hive_meta_cache_refresh_interval_s

4096

定时刷新Hive外表元数据缓存的周期,单位为s。

hive_meta_cache_ttl_s

3600 *2

Hive外表元数据缓存失效时间,单位为s,默认2h。

hive_meta_store_timeout_s

3600 *24

连接Hive MetaStore的超时时间,单位为s,默认24h。

es_state_sync_interval_second

10

FE获取ElasticSearch Index的时间,单位为s。

enable_auth_check

TRUE

是否开启鉴权:

  • TRUE:开启鉴权。

  • FALSE:不开启鉴权。

enable_metric_calculator

TRUE

是否开启定期收集Metrics:

  • TRUE:开启。

  • FALSE:不开启。

BE配置项

BE配置项全部是静态参数。

配置项

默认值

描述

be_port

9060

BE上Thrift Server的端口,用于接收来自FE的请求。

brpc_port

8060

BRPC的端口,可以查看BRPC的一些网络统计信息。

brpc_num_threads

-1

BRPC的bthreads线程数量。默认值-1表示和CPU核数一样。

priority_networks

空字符串

以CIDR形式10.10.**.**/24指定BE的IP地址,适用于机器有多个IP,需要指定优先使用的网络。

heartbeat_service_port

9050

心跳服务端口(Thrift),接收来自FE的心跳。

heartbeat_service_thread_count

1

心跳线程数。

create_tablet_worker_count

3

创建tablet的线程数。

drop_tablet_worker_count

3

删除tablet的线程数。

push_worker_count_normal_priority

3

导入线程数,处理NORMAL优先级任务。

push_worker_count_high_priority

3

导入线程数,处理HIGH优先级任务。

publish_version_worker_count

2

生效版本的线程数。

clear_transaction_task_worker_count

1

清理事务的线程数。

alter_tablet_worker_count

3

进行Schema Change的线程数。

clone_worker_count

3

克隆的线程数。

storage_medium_migrate_count

1

介质迁移的线程数。例如,热数据从SSD迁移到SATA盘的线程数。

check_consistency_worker_count

1

计算tablet的校验和checksum。

report_task_interval_seconds

10

汇报单个任务的间隔,单位为s。

建表、删除表、导入和Schema Change都可以被认定是任务。

report_disk_state_interval_seconds

60

汇报磁盘状态的间隔,单位为s。

汇报各个磁盘的状态及其数据量等。

report_tablet_interval_seconds

60

汇报tablet的间隔,单位为s。

汇报所有的tablet的最新版本。

alter_tablet_timeout_seconds

86400

Schema Change超时时间,单位为s。

sys_log_dir

${DORIS_HOME}/log

存放日志的目录。

日志级别包括INFO、WARNING、ERROR和FATAL。

user_function_dir

${DORIS_HOME}/lib/udf

存放UDF程序的目录。

sys_log_level

INFO

日志的等级。

可以配置的等级从宽松到严格依次为INFO、WARNING、ERROR和FATAL。

sys_log_roll_mode

SIZE-MB-1024

日志拆分的大小,每1 GB拆分一个日志。

sys_log_roll_num

10

日志保留的数目。

sys_log_verbose_modules

空字符串

日志打印的模块。如果写olap,则只打印olap模块下的日志。

sys_log_verbose_level

10

日志显示的级别,用于控制代码中VLOG开头的日志输出。

log_buffer_level

空字符串

日志刷盘的策略,默认保持在内存中。

num_threads_per_core

3

每个CPU core启动的线程数。

compress_rowbatches

TRUE

BE之间RPC通信是否压缩RowBatch,用于查询层之间的数据传输。

serialize_batch

FALSE

BE之间RPC通信是否序列化RowBatch,用于查询层之间的数据传输。

status_report_interval

5

查询汇报profile的间隔,单位为s,用于FE收集查询统计信息。

doris_scanner_thread_pool_thread_num

48

存储引擎并发扫描磁盘的线程数,统一管理在线程池中。

doris_scanner_thread_pool_queue_size

102400

存储引擎最多接收的任务数。

doris_scan_range_row_count

524288

存储引擎拆分查询任务的粒度。

doris_scanner_queue_size

1024

存储引擎支持的扫描任务数。

doris_scanner_row_num

16384

每个扫描线程单次执行最多返回的数据行数。

doris_max_scan_key_num

1024

查询最多拆分的scan key数目。

column_dictionary_key_ratio_threshold

0

字符串类型的取值比例,小于这个比例采用字典压缩算法。

column_dictionary_key_size_threshold

0

字典压缩列大小,小于这个值采用字典压缩算法。

memory_limitation_per_thread_for_schema_change

2

单个Schema Change任务允许占用的最大内存。

file_descriptor_cache_clean_interval

3600

文件句柄缓存清理的间隔,单位为s,用于清理长期不用的文件句柄。

disk_stat_monitor_interval

5

磁盘状态检测的间隔,单位为s。

unused_rowset_monitor_interval

30

清理过期Rowset的时间间隔,单位为s。

storage_root_path

空字符串

存储数据的目录。

max_tablet_num_per_shard

1024

每个shard的tablet数目,用于划分tablet,防止单个目录下tablet子目录过多。

pending_data_expire_time_sec

1800

存储引擎保留的未生效数据的最大时长,单位为s。

inc_rowset_expired_sec

1800

在增量克隆场景下,已导入的数据,在存储引擎中保留的时间,单位为s。

max_garbage_sweep_interval

3600

磁盘进行垃圾清理的最大间隔,单位为s。

min_garbage_sweep_interval

180

磁盘进行垃圾清理的最小间隔,单位为s。

snapshot_expire_time_sec

172800

快照文件清理的间隔,单位为s,默认为48小时。

trash_file_expire_time_sec

259200

回收站清理的间隔,单位为s,默认为72小时。

file_descriptor_cache_capacity

16384

文件句柄缓存的容量。

min_file_descriptor_number

60000

BE进程的文件句柄limit要求的下限。

index_stream_cache_capacity

10737418240

BloomFilter、Min或Max等统计信息缓存的容量。

storage_page_cache_limit

0

PageCache的容量。

disable_storage_page_cache

TRUE

是否禁用Page Cache。

  • TRUE:禁用Page Cache。

  • FALSE:不禁用Page Cache。

base_compaction_check_interval_seconds

60

BaseCompaction线程轮询的间隔,单位为s。

base_compaction_num_threads_per_disk

1

每个磁盘BaseCompaction线程的数目。

base_cumulative_delta_ratio

0.3

BaseCompaction触发条件之一:Cumulative文件大小达到Base文件的比例。

base_compaction_interval_seconds_since_last_operation

86400

BaseCompaction触发条件之一:上一轮BaseCompaction距今的间隔。

cumulative_compaction_check_interval_seconds

1

CumulativeCompaction线程轮询的间隔,单位为s。

min_cumulative_compaction_num_singleton_deltas

5

CumulativeCompaction触发条件之一:Singleton文件数目要达到的下限。

max_cumulative_compaction_num_singleton_deltas

1000

CumulativeCompaction 触发条件之一:Singleton文件数目要达到的上限。

cumulative_compaction_num_threads_per_disk

1

每个磁盘CumulativeCompaction线程的数目。

min_compaction_failure_interval_sec

120

Tablet Compaction失败之后,再次被调度的间隔,单位为s。

max_compaction_concurrency

-1

BaseCompaction + CumulativeCompaction的最大并发。

默认值-1表示没有限制。

webserver_port

8040

Http Server端口。

webserver_num_workers

48

Http Server线程数。

periodic_counter_update_period_ms

500

Counter统计信息的间隔,单位为ms。

load_data_reserve_hours

4

小批量导入生成的文件保留的时间,单位为h。

load_error_log_reserve_hours

48

导入数据信息保留的时长,单位为h。

number_tablet_writer_threads

16

流式导入的线程数。

streaming_load_max_mb

10240

流式导入单个文件大小的上限。

streaming_load_rpc_max_alive_time_sec

1200

流式导入RPC的超时时间。

fragment_pool_thread_num

64

查询线程数,默认启动64个线程,后续查询请求动态创建线程。

fragment_pool_queue_size

2048

单节点上能够处理的查询请求上限。

enable_partitioned_aggregation

TRUE

是否使用PartitionAggregation:

  • TRUE:使用PartitionAggregation。

  • FALSE:不使用PartitionAggregation。

enable_token_check

TRUE

是否开启Token检验:

  • TRUE:开启Token检验。

  • FALSE:不开启Token检验。

load_process_max_memory_limit_bytes

107374182400

单节点上所有的导入线程占据的内存上限,默认为100 GB。

load_process_max_memory_limit_percent

30

单节点上所有的导入线程占据的内存上限比例。

sync_tablet_meta

FALSE

存储引擎是否开sync保留到磁盘上。

thrift_rpc_timeout_ms

5000

Thrift超时的时长,单位为ms。

txn_commit_rpc_timeout_ms

10000

Txn超时的时长,单位为ms。

routine_load_thread_pool_size

10

例行导入的线程池数目。

tablet_meta_checkpoint_min_new_rowsets_num

10

TabletMeta Checkpoint的最小Rowset数目。

tablet_meta_checkpoint_min_interval_secs

600

TabletMeta Checkpoint线程轮询的时间间隔,单位为s。

brpc_max_body_size

209715200

BRPC最大的包容量,默认为200 MB。

max_runnings_transactions

2000

存储引擎支持的最大事务数。

tablet_map_shard_size

32

Tablet分组数。

enable_bitmap_union_disk_format_with_set

FALSE

Bitmap新存储格式,可以优化bitmap_union性能。