全部產品
Search
文件中心

E-MapReduce:參數配置

更新時間:Dec 07, 2024

本文為您介紹FE、BE、Broker以及系統參數的部分配置項以及修改方式。

背景資訊

配置項分為動態參數和靜態參數。動態參數主要是FE有部分動態配置,支援線上修改。靜態參數是需要重啟服務生效的配置項。

本文為您介紹以下內容:

FE動態參數

動態參數可以通過如下命令修改。

ADMIN SET FRONTEND CONFIG ("key" = "value");

LOG相關配置

配置項

預設值

描述

qe_slow_log_ms

5000

Slow query的認定時間長度,單位為ms。

中繼資料與叢集管理相關配置

配置項

預設值

描述

catalog_try_lock_timeout_ms

5000

Catalog Lock擷取的逾時時間長度,單位為ms。

edit_log_roll_num

50000

Image日誌拆分大小。

ignore_unknown_log_id

FALSE

是否忽略未知的logID:

  • TRUE:FE會忽略這些未知的logID。

  • FALSE:針對未知的logID,FE會退出進程。

當FE復原到低版本時,可能存在低版本BE無法識別的logID。

ignore_meta_check

FALSE

是否忽略中繼資料落後的情形:

  • FALSE:忽略。

  • TRUE:不忽略。

max_backend_down_time_second

3600

BE和FE失聯之後,FE能夠容忍BE重新加回來的最長時間,單位為s。

drop_backend_after_decommission

TRUE

BE被下線後,是否刪除該BE:

  • TRUE:刪除該BE。

  • FALSE:不刪除該BE。

查詢引擎相關配置

配置項

預設值

描述

expr_children_limit

10000

查詢中IN謂詞中可以涉及的數目。

expr_depth_limit

3000

查詢嵌套的層次。

max_allowed_in_element_num_of_delete

10000

DELETE語句中IN謂詞最多允許的元素數量。

max_layout_length_per_row

2147483647

單行最大的長度。

disable_cluster_feature

TRUE

是否禁用邏輯叢集功能:

  • TRUE:禁用。

  • FALSE:不禁用。

enable_materialized_view

TRUE

是否允許建立物化視圖:

  • TRUE:允許。

  • FALSE:不允許。

enable_decimal_v3

TRUE

是否開啟Decimal V3:

  • TRUE:開啟。

  • FALSE:不開啟。

enable_sql_blacklist

FALSE

是否開啟SQL Query黑名單校正:

  • TRUE:開啟。

  • FALSE:不開啟。

說明

如果開啟該功能,則在黑名單中的Query不能被執行。

dynamic_partition_check_interval_seconds

600

動態分區檢查的時間周期,單位為s。

dynamic_partition_enable

TRUE

是否開啟動態資料分割函數:

  • TRUE:開啟動態資料分割函數。

  • FALSE:不開啟動態資料分割函數。

max_partitions_in_one_batch

4096

大量建立分區時,分區數目的最大值。

max_query_retry_time

2

FE上查詢重試的次數。

max_create_table_timeout_second

60

建表最大逾時時間,單位為s。

max_running_rollup_job_num_per_table

1

每個Table執行Rollup任務的最大並發度。

max_planner_scalar_rewrite_num

10_0000

最佳化器重寫ScalarOperator允許的最大次數。

statistics_manager_sleep_time_sec

60*10

自動建立統計資訊表的周期,單位為s。

statistic_collect_interval_sec

120*60

統計資訊功能執行循環,單位為s。

statistic_update_interval_sec

24 *60* 60

統計資訊Job的預設收集間隔時間,單位為s。

statistic_sample_collect_rows

200000

採樣統計資訊Job的預設採樣行數,預設為200000行。

enable_statistic_collect

TRUE

統計資訊收集功能開關:

  • TRUE:開啟統計資訊收集功能。

  • FALSE:不開啟統計資訊收集功能。

enable_local_replica_selection

FALSE

最佳化器是否優先選擇與該FE相同IP的BE節點上的tablet:

  • TRUE:是。

  • FALSE:否。

max_distribution_pruner_recursion_depth

100

分區裁剪允許的最大遞迴深度。

匯入和匯出相關配置

配置項

預設值

描述

load_straggler_wait_second

300

控制BE副本最大容忍的匯入落後時間長度,單位為s。

如果超過該時間長度,則進行複製。

desired_max_waiting_jobs

100

最多等待的任務。

適用於所有的任務,例如建表、匯入和是Schema Change。

max_running_txn_num_per_db

100

並發匯入的任務數。

max_load_timeout_second

259200

適用於所有匯入,單位為s。

min_load_timeout_second

1

適用於所有匯入,單位為s。

load_parallel_instance_num

1

單個BE上並發執行個體數,預設1個。

disable_hadoop_load

FALSE

是否禁用從Hadoop匯入:

  • TRUE:禁用從Hadoop匯入。

  • FALSE:不禁用從Hadoop匯入。

disable_load_job

FALSE

如果叢集異常時,是否接受匯入任務:

  • TRUE:接受匯入任務。

  • FALSE:不接受匯入任務。

db_used_data_quota_update_interval_secs

300

更新資料庫使用配額的時間周期,單位為s。

history_job_keep_max_second

604800

歷史任務最大的保留時間長度,單位為s。

label_keep_max_num

1000

一定時間內所保留匯入任務的最大數量。

保留時間在label_keep_max_second中設定。

label_keep_max_second

259200

label保留時間長度,單位為s。

max_routine_load_job_num

100

最大的Routine Load作業數。

max_routine_load_task_concurrent_num

5

每個Routine Load作業最大並發執行的task數。

max_routine_load_task_num_per_be

5

每個BE最大並發執行的Routine Load task數,需要小於等於BE的routine_load_thread_pool_size配置。

max_routine_load_batch_size

524288000

每個Routine Load task匯入的最巨量資料量。

routine_load_task_consume_second

3

每個Routine Load task消費資料的最大時間,單位為s。

routine_load_task_timeout_second

15

每個Routine Load task逾時時間,單位為s。

max_tolerable_backend_down_num

0

如果故障的BE節點數超過該閾值,則不能自動回復Routine Load作業。

period_of_auto_resume_min

5

自動回復Routine Load的時間間隔。

spark_load_default_timeout_second

86400

Spark匯入的逾時時間,單位為s。

spark_home_default_dir

STARROCKS_HOME_DIR/lib/spark2x

Spark用戶端根目錄。

stream_load_default_timeout_second

600

StreamLoad逾時時間,單位為s。

max_stream_load_timeout_second

259200

Stream匯入的逾時時間允許設定的最大值,單位為s。

insert_load_default_timeout_second

3600

Insert Into語句的逾時時間,單位為s。

broker_load_default_timeout_second

14400

Broker Load的逾時時間,單位為s。

min_bytes_per_broker_scanner

67108864

單個執行個體處理的最小資料量,預設64 MB。

max_broker_concurrency

100

單個任務最大並發執行個體數,預設100個。

export_max_bytes_per_be_per_task

268435456

單個匯出任務在單個BE上匯出的最巨量資料量,預設256 MB。

export_running_job_num_limit

5

匯出作業最大的運行數目。

export_task_default_timeout_second

7200

匯出作業逾時時間長度,單位為s,預設2小時。

儲存相關配置

配置項

預設值

描述

enable_strict_storage_medium_check

FALSE

在建立表時,FE是否檢查BE的可用的儲存介質空間:

  • TRUE:檢查。

  • FALSE:不檢查。

capacity_used_percent_high_water

0.75

Backend上磁碟使用容量的度量值。

超過0.75之後,盡量不再往該tablet上發送建表和複製的任務,直至恢複正常。

storage_high_watermark_usage_percent

85

BE儲存目錄下空間使用率的最大值。

storage_min_left_capacity_bytes

2 *1024* 1024*1024

BE儲存目錄下剩餘空間的最小值,預設2 GB。

storage_flood_stage_left_capacity_bytes

1 *1024* 1024*1024

BE儲存目錄的剩餘空間。

如果剩餘空間小於該值,則會拒絕Load Restore作業。預設1 GB。

storage_flood_stage_usage_percent

95

BE儲存目錄下空間使用率。

如果空間使用率超過該值,則會拒絕Load和Restore作業。

catalog_trash_expire_second

86400

刪表或資料庫之後,中繼資料在資源回收筒中保留的時間長度,單位為s,預設1天。

如果超過該時間長度,則資料無法恢複。

alter_table_timeout_second

86400

Schema change逾時時間,單位為s,預設1天。

balance_load_disk_safe_threshold

0.5

僅對disk_and_tablet策略有效。

如果所有BE的磁碟使用率低於50%,則認為磁碟使用均衡。

balance_load_score_threshold

0.1

  • 針對be_load_score策略,負載比平均負載低10%的BE處於低負載狀態,比平均負載高10% 的BE處於高負載狀態。

  • 針對disk_and_tablet策略,如果最大和最小BE磁碟使用率之差高於10%,則認為磁碟使用不均衡,會觸發tablet重新均衡。

disable_balance

FALSE

是否禁用Tablet調度:

  • true:禁用。

  • false:不禁用。

max_scheduling_tablets

2000

正在調度的tablet數量。

如果正在調度的tablet數量超過該值,則跳過tablet均衡檢查。

max_balancing_tablets

100

正在均衡的tablet數量。

如果正在均衡的tablet數量超過該值,則跳過tablet重新均衡。

disable_colocate_balance

FALSE

是否禁用Colocate Table的副本均衡:

  • TRUE:禁用。

  • FALSE:不禁用。

recover_with_empty_tablet

FALSE

在tablet副本丟失或損壞時,是否使用空的tablet代替:

  • TRUE:使用空的tablet代替。

  • FALSE:不使用空的tablet代替。

使用空的tablet代替可以保證在有tablet副本丟失或損壞時,query依然能被執行(但是由於缺失了資料,結果可能是錯誤的)。

min_clone_task_timeout_sec

3*60

複製Tablet的最小逾時時間,單位為s,預設3min。

max_clone_task_timeout_sec

2 *60* 60

複製 Tablet 的最大逾時時間,單位為s,預設2h。

tablet_create_timeout_second

1

建表逾時時間長度,單位為s。

tablet_delete_timeout_second

2

刪除表的逾時時間,單位為s。

tablet_repair_delay_factor_second

60

FE 控制進行副本修複的間隔,單位為s。

consistency_check_start_time

23

FE 發起副本一致性檢測的起始時間,預設是23:00。

consistency_check_end_time

4

FE 發起副本一致性檢測的終止時間,預設是4:00。

check_consistency_default_timeout_second

600

副本一致性檢測的逾時時間,單位為s。

其他配置

配置項

預設值

描述

plugin_enable

TRUE

是否開啟了外掛程式功能:

  • TRUE:開啟了外掛程式功能。

  • FALSE:沒有開啟外掛程式功能。

說明

只能在Master節點安裝或卸載外掛程式。

max_small_file_number

100

允許儲存小檔案數目的最大值。

max_small_file_size_bytes

1024*1024

隱藏檔的大小上限,預設1 MB。

backup_job_default_timeout_ms

86400*1000

Backup作業的逾時時間,單位為s,預設1天。

report_queue_size

100

Disk、Task或Tablet的Report的等待隊列長度。

FE靜態參數

LOG相關配置

配置項

預設值

描述

log_roll_size_mb

1024

日誌拆分的大小,每1 GB拆分一個日誌。

sys_log_dir

StarRocksFe.STARROCKS_HOME_DIR/log

日誌保留的目錄。

sys_log_level

INFO

日誌的層級。

可以配置的等級從寬鬆到嚴格依次為INFO、WARNING、ERROR和FATAL。

sys_log_verbose_modules

Null 字元串

日誌列印的模組。

例如,如果填寫為org.apache.starrocks.catalog,則只列印catalog模組下的日誌。

sys_log_roll_interval

DAY

日誌拆分的時間間隔。

sys_log_delete_age

7d

日誌刪除的間隔。

sys_log_roll_num

10

每個sys_log_roll_interval時間內,保留的記錄檔數目。

audit_log_dir

starrocksFe.STARROCKS_HOME_DIR/log

審計日誌保留的目錄。

audit_log_roll_num

90

審計日誌保留的數目。

audit_log_modules

"slow_query", "query"

審計日誌列印的模組,預設保留slow_query和query。

audit_log_roll_interval

DAY

審計日誌拆分的時間間隔,取值為DAY或HOUR。

audit_log_delete_age

30d

審計日誌刪除的間隔。

dump_log_dir

STARROCKS_HOME_DIR/log

Dump日誌的目錄。

dump_log_modules

"query"

Dump日誌列印的模組,預設保留query。

dump_log_roll_interval

DAY

Dump日誌拆分的時間間隔。

記錄檔的尾碼為yyyyMMdd(DAY)或yyyyMMddHH(HOUR)。

dump_log_roll_num

90

每個dump_log_roll_interval時間內,保留的Dump記錄檔數目。

dump_log_delete_age

30d

Dump日誌保留的時間長度。

Server進程相關配置

配置項

預設值

描述

frontend_address

0.0.0.0

FE IP地址。

priority_networks

Null 字元串

以CIDR形式10.10.**.**/24指定BE的IP地址,適用於機器有多個IP,需要指定優先使用的網路。

http_port

8030

Http Server的連接埠。

http_backlog_num

1024

HTTP Server的backlog隊列長度。

cluster_name

StarRocks Cluster

Web頁面中Title顯示的叢集名稱。

rpc_port

9020

FE上的Thrift Server連接埠。

thrift_backlog_num

1024

Thrift Server的backlog隊列長度。

thrift_server_type

THREAD_POOL

FE的Thrift服務使用的服務模型。例如,SIMPLE、THREADED和THREAD_POOL。

thrift_server_max_worker_threads

4096

Thrift Server最大背景工作執行緒數。

thrift_client_timeout_ms

0

Client逾時時間。

預設值為0,表示永遠不會逾時。

brpc_idle_wait_max_time

10000

BRPC的空閑等待時間,單位為ms,預設為10s。

query_port

9030

FE上的MySQL Server連接埠。

mysql_service_nio_enabled

TRUE

是否開啟FE串連服務的nio:

  • TRUE:開啟。

  • FALSE:不開啟。

mysql_service_io_threads_num

4

FE串連服務線程數。

mysql_nio_backlog_num

1024

MySQL Server的backlog隊列長度。

max_mysql_service_task_threads_num

4096

MySQL Server處理任務的最大線程數。

max_connection_scheduler_threads_num

4096

串連定時器的線程池的最大線程數。

qe_max_connection

1024

FE上最多接收的串連數,適用於所有使用者。

check_java_version

TRUE

是否檢查執行時的版本與編譯的Java版本的相容性:

  • TRUE:檢查。

  • FALSE:不檢查。

中繼資料與叢集管理相關配置

配置項

預設值

描述

meta_dir

StarRocksFe.STARROCKS_HOME_DIR/meta

中繼資料保留目錄。

heartbeat_mgr_threads_num

8

HeartbeatMgr中發送心跳任務的線程數。

heartbeat_mgr_blocking_queue_size

1024

HeartbeatMgr中發送心跳任務的線程池的隊列長度。

metadata_failure_recovery

FALSE

強制重設FE的中繼資料。

說明

請謹慎使用該參數。

edit_log_port

9010

FE Group(Master、Follower、Observer)之間通訊用的連接埠。

edit_log_type

BDB

Edit log的類型,只能為BDB。

bdbje_heartbeat_timeout_second

30

BDBJE心跳逾時的間隔,單位為s。

bdbje_lock_timeout_second

1

BDBJE鎖逾時的間隔,單位為s。

max_bdbje_clock_delta_ms

5000

Master與Non-master最大容忍的時鐘位移,單位為ms。

txn_rollback_limit

100

交易回復的上限。

bdbje_replica_ack_timeout_second

10

BDBJE Master等待足夠多的FOLLOWER ACK的最長時間c

master_sync_policy

SYNC

Master日誌刷盤的方式,預設是SYNC。

replica_sync_policy

SYNC

Follower日誌刷盤的方式,預設是SYNC。

meta_delay_toleration_second

300

非Master節點能夠容忍的最大中繼資料落後的時間,單位為s。

cluster_id

-1

相同cluster_id的FE或BE節點屬於haode同一個叢集。

預設值-1,表示在Master FE第一次啟動時隨機產生一個cluster_id。

查詢引擎相關配置

配置項

預設值

描述

disable_colocate_join

FALSE

是否開啟Colocate Join:

  • FALSE:不開啟Colocate Join。

  • TRUE:開啟Colocate Join。

enable_udf

FALSE

是否開啟UDF:

  • FALSE:不開啟UDF。

  • TRUE:開啟UDF。

publish_version_interval_ms

10

發送版本生效任務的時間間隔。

statistic_cache_columns

10_0000

緩衝統計資訊表的行數。

匯入和匯出相關配置

配置項

預設值

描述

async_load_task_pool_size

10

匯入任務執行的線程池大小。

load_checker_interval_second

5

匯入輪詢的間隔,單位為s。

transaction_clean_interval_second

30

清理已結束事務的周期,單位為s。

label_clean_interval_second

14400

label清理的間隔,單位為s。

spark_dpp_version

1.0.0

Spark dpp版本。

spark_resource_path

Null 字元串

Spark依賴包的根目錄。

spark_launcher_log_dir

sys_log_dir/spark_launcher_log

Spark日誌目錄。

yarn_client_path

STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn

YARN用戶端根目錄。

yarn_config_dir

STARROCKS_HOME_DIR/lib/yarn-config

YARN設定檔目錄。

export_checker_interval_second

5

匯出線程輪詢間隔,單位為s。

export_task_pool_size

5

匯出任務線程池大小。

export_checker_interval_second

5

匯出作業調度器的調度周期,單位為s。

儲存相關配置

配置項

預設值

描述

storage_cooldown_second

2592000

介質遷移的時間,單位為s,預設30天。

default_storage_medium

HDD

預設的儲存介質,取值為HDD和SSD。

在建立表或分區時,如果沒有指定儲存介質,則會使用該值。

schedule_slot_num_per_path

2

一個BE儲存目錄能夠同時執行tablet相關任務的數目。

tablet_balancer_strategy

disk_and_tablet

Tablet均衡策略,取值為disk_and_tablet或be_load_score。

tablet_stat_update_interval_second

300

FE向每個BE請求收集tablet資訊的時間間隔,單位為s,預設5min。

其他配置

配置項

預設值

描述

plugin_dir

STARROCKS_HOME_DIR/plugins

外掛程式安裝的目錄。

small_file_dir

STARROCKS_HOME_DIR/small_files

小檔案的根目錄。

max_agent_task_threads_num

4096

代理任務的線程池的最大線程數。

authentication_ldap_simple_bind_base_dn

""

使用者的base DN,指定使用者的檢索範圍。

authentication_ldap_simple_bind_root_dn

""

檢索使用者時,使用的管理員帳號DN。

authentication_ldap_simple_bind_root_pwd

""

檢索使用者時,使用的管理員帳號密碼。

authentication_ldap_simple_server_host

""

LDAP服務的host地址。

authentication_ldap_simple_server_port

389

LDAP服務的連接埠。

authentication_ldap_simple_user_search_attr

uid

LDAP對象中標識使用者的屬性名稱。

tmp_dir

starrocksFe.STARROCKS_HOME_DIR/temp_ddir

臨時檔案儲存目錄,例如Backup和Restore等進程保留的目錄。

locale

zh_CN.UTF-8

字元集。

hive_meta_load_concurrency

4

Hive中繼資料並發線程數。

hive_meta_cache_refresh_interval_s

4096

定時重新整理Hive外表中繼資料快取的周期,單位為s。

hive_meta_cache_ttl_s

3600 *2

Hive外表中繼資料快取失效時間,單位為s,預設2h。

hive_meta_store_timeout_s

3600 *24

串連Hive MetaStore的逾時時間,單位為s,預設24h。

es_state_sync_interval_second

10

FE擷取Elasticsearch Index的時間,單位為s。

enable_auth_check

TRUE

是否開啟鑒權:

  • TRUE:開啟鑒權。

  • FALSE:不開啟鑒權。

enable_metric_calculator

TRUE

是否開啟定期收集Metrics:

  • TRUE:開啟。

  • FALSE:不開啟。

BE配置項

BE配置項全部是靜態參數。

配置項

預設值

描述

be_port

9060

BE上Thrift Server的連接埠,用於接收來自FE的請求。

brpc_port

8060

BRPC的連接埠,可以查看BRPC的一些網路統計資訊。

brpc_num_threads

-1

BRPC的bthreads線程數量。預設值-1表示和CPU核心數一樣。

priority_networks

Null 字元串

以CIDR形式10.10.**.**/24指定BE的IP地址,適用於機器有多個IP,需要指定優先使用的網路。

heartbeat_service_port

9050

心跳服務連接埠(Thrift),接收來自FE的心跳。

heartbeat_service_thread_count

1

心跳線程數。

create_tablet_worker_count

3

建立tablet的線程數。

drop_tablet_worker_count

3

刪除tablet的線程數。

push_worker_count_normal_priority

3

匯入線程數,處理NORMAL優先順序任務。

push_worker_count_high_priority

3

匯入線程數,處理HIGH優先順序任務。

publish_version_worker_count

2

生效版本的線程數。

clear_transaction_task_worker_count

1

清理事務的線程數。

alter_tablet_worker_count

3

進行Schema Change的線程數。

clone_worker_count

3

複製的線程數。

storage_medium_migrate_count

1

介質遷移的線程數。例如,熱資料從SSD遷移到SATA盤的線程數。

check_consistency_worker_count

1

計算tablet的校正和checksum。

report_task_interval_seconds

10

彙報單個任務的間隔,單位為s。

建表、刪除表、匯入和Schema Change都可以被認定是任務。

report_disk_state_interval_seconds

60

彙報磁碟狀態的間隔,單位為s。

彙報各個磁碟的狀態及其資料量等。

report_tablet_interval_seconds

60

彙報tablet的間隔,單位為s。

彙報所有的tablet的最新版本。

alter_tablet_timeout_seconds

86400

Schema Change逾時時間,單位為s。

sys_log_dir

${DORIS_HOME}/log

存放日誌的目錄。

記錄層級包括INFO、WARNING、ERROR和FATAL。

user_function_dir

${DORIS_HOME}/lib/udf

存放UDF程式的目錄。

sys_log_level

INFO

日誌的等級。

可以配置的等級從寬鬆到嚴格依次為INFO、WARNING、ERROR和FATAL。

sys_log_roll_mode

SIZE-MB-1024

日誌拆分的大小,每1 GB拆分一個日誌。

sys_log_roll_num

10

日誌保留的數目。

sys_log_verbose_modules

Null 字元串

日誌列印的模組。如果寫olap,則只列印olap模組下的日誌。

sys_log_verbose_level

10

日誌顯示的層級,用於控制碼中VLOG開頭的日誌輸出。

log_buffer_level

Null 字元串

日誌刷盤的策略,預設保持在記憶體中。

num_threads_per_core

3

每個CPU core啟動的線程數。

compress_rowbatches

TRUE

BE之間RPC通訊是否壓縮RowBatch,用於查詢層之間的資料轉送。

serialize_batch

FALSE

BE之間RPC通訊是否序列化RowBatch,用於查詢層之間的資料轉送。

status_report_interval

5

查詢彙報profile的間隔,單位為s,用於FE收集查詢統計資訊。

doris_scanner_thread_pool_thread_num

48

儲存引擎並發掃描磁碟的線程數,統一管理線上程池中。

doris_scanner_thread_pool_queue_size

102400

儲存引擎最多接收的任務數。

doris_scan_range_row_count

524288

儲存引擎拆分查詢任務的粒度。

doris_scanner_queue_size

1024

儲存引擎支援的掃描任務數。

doris_scanner_row_num

16384

每個掃描線程單次執行最多返回的資料行數。

doris_max_scan_key_num

1024

查詢最多拆分的scan key數目。

column_dictionary_key_ratio_threshold

0

字串類型的取值比例,小於這個比例採用字典壓縮演算法。

column_dictionary_key_size_threshold

0

字典壓縮列大小,小於這個值採用字典壓縮演算法。

memory_limitation_per_thread_for_schema_change

2

單個Schema Change任務允許佔用的最大記憶體。

file_descriptor_cache_clean_interval

3600

檔案控制代碼緩衝清理的間隔,單位為s,用於清理長期不用的檔案控制代碼。

disk_stat_monitor_interval

5

磁碟狀態檢測的間隔,單位為s。

unused_rowset_monitor_interval

30

清理到期Rowset的時間間隔,單位為s。

storage_root_path

Null 字元串

儲存資料的目錄。

max_tablet_num_per_shard

1024

每個shard的tablet數目,用於劃分tablet,防止單個目錄下tablet子目錄過多。

pending_data_expire_time_sec

1800

儲存引擎保留的未生效資料的最大時間長度,單位為s。

inc_rowset_expired_sec

1800

在增量複製情境下,已匯入的資料,在儲存引擎中保留的時間,單位為s。

max_garbage_sweep_interval

3600

磁碟進行垃圾清理的最大間隔,單位為s。

min_garbage_sweep_interval

180

磁碟進行垃圾清理的最小間隔,單位為s。

snapshot_expire_time_sec

172800

快照檔案清理的間隔,單位為s,預設為48小時。

trash_file_expire_time_sec

259200

資源回收筒清理的間隔,單位為s,預設為72小時。

file_descriptor_cache_capacity

16384

檔案控制代碼緩衝的容量。

min_file_descriptor_number

60000

BE進程的檔案控制代碼limit要求的下限。

index_stream_cache_capacity

10737418240

BloomFilter、Min或Max等統計資訊緩衝的容量。

storage_page_cache_limit

0

PageCache的容量。

disable_storage_page_cache

TRUE

是否禁用Page Cache。

  • TRUE:禁用Page Cache。

  • FALSE:不禁用Page Cache。

base_compaction_check_interval_seconds

60

BaseCompaction線程輪詢的間隔,單位為s。

base_compaction_num_threads_per_disk

1

每個磁碟BaseCompaction線程的數目。

base_cumulative_delta_ratio

0.3

BaseCompaction觸發條件之一:Cumulative檔案大小達到Base檔案的比例。

base_compaction_interval_seconds_since_last_operation

86400

BaseCompaction觸發條件之一:上一輪BaseCompaction距今的間隔。

cumulative_compaction_check_interval_seconds

1

CumulativeCompaction線程輪詢的間隔,單位為s。

min_cumulative_compaction_num_singleton_deltas

5

CumulativeCompaction觸發條件之一:Singleton檔案數目要達到的下限。

max_cumulative_compaction_num_singleton_deltas

1000

CumulativeCompaction 觸發條件之一:Singleton檔案數目要達到的上限。

cumulative_compaction_num_threads_per_disk

1

每個磁碟CumulativeCompaction線程的數目。

min_compaction_failure_interval_sec

120

Tablet Compaction失敗之後,再次被調度的間隔,單位為s。

max_compaction_concurrency

-1

BaseCompaction + CumulativeCompaction的最大並發。

預設值-1表示沒有限制。

webserver_port

8040

Http Server連接埠。

webserver_num_workers

48

Http Server線程數。

periodic_counter_update_period_ms

500

Counter統計資訊的間隔,單位為ms。

load_data_reserve_hours

4

小大量匯入產生的檔案保留的時間,單位為h。

load_error_log_reserve_hours

48

匯入資料資訊保留的時間長度,單位為h。

number_tablet_writer_threads

16

流式匯入的線程數。

streaming_load_max_mb

10240

流式匯入單個檔案大小的上限。

streaming_load_rpc_max_alive_time_sec

1200

流式匯入RPC的逾時時間。

fragment_pool_thread_num

64

查詢線程數,預設啟動64個線程,後續查詢請求動態建立線程。

fragment_pool_queue_size

2048

單節點上能夠處理的查詢請求上限。

enable_partitioned_aggregation

TRUE

是否使用PartitionAggregation:

  • TRUE:使用PartitionAggregation。

  • FALSE:不使用PartitionAggregation。

enable_token_check

TRUE

是否開啟Token檢驗:

  • TRUE:開啟Token檢驗。

  • FALSE:不開啟Token檢驗。

load_process_max_memory_limit_bytes

107374182400

單節點上所有的匯入線程佔據的記憶體上限,預設為100 GB。

load_process_max_memory_limit_percent

30

單節點上所有的匯入線程佔據的記憶體上限比例。

sync_tablet_meta

FALSE

儲存引擎是否開sync保留到磁碟上。

thrift_rpc_timeout_ms

5000

Thrift逾時的時間長度,單位為ms。

txn_commit_rpc_timeout_ms

10000

Txn逾時的時間長度,單位為ms。

routine_load_thread_pool_size

10

例行匯入的線程池數目。

tablet_meta_checkpoint_min_new_rowsets_num

10

TabletMeta Checkpoint的最小Rowset數目。

tablet_meta_checkpoint_min_interval_secs

600

TabletMeta Checkpoint線程輪詢的時間間隔,單位為s。

brpc_max_body_size

209715200

BRPC最大的包容量,預設為200 MB。

max_runnings_transactions

2000

儲存引擎支援的最大事務數。

tablet_map_shard_size

32

Tablet分組數。

enable_bitmap_union_disk_format_with_set

FALSE

Bitmap新儲存格式,可以最佳化bitmap_union效能。