本文為您介紹FE、BE、Broker以及系統參數的部分配置項以及修改方式。
背景資訊
配置項分為動態參數和靜態參數。動態參數主要是FE有部分動態配置,支援線上修改。靜態參數是需要重啟服務生效的配置項。
FE動態參數
動態參數可以通過如下命令修改。
ADMIN SET FRONTEND CONFIG ("key" = "value");
LOG相關配置
配置項 | 預設值 | 描述 |
qe_slow_log_ms | 5000 | Slow query的認定時間長度,單位為ms。 |
中繼資料與叢集管理相關配置
配置項 | 預設值 | 描述 |
catalog_try_lock_timeout_ms | 5000 | Catalog Lock擷取的逾時時間長度,單位為ms。 |
edit_log_roll_num | 50000 | Image日誌拆分大小。 |
ignore_unknown_log_id | FALSE | 是否忽略未知的logID:
當FE復原到低版本時,可能存在低版本BE無法識別的logID。 |
ignore_meta_check | FALSE | 是否忽略中繼資料落後的情形:
|
max_backend_down_time_second | 3600 | BE和FE失聯之後,FE能夠容忍BE重新加回來的最長時間,單位為s。 |
drop_backend_after_decommission | TRUE | BE被下線後,是否刪除該BE:
|
查詢引擎相關配置
配置項 | 預設值 | 描述 |
expr_children_limit | 10000 | 查詢中IN謂詞中可以涉及的數目。 |
expr_depth_limit | 3000 | 查詢嵌套的層次。 |
max_allowed_in_element_num_of_delete | 10000 | DELETE語句中IN謂詞最多允許的元素數量。 |
max_layout_length_per_row | 2147483647 | 單行最大的長度。 |
disable_cluster_feature | TRUE | 是否禁用邏輯叢集功能:
|
enable_materialized_view | TRUE | 是否允許建立物化視圖:
|
enable_decimal_v3 | TRUE | 是否開啟Decimal V3:
|
enable_sql_blacklist | FALSE | 是否開啟SQL Query黑名單校正:
說明 如果開啟該功能,則在黑名單中的Query不能被執行。 |
dynamic_partition_check_interval_seconds | 600 | 動態分區檢查的時間周期,單位為s。 |
dynamic_partition_enable | TRUE | 是否開啟動態資料分割函數:
|
max_partitions_in_one_batch | 4096 | 大量建立分區時,分區數目的最大值。 |
max_query_retry_time | 2 | FE上查詢重試的次數。 |
max_create_table_timeout_second | 60 | 建表最大逾時時間,單位為s。 |
max_running_rollup_job_num_per_table | 1 | 每個Table執行Rollup任務的最大並發度。 |
max_planner_scalar_rewrite_num | 10_0000 | 最佳化器重寫ScalarOperator允許的最大次數。 |
statistics_manager_sleep_time_sec | 60*10 | 自動建立統計資訊表的周期,單位為s。 |
statistic_collect_interval_sec | 120*60 | 統計資訊功能執行循環,單位為s。 |
statistic_update_interval_sec | 24 *60* 60 | 統計資訊Job的預設收集間隔時間,單位為s。 |
statistic_sample_collect_rows | 200000 | 採樣統計資訊Job的預設採樣行數,預設為200000行。 |
enable_statistic_collect | TRUE | 統計資訊收集功能開關:
|
enable_local_replica_selection | FALSE | 最佳化器是否優先選擇與該FE相同IP的BE節點上的tablet:
|
max_distribution_pruner_recursion_depth | 100 | 分區裁剪允許的最大遞迴深度。 |
匯入和匯出相關配置
配置項 | 預設值 | 描述 |
load_straggler_wait_second | 300 | 控制BE副本最大容忍的匯入落後時間長度,單位為s。 如果超過該時間長度,則進行複製。 |
desired_max_waiting_jobs | 100 | 最多等待的任務。 適用於所有的任務,例如建表、匯入和是Schema Change。 |
max_running_txn_num_per_db | 100 | 並發匯入的任務數。 |
max_load_timeout_second | 259200 | 適用於所有匯入,單位為s。 |
min_load_timeout_second | 1 | 適用於所有匯入,單位為s。 |
load_parallel_instance_num | 1 | 單個BE上並發執行個體數,預設1個。 |
disable_hadoop_load | FALSE | 是否禁用從Hadoop匯入:
|
disable_load_job | FALSE | 如果叢集異常時,是否接受匯入任務:
|
db_used_data_quota_update_interval_secs | 300 | 更新資料庫使用配額的時間周期,單位為s。 |
history_job_keep_max_second | 604800 | 歷史任務最大的保留時間長度,單位為s。 |
label_keep_max_num | 1000 | 一定時間內所保留匯入任務的最大數量。 保留時間在label_keep_max_second中設定。 |
label_keep_max_second | 259200 | label保留時間長度,單位為s。 |
max_routine_load_job_num | 100 | 最大的Routine Load作業數。 |
max_routine_load_task_concurrent_num | 5 | 每個Routine Load作業最大並發執行的task數。 |
max_routine_load_task_num_per_be | 5 | 每個BE最大並發執行的Routine Load task數,需要小於等於BE的routine_load_thread_pool_size配置。 |
max_routine_load_batch_size | 524288000 | 每個Routine Load task匯入的最巨量資料量。 |
routine_load_task_consume_second | 3 | 每個Routine Load task消費資料的最大時間,單位為s。 |
routine_load_task_timeout_second | 15 | 每個Routine Load task逾時時間,單位為s。 |
max_tolerable_backend_down_num | 0 | 如果故障的BE節點數超過該閾值,則不能自動回復Routine Load作業。 |
period_of_auto_resume_min | 5 | 自動回復Routine Load的時間間隔。 |
spark_load_default_timeout_second | 86400 | Spark匯入的逾時時間,單位為s。 |
spark_home_default_dir | STARROCKS_HOME_DIR/lib/spark2x | Spark用戶端根目錄。 |
stream_load_default_timeout_second | 600 | StreamLoad逾時時間,單位為s。 |
max_stream_load_timeout_second | 259200 | Stream匯入的逾時時間允許設定的最大值,單位為s。 |
insert_load_default_timeout_second | 3600 | Insert Into語句的逾時時間,單位為s。 |
broker_load_default_timeout_second | 14400 | Broker Load的逾時時間,單位為s。 |
min_bytes_per_broker_scanner | 67108864 | 單個執行個體處理的最小資料量,預設64 MB。 |
max_broker_concurrency | 100 | 單個任務最大並發執行個體數,預設100個。 |
export_max_bytes_per_be_per_task | 268435456 | 單個匯出任務在單個BE上匯出的最巨量資料量,預設256 MB。 |
export_running_job_num_limit | 5 | 匯出作業最大的運行數目。 |
export_task_default_timeout_second | 7200 | 匯出作業逾時時間長度,單位為s,預設2小時。 |
儲存相關配置
配置項 | 預設值 | 描述 |
enable_strict_storage_medium_check | FALSE | 在建立表時,FE是否檢查BE的可用的儲存介質空間:
|
capacity_used_percent_high_water | 0.75 | Backend上磁碟使用容量的度量值。 超過0.75之後,盡量不再往該tablet上發送建表和複製的任務,直至恢複正常。 |
storage_high_watermark_usage_percent | 85 | BE儲存目錄下空間使用率的最大值。 |
storage_min_left_capacity_bytes | 2 *1024* 1024*1024 | BE儲存目錄下剩餘空間的最小值,預設2 GB。 |
storage_flood_stage_left_capacity_bytes | 1 *1024* 1024*1024 | BE儲存目錄的剩餘空間。 如果剩餘空間小於該值,則會拒絕Load Restore作業。預設1 GB。 |
storage_flood_stage_usage_percent | 95 | BE儲存目錄下空間使用率。 如果空間使用率超過該值,則會拒絕Load和Restore作業。 |
catalog_trash_expire_second | 86400 | 刪表或資料庫之後,中繼資料在資源回收筒中保留的時間長度,單位為s,預設1天。 如果超過該時間長度,則資料無法恢複。 |
alter_table_timeout_second | 86400 | Schema change逾時時間,單位為s,預設1天。 |
balance_load_disk_safe_threshold | 0.5 | 僅對disk_and_tablet策略有效。 如果所有BE的磁碟使用率低於50%,則認為磁碟使用均衡。 |
balance_load_score_threshold | 0.1 |
|
disable_balance | FALSE | 是否禁用Tablet調度:
|
max_scheduling_tablets | 2000 | 正在調度的tablet數量。 如果正在調度的tablet數量超過該值,則跳過tablet均衡檢查。 |
max_balancing_tablets | 100 | 正在均衡的tablet數量。 如果正在均衡的tablet數量超過該值,則跳過tablet重新均衡。 |
disable_colocate_balance | FALSE | 是否禁用Colocate Table的副本均衡:
|
recover_with_empty_tablet | FALSE | 在tablet副本丟失或損壞時,是否使用空的tablet代替:
使用空的tablet代替可以保證在有tablet副本丟失或損壞時,query依然能被執行(但是由於缺失了資料,結果可能是錯誤的)。 |
min_clone_task_timeout_sec | 3*60 | 複製Tablet的最小逾時時間,單位為s,預設3min。 |
max_clone_task_timeout_sec | 2 *60* 60 | 複製 Tablet 的最大逾時時間,單位為s,預設2h。 |
tablet_create_timeout_second | 1 | 建表逾時時間長度,單位為s。 |
tablet_delete_timeout_second | 2 | 刪除表的逾時時間,單位為s。 |
tablet_repair_delay_factor_second | 60 | FE 控制進行副本修複的間隔,單位為s。 |
consistency_check_start_time | 23 | FE 發起副本一致性檢測的起始時間,預設是23:00。 |
consistency_check_end_time | 4 | FE 發起副本一致性檢測的終止時間,預設是4:00。 |
check_consistency_default_timeout_second | 600 | 副本一致性檢測的逾時時間,單位為s。 |
其他配置
配置項 | 預設值 | 描述 |
plugin_enable | TRUE | 是否開啟了外掛程式功能:
說明 只能在Master節點安裝或卸載外掛程式。 |
max_small_file_number | 100 | 允許儲存小檔案數目的最大值。 |
max_small_file_size_bytes | 1024*1024 | 隱藏檔的大小上限,預設1 MB。 |
backup_job_default_timeout_ms | 86400*1000 | Backup作業的逾時時間,單位為s,預設1天。 |
report_queue_size | 100 | Disk、Task或Tablet的Report的等待隊列長度。 |
FE靜態參數
LOG相關配置
配置項 | 預設值 | 描述 |
log_roll_size_mb | 1024 | 日誌拆分的大小,每1 GB拆分一個日誌。 |
sys_log_dir | StarRocksFe.STARROCKS_HOME_DIR/log | 日誌保留的目錄。 |
sys_log_level | INFO | 日誌的層級。 可以配置的等級從寬鬆到嚴格依次為INFO、WARNING、ERROR和FATAL。 |
sys_log_verbose_modules | Null 字元串 | 日誌列印的模組。 例如,如果填寫為org.apache.starrocks.catalog,則只列印catalog模組下的日誌。 |
sys_log_roll_interval | DAY | 日誌拆分的時間間隔。 |
sys_log_delete_age | 7d | 日誌刪除的間隔。 |
sys_log_roll_num | 10 | 每個sys_log_roll_interval時間內,保留的記錄檔數目。 |
audit_log_dir | starrocksFe.STARROCKS_HOME_DIR/log | 審計日誌保留的目錄。 |
audit_log_roll_num | 90 | 審計日誌保留的數目。 |
audit_log_modules | "slow_query", "query" | 審計日誌列印的模組,預設保留slow_query和query。 |
audit_log_roll_interval | DAY | 審計日誌拆分的時間間隔,取值為DAY或HOUR。 |
audit_log_delete_age | 30d | 審計日誌刪除的間隔。 |
dump_log_dir | STARROCKS_HOME_DIR/log | Dump日誌的目錄。 |
dump_log_modules | "query" | Dump日誌列印的模組,預設保留query。 |
dump_log_roll_interval | DAY | Dump日誌拆分的時間間隔。 記錄檔的尾碼為yyyyMMdd(DAY)或yyyyMMddHH(HOUR)。 |
dump_log_roll_num | 90 | 每個dump_log_roll_interval時間內,保留的Dump記錄檔數目。 |
dump_log_delete_age | 30d | Dump日誌保留的時間長度。 |
Server進程相關配置
配置項 | 預設值 | 描述 |
frontend_address | 0.0.0.0 | FE IP地址。 |
priority_networks | Null 字元串 | 以CIDR形式10.10.**.**/24指定BE的IP地址,適用於機器有多個IP,需要指定優先使用的網路。 |
http_port | 8030 | Http Server的連接埠。 |
http_backlog_num | 1024 | HTTP Server的backlog隊列長度。 |
cluster_name | StarRocks Cluster | Web頁面中Title顯示的叢集名稱。 |
rpc_port | 9020 | FE上的Thrift Server連接埠。 |
thrift_backlog_num | 1024 | Thrift Server的backlog隊列長度。 |
thrift_server_type | THREAD_POOL | FE的Thrift服務使用的服務模型。例如,SIMPLE、THREADED和THREAD_POOL。 |
thrift_server_max_worker_threads | 4096 | Thrift Server最大背景工作執行緒數。 |
thrift_client_timeout_ms | 0 | Client逾時時間。 預設值為0,表示永遠不會逾時。 |
brpc_idle_wait_max_time | 10000 | BRPC的空閑等待時間,單位為ms,預設為10s。 |
query_port | 9030 | FE上的MySQL Server連接埠。 |
mysql_service_nio_enabled | TRUE | 是否開啟FE串連服務的nio:
|
mysql_service_io_threads_num | 4 | FE串連服務線程數。 |
mysql_nio_backlog_num | 1024 | MySQL Server的backlog隊列長度。 |
max_mysql_service_task_threads_num | 4096 | MySQL Server處理任務的最大線程數。 |
max_connection_scheduler_threads_num | 4096 | 串連定時器的線程池的最大線程數。 |
qe_max_connection | 1024 | FE上最多接收的串連數,適用於所有使用者。 |
check_java_version | TRUE | 是否檢查執行時的版本與編譯的Java版本的相容性:
|
中繼資料與叢集管理相關配置
配置項 | 預設值 | 描述 |
meta_dir | StarRocksFe.STARROCKS_HOME_DIR/meta | 中繼資料保留目錄。 |
heartbeat_mgr_threads_num | 8 | HeartbeatMgr中發送心跳任務的線程數。 |
heartbeat_mgr_blocking_queue_size | 1024 | HeartbeatMgr中發送心跳任務的線程池的隊列長度。 |
metadata_failure_recovery | FALSE | 強制重設FE的中繼資料。 說明 請謹慎使用該參數。 |
edit_log_port | 9010 | FE Group(Master、Follower、Observer)之間通訊用的連接埠。 |
edit_log_type | BDB | Edit log的類型,只能為BDB。 |
bdbje_heartbeat_timeout_second | 30 | BDBJE心跳逾時的間隔,單位為s。 |
bdbje_lock_timeout_second | 1 | BDBJE鎖逾時的間隔,單位為s。 |
max_bdbje_clock_delta_ms | 5000 | Master與Non-master最大容忍的時鐘位移,單位為ms。 |
txn_rollback_limit | 100 | 交易回復的上限。 |
bdbje_replica_ack_timeout_second | 10 | BDBJE Master等待足夠多的FOLLOWER ACK的最長時間c |
master_sync_policy | SYNC | Master日誌刷盤的方式,預設是SYNC。 |
replica_sync_policy | SYNC | Follower日誌刷盤的方式,預設是SYNC。 |
meta_delay_toleration_second | 300 | 非Master節點能夠容忍的最大中繼資料落後的時間,單位為s。 |
cluster_id | -1 | 相同cluster_id的FE或BE節點屬於haode同一個叢集。 預設值-1,表示在Master FE第一次啟動時隨機產生一個cluster_id。 |
查詢引擎相關配置
配置項 | 預設值 | 描述 |
disable_colocate_join | FALSE | 是否開啟Colocate Join:
|
enable_udf | FALSE | 是否開啟UDF:
|
publish_version_interval_ms | 10 | 發送版本生效任務的時間間隔。 |
statistic_cache_columns | 10_0000 | 緩衝統計資訊表的行數。 |
匯入和匯出相關配置
配置項 | 預設值 | 描述 |
async_load_task_pool_size | 10 | 匯入任務執行的線程池大小。 |
load_checker_interval_second | 5 | 匯入輪詢的間隔,單位為s。 |
transaction_clean_interval_second | 30 | 清理已結束事務的周期,單位為s。 |
label_clean_interval_second | 14400 | label清理的間隔,單位為s。 |
spark_dpp_version | 1.0.0 | Spark dpp版本。 |
spark_resource_path | Null 字元串 | Spark依賴包的根目錄。 |
spark_launcher_log_dir | sys_log_dir/spark_launcher_log | Spark日誌目錄。 |
yarn_client_path | STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn | YARN用戶端根目錄。 |
yarn_config_dir | STARROCKS_HOME_DIR/lib/yarn-config | YARN設定檔目錄。 |
export_checker_interval_second | 5 | 匯出線程輪詢間隔,單位為s。 |
export_task_pool_size | 5 | 匯出任務線程池大小。 |
export_checker_interval_second | 5 | 匯出作業調度器的調度周期,單位為s。 |
儲存相關配置
配置項 | 預設值 | 描述 |
storage_cooldown_second | 2592000 | 介質遷移的時間,單位為s,預設30天。 |
default_storage_medium | HDD | 預設的儲存介質,取值為HDD和SSD。 在建立表或分區時,如果沒有指定儲存介質,則會使用該值。 |
schedule_slot_num_per_path | 2 | 一個BE儲存目錄能夠同時執行tablet相關任務的數目。 |
tablet_balancer_strategy | disk_and_tablet | Tablet均衡策略,取值為disk_and_tablet或be_load_score。 |
tablet_stat_update_interval_second | 300 | FE向每個BE請求收集tablet資訊的時間間隔,單位為s,預設5min。 |
其他配置
配置項 | 預設值 | 描述 |
plugin_dir | STARROCKS_HOME_DIR/plugins | 外掛程式安裝的目錄。 |
small_file_dir | STARROCKS_HOME_DIR/small_files | 小檔案的根目錄。 |
max_agent_task_threads_num | 4096 | 代理任務的線程池的最大線程數。 |
authentication_ldap_simple_bind_base_dn | "" | 使用者的base DN,指定使用者的檢索範圍。 |
authentication_ldap_simple_bind_root_dn | "" | 檢索使用者時,使用的管理員帳號DN。 |
authentication_ldap_simple_bind_root_pwd | "" | 檢索使用者時,使用的管理員帳號密碼。 |
authentication_ldap_simple_server_host | "" | LDAP服務的host地址。 |
authentication_ldap_simple_server_port | 389 | LDAP服務的連接埠。 |
authentication_ldap_simple_user_search_attr | uid | LDAP對象中標識使用者的屬性名稱。 |
tmp_dir | starrocksFe.STARROCKS_HOME_DIR/temp_ddir | 臨時檔案儲存目錄,例如Backup和Restore等進程保留的目錄。 |
locale | zh_CN.UTF-8 | 字元集。 |
hive_meta_load_concurrency | 4 | Hive中繼資料並發線程數。 |
hive_meta_cache_refresh_interval_s | 4096 | 定時重新整理Hive外表中繼資料快取的周期,單位為s。 |
hive_meta_cache_ttl_s | 3600 *2 | Hive外表中繼資料快取失效時間,單位為s,預設2h。 |
hive_meta_store_timeout_s | 3600 *24 | 串連Hive MetaStore的逾時時間,單位為s,預設24h。 |
es_state_sync_interval_second | 10 | FE擷取Elasticsearch Index的時間,單位為s。 |
enable_auth_check | TRUE | 是否開啟鑒權:
|
enable_metric_calculator | TRUE | 是否開啟定期收集Metrics:
|
BE配置項
BE配置項全部是靜態參數。
配置項 | 預設值 | 描述 |
be_port | 9060 | BE上Thrift Server的連接埠,用於接收來自FE的請求。 |
brpc_port | 8060 | BRPC的連接埠,可以查看BRPC的一些網路統計資訊。 |
brpc_num_threads | -1 | BRPC的bthreads線程數量。預設值-1表示和CPU核心數一樣。 |
priority_networks | Null 字元串 | 以CIDR形式10.10.**.**/24指定BE的IP地址,適用於機器有多個IP,需要指定優先使用的網路。 |
heartbeat_service_port | 9050 | 心跳服務連接埠(Thrift),接收來自FE的心跳。 |
heartbeat_service_thread_count | 1 | 心跳線程數。 |
create_tablet_worker_count | 3 | 建立tablet的線程數。 |
drop_tablet_worker_count | 3 | 刪除tablet的線程數。 |
push_worker_count_normal_priority | 3 | 匯入線程數,處理NORMAL優先順序任務。 |
push_worker_count_high_priority | 3 | 匯入線程數,處理HIGH優先順序任務。 |
publish_version_worker_count | 2 | 生效版本的線程數。 |
clear_transaction_task_worker_count | 1 | 清理事務的線程數。 |
alter_tablet_worker_count | 3 | 進行Schema Change的線程數。 |
clone_worker_count | 3 | 複製的線程數。 |
storage_medium_migrate_count | 1 | 介質遷移的線程數。例如,熱資料從SSD遷移到SATA盤的線程數。 |
check_consistency_worker_count | 1 | 計算tablet的校正和checksum。 |
report_task_interval_seconds | 10 | 彙報單個任務的間隔,單位為s。 建表、刪除表、匯入和Schema Change都可以被認定是任務。 |
report_disk_state_interval_seconds | 60 | 彙報磁碟狀態的間隔,單位為s。 彙報各個磁碟的狀態及其資料量等。 |
report_tablet_interval_seconds | 60 | 彙報tablet的間隔,單位為s。 彙報所有的tablet的最新版本。 |
alter_tablet_timeout_seconds | 86400 | Schema Change逾時時間,單位為s。 |
sys_log_dir | ${DORIS_HOME}/log | 存放日誌的目錄。 記錄層級包括INFO、WARNING、ERROR和FATAL。 |
user_function_dir | ${DORIS_HOME}/lib/udf | 存放UDF程式的目錄。 |
sys_log_level | INFO | 日誌的等級。 可以配置的等級從寬鬆到嚴格依次為INFO、WARNING、ERROR和FATAL。 |
sys_log_roll_mode | SIZE-MB-1024 | 日誌拆分的大小,每1 GB拆分一個日誌。 |
sys_log_roll_num | 10 | 日誌保留的數目。 |
sys_log_verbose_modules | Null 字元串 | 日誌列印的模組。如果寫olap,則只列印olap模組下的日誌。 |
sys_log_verbose_level | 10 | 日誌顯示的層級,用於控制碼中VLOG開頭的日誌輸出。 |
log_buffer_level | Null 字元串 | 日誌刷盤的策略,預設保持在記憶體中。 |
num_threads_per_core | 3 | 每個CPU core啟動的線程數。 |
compress_rowbatches | TRUE | BE之間RPC通訊是否壓縮RowBatch,用於查詢層之間的資料轉送。 |
serialize_batch | FALSE | BE之間RPC通訊是否序列化RowBatch,用於查詢層之間的資料轉送。 |
status_report_interval | 5 | 查詢彙報profile的間隔,單位為s,用於FE收集查詢統計資訊。 |
doris_scanner_thread_pool_thread_num | 48 | 儲存引擎並發掃描磁碟的線程數,統一管理線上程池中。 |
doris_scanner_thread_pool_queue_size | 102400 | 儲存引擎最多接收的任務數。 |
doris_scan_range_row_count | 524288 | 儲存引擎拆分查詢任務的粒度。 |
doris_scanner_queue_size | 1024 | 儲存引擎支援的掃描任務數。 |
doris_scanner_row_num | 16384 | 每個掃描線程單次執行最多返回的資料行數。 |
doris_max_scan_key_num | 1024 | 查詢最多拆分的scan key數目。 |
column_dictionary_key_ratio_threshold | 0 | 字串類型的取值比例,小於這個比例採用字典壓縮演算法。 |
column_dictionary_key_size_threshold | 0 | 字典壓縮列大小,小於這個值採用字典壓縮演算法。 |
memory_limitation_per_thread_for_schema_change | 2 | 單個Schema Change任務允許佔用的最大記憶體。 |
file_descriptor_cache_clean_interval | 3600 | 檔案控制代碼緩衝清理的間隔,單位為s,用於清理長期不用的檔案控制代碼。 |
disk_stat_monitor_interval | 5 | 磁碟狀態檢測的間隔,單位為s。 |
unused_rowset_monitor_interval | 30 | 清理到期Rowset的時間間隔,單位為s。 |
storage_root_path | Null 字元串 | 儲存資料的目錄。 |
max_tablet_num_per_shard | 1024 | 每個shard的tablet數目,用於劃分tablet,防止單個目錄下tablet子目錄過多。 |
pending_data_expire_time_sec | 1800 | 儲存引擎保留的未生效資料的最大時間長度,單位為s。 |
inc_rowset_expired_sec | 1800 | 在增量複製情境下,已匯入的資料,在儲存引擎中保留的時間,單位為s。 |
max_garbage_sweep_interval | 3600 | 磁碟進行垃圾清理的最大間隔,單位為s。 |
min_garbage_sweep_interval | 180 | 磁碟進行垃圾清理的最小間隔,單位為s。 |
snapshot_expire_time_sec | 172800 | 快照檔案清理的間隔,單位為s,預設為48小時。 |
trash_file_expire_time_sec | 259200 | 資源回收筒清理的間隔,單位為s,預設為72小時。 |
file_descriptor_cache_capacity | 16384 | 檔案控制代碼緩衝的容量。 |
min_file_descriptor_number | 60000 | BE進程的檔案控制代碼limit要求的下限。 |
index_stream_cache_capacity | 10737418240 | BloomFilter、Min或Max等統計資訊緩衝的容量。 |
storage_page_cache_limit | 0 | PageCache的容量。 |
disable_storage_page_cache | TRUE | 是否禁用Page Cache。
|
base_compaction_check_interval_seconds | 60 | BaseCompaction線程輪詢的間隔,單位為s。 |
base_compaction_num_threads_per_disk | 1 | 每個磁碟BaseCompaction線程的數目。 |
base_cumulative_delta_ratio | 0.3 | BaseCompaction觸發條件之一:Cumulative檔案大小達到Base檔案的比例。 |
base_compaction_interval_seconds_since_last_operation | 86400 | BaseCompaction觸發條件之一:上一輪BaseCompaction距今的間隔。 |
cumulative_compaction_check_interval_seconds | 1 | CumulativeCompaction線程輪詢的間隔,單位為s。 |
min_cumulative_compaction_num_singleton_deltas | 5 | CumulativeCompaction觸發條件之一:Singleton檔案數目要達到的下限。 |
max_cumulative_compaction_num_singleton_deltas | 1000 | CumulativeCompaction 觸發條件之一:Singleton檔案數目要達到的上限。 |
cumulative_compaction_num_threads_per_disk | 1 | 每個磁碟CumulativeCompaction線程的數目。 |
min_compaction_failure_interval_sec | 120 | Tablet Compaction失敗之後,再次被調度的間隔,單位為s。 |
max_compaction_concurrency | -1 | BaseCompaction + CumulativeCompaction的最大並發。 預設值-1表示沒有限制。 |
webserver_port | 8040 | Http Server連接埠。 |
webserver_num_workers | 48 | Http Server線程數。 |
periodic_counter_update_period_ms | 500 | Counter統計資訊的間隔,單位為ms。 |
load_data_reserve_hours | 4 | 小大量匯入產生的檔案保留的時間,單位為h。 |
load_error_log_reserve_hours | 48 | 匯入資料資訊保留的時間長度,單位為h。 |
number_tablet_writer_threads | 16 | 流式匯入的線程數。 |
streaming_load_max_mb | 10240 | 流式匯入單個檔案大小的上限。 |
streaming_load_rpc_max_alive_time_sec | 1200 | 流式匯入RPC的逾時時間。 |
fragment_pool_thread_num | 64 | 查詢線程數,預設啟動64個線程,後續查詢請求動態建立線程。 |
fragment_pool_queue_size | 2048 | 單節點上能夠處理的查詢請求上限。 |
enable_partitioned_aggregation | TRUE | 是否使用PartitionAggregation:
|
enable_token_check | TRUE | 是否開啟Token檢驗:
|
load_process_max_memory_limit_bytes | 107374182400 | 單節點上所有的匯入線程佔據的記憶體上限,預設為100 GB。 |
load_process_max_memory_limit_percent | 30 | 單節點上所有的匯入線程佔據的記憶體上限比例。 |
sync_tablet_meta | FALSE | 儲存引擎是否開sync保留到磁碟上。 |
thrift_rpc_timeout_ms | 5000 | Thrift逾時的時間長度,單位為ms。 |
txn_commit_rpc_timeout_ms | 10000 | Txn逾時的時間長度,單位為ms。 |
routine_load_thread_pool_size | 10 | 例行匯入的線程池數目。 |
tablet_meta_checkpoint_min_new_rowsets_num | 10 | TabletMeta Checkpoint的最小Rowset數目。 |
tablet_meta_checkpoint_min_interval_secs | 600 | TabletMeta Checkpoint線程輪詢的時間間隔,單位為s。 |
brpc_max_body_size | 209715200 | BRPC最大的包容量,預設為200 MB。 |
max_runnings_transactions | 2000 | 儲存引擎支援的最大事務數。 |
tablet_map_shard_size | 32 | Tablet分組數。 |
enable_bitmap_union_disk_format_with_set | FALSE | Bitmap新儲存格式,可以最佳化bitmap_union效能。 |