全部產品
Search
文件中心

:進階選項功能

更新時間:Jul 06, 2024

通過一鍵建倉嚮導建立Schema時,您可以通過進階選項進行一些自訂設定,例如過濾欄位、過濾表、控製表同步過程中使用的串連數等。本文介紹如何設定進階選項功能。

過濾欄位

設定方式:sensitive-columns=<table_name>.<column_name>...<table_name>.<column_name>,可以同時指定多個欄位,以英文逗號(,)隔開。

例如sensitive-columns=tbl01.col1,tbl01.col2,tbl02.col3,表示tbl01col1col2以及tbl02col3是敏感欄位,建立Schema時不會將col1col2col3同步至OSS中。

只同步某些表

設定方式:include-tables=<table_name>table_name可以是表名或者包含萬用字元%的表名。

例如include-tables=tbl01,view_%,表示只同步tbl01表或者以view_開頭的所有表。

過濾表

設定方式:exclude-tables=<table_name>table_name可以是表名或者包含萬用字元%的表名。

例如exclude-tables=tbl01,view_%,表示不同步tbl01表或者表名以view_開頭所有表。

說明 同時配置include-tablesexclude-tables時,exclude-tables的優先順序高於include-tables。不建議同時配置include-tablesexclude-tables

指定同步單個表時佔用的串連數

DLA同步資料時預設串連數是20,當RDS表中含有數值型自增主鍵,且RDS表中的資料量非常大,您可以自訂設定資料同步佔用的串連數。

設定方式:connections-per-job=<串連數>

例如connections-per-job=100

設定總的串連數

DLA支援您自訂設定資料同步所佔用的總串連數,防止同步任務佔用所有串連,影響其它任務運行。

設定方式:total-allowed-connections=<串連數>,通常和connections-per-job=<串連數>一起使用。

例如,以下樣本指定單個同步任務佔用100個串連,最多可用1000個串連,則DLA最多同時可以同步10個表。

connections-per-job=100
total-allowed-connections=1000