通過一鍵建倉嚮導建立Schema時,您可以通過進階選項進行一些自訂設定,例如過濾欄位、過濾表、控製表同步過程中使用的串連數等。本文介紹如何設定進階選項功能。
過濾欄位
設定方式:sensitive-columns=<table_name>.<column_name>...<table_name>.<column_name>
,可以同時指定多個欄位,以英文逗號(,)隔開。
例如sensitive-columns=tbl01.col1,tbl01.col2,tbl02.col3
,表示tbl01
的col1
、col2
以及tbl02
的col3
是敏感欄位,建立Schema時不會將col1
、col2
、col3
同步至OSS中。
只同步某些表
設定方式:include-tables=<table_name>
,table_name
可以是表名或者包含萬用字元%
的表名。
例如include-tables=tbl01,view_%
,表示只同步tbl01
表或者以view_
開頭的所有表。
過濾表
設定方式:exclude-tables=<table_name>
,table_name
可以是表名或者包含萬用字元%
的表名。
例如exclude-tables=tbl01,view_%
,表示不同步tbl01
表或者表名以view_
開頭所有表。
include-tables
和exclude-tables
時,exclude-tables
的優先順序高於include-tables
。不建議同時配置include-tables
和exclude-tables
。指定同步單個表時佔用的串連數
DLA同步資料時預設串連數是20,當RDS表中含有數值型自增主鍵,且RDS表中的資料量非常大,您可以自訂設定資料同步佔用的串連數。
設定方式:connections-per-job=<串連數>
。
例如connections-per-job=100
。
設定總的串連數
DLA支援您自訂設定資料同步所佔用的總串連數,防止同步任務佔用所有串連,影響其它任務運行。
設定方式:total-allowed-connections=<串連數>
,通常和connections-per-job=<串連數>
一起使用。
例如,以下樣本指定單個同步任務佔用100個串連,最多可用1000個串連,則DLA最多同時可以同步10個表。
connections-per-job=100
total-allowed-connections=1000