通过一键建仓向导创建Schema时,您可以在高级选项中自定义一些设置,例如过滤字段或者表、控制表同步过程中使用的连接数等。
过滤字段
设置方式:sensitive-columns=<table_name>.<column_name>...<table_name>.<column_name>
,可以同时指定多个字段,以英文逗号(,)隔开。
例如sensitive-columns=tbl01.col1,tbl01.col2,tbl02.col3
,表示tbl01
的col1
、col2
以及tbl02
的col3
是敏感字段,创建Schema时不会将col1
、col2
、col3
同步至OSS中。
只同步某些表
设置方式:include-tables=<table_name>
,table_name
可以是表名或者包含通配符%
的表名。
例如include-tables=tbl01,view_%
,表示只同步tbl01
表或者以view_
开头的所有表。
过滤表
设置方式:exclude-tables=<table_name>
,table_name
可以是表名或者包含通配符%
的表名。
例如exclude-tables=tbl01,view_%
,表示不同步tbl01
表或者表名以view_
开头所有表。
说明:
不建议同时配置
include-tables
和exclude-tables
。同时配置
include-tables
和exclude-tables
时,exclude-tables
的优先级高于include-tables
。
指定同步单个表时占用的连接数
DLA同步数据时默认占用的连接数是20,当RDS表中含有数值型自增主键时,如果RDS表中的数据量非常大,您可以自定义设置数据同步占用的连接数。
设置方式:connections-per-job=<连接数>
。
例如connections-per-job=100
。
设置总的连接数
DLA支持您自定义设置数据同步所占用的总连接数,防止同步任务占用所有连接,影响其它任务运行。
设置方式:total-allowed-connections=<连接数>
,通常和connections-per-job=<连接数>
一起使用。
例如,以下示例指定单个同步任务占用100个连接,最多可用1000个连接,则DLA最多同时可以同步10个表。
connections-per-job=100
total-allowed-connections=1000