ClickHouse資料來源為您提供讀取和寫入ClickHouse雙向通道的功能,本文為您介紹DataWorks的ClickHouse資料同步的能力支援情況。
支援的版本
支援阿里雲ClickHouse的20.8、21.8核心版本。
您需要確認驅動和您的ClickHouse服務之間的相容能力,資料庫驅動使用如下版本。
<dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.4</version> </dependency>
使用限制
離線讀寫
僅支援使用獨享Data Integration資源群組。
支援使用JDBC串連ClickHouse,且僅支援使用JDBC Statement讀取資料。
支援篩選部分列、列換序等功能,您可以自行填寫列。
考慮到ClickHouse負載問題,ClickHouse Writer使用INSERT模式時,建議您限流系統輸送量(TPS)最高為1,000。
支援的欄位類型
支援阿里雲ClickHouse以下常見的資料類型,阿里雲ClickHouse的資料類型全集請參見資料類型,開源ClickHouse官方資料類型集合中的其他類型暫不支援,開源ClickHouse資料類型全集請參見ClickHouse Doc。
資料類型 | ClickHouse Reader | ClickHouse Writer |
Int8 | 支援 | 支援 |
Int16 | 支援 | 支援 |
Int32 | 支援 | 支援 |
Int64 | 支援 | 支援 |
UInt8 | 支援 | 支援 |
UInt16 | 支援 | 支援 |
UInt32 | 支援 | 支援 |
UInt64 | 支援 | 支援 |
Float32 | 支援 | 支援 |
Float64 | 支援 | 支援 |
Decimal | 支援 | 支援 |
String | 支援 | 支援 |
FixedString | 支援 | 支援 |
Date | 支援 | 支援 |
DateTime | 支援 | 支援 |
DateTime64 | 支援 | 支援 |
Boolean | 支援 說明 ClickHouse沒有單獨的Boolean類型,可使用UInt8、Int8 | 支援 |
Array | 部分支援。 數組元素類型是整型、浮點數、字串類型、DateTime64毫秒精度時支援。 | 支援 |
Tuple | 支援 | 支援 |
Domain(IPv4,IPv6) | 支援 | 支援 |
Enum8 | 支援 | 支援 |
Enum16 | 支援 | 支援 |
Nullable | 支援 | 支援 |
Nested | 部分支援。 Nested內嵌套資料類型是整型、浮點數、字串類型、DateTime64毫秒精度時支援。 | 支援 |
資料同步任務開發
ClickHouse資料同步任務的配置入口和通用配置流程指導可參見下文的配置指導,詳細的配置參數解釋可在配置介面查看對應參數的文案提示。
建立資料來源
在進行資料同步任務開發時,您需要在DataWorks上建立一個對應的資料來源,操作流程請參見建立並管理資料來源。
單表離線同步任務配置指導
操作流程請參見通過嚮導模式配置離線同步任務、通過指令碼模式配置離線同步任務。
指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄:指令碼Demo與參數說明。
整庫離線讀同步配置指導
操作流程請參見Data Integration側同步任務配置。
附錄:指令碼Demo與參數說明
附錄:離線任務指令碼配置方式
如果您配置離線任務時使用指令碼模式的方式進行配置,您需要在任務指令碼中按照指令碼的統一格式要求編寫指令碼中的reader參數和writer參數,指令碼模式的統一要求請參見通過指令碼模式配置離線同步任務,以下為您介紹指令碼模式下的資料來源的Reader參數和Writer參數的指導詳情。
ClickHouse Reader指令碼Demo
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "clickhouse", //外掛程式名。
"parameter": {
"fetchSize":1024,//該配置項定義了外掛程式和資料庫伺服器端每次批量資料擷取條數。
"datasource": "example",
"column": [ //列名。
"id",
"name"
],
"where": "", //過濾條件。
"splitPk": "", //切分鍵。
"table": "" //表名。
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "clickhouse",
"parameter": {
"postSql": [
"update @table set db_modify_time = now() where db_id = 1"
],
"datasource": "example", //資料來源。
"batchByteSize": "67108864",
"column": [
"id",
"name"
],
"writeMode": "insert",
"encoding": "UTF-8",
"batchSize": 1024,
"table": "ClickHouse_table",
"preSql": [
"delete from @table where db_id = -1"
]
},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"executeMode": null,
"errorLimit": {
"record": "0" //同步過程中的錯誤記錄限流數。
},
"speed": {
"throttle":true,//當throttle值為false時,mbps參數不生效,表示不限流;當throttle值為true時,表示限流。
"concurrent":1 //作業並發數。
"mbps":"12",//限流,此處1mbps = 1MB/s。
}
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}
ClickHouse Reader指令碼參數
參數 | 描述 | 是否必選 | 預設值 |
datasource | 資料來源名稱,指令碼模式支援添加資料來源,此配置項填寫的內容必須要與添加的資料來源名稱保持一致。 | 是 | 無 |
table | 所選取的需要同步的表。使用JSON資料進行描述。 說明 table必須包含在connection登錄區中。 | 是 | 無 |
fetchSize | 該配置項定義了外掛程式和資料庫伺服器端每次批量資料擷取條數,該值決定了資料同步系統和伺服器端的網路互動次數,能夠提升資料幫浦效能。 說明 fetchSize值過大會造成資料同步進程OOM,需要根據ClickHouse負載情況遞增。 | 否 | 1,024 |
column | 需要讀取的ClickHouse資料,欄位之間用英文逗號分隔。例如"column": ["id", "name", "age"]。 說明 column配置項必須指定,不可為空。 | 是 | 無 |
jdbcUrl | 到源端資料庫的JDBC串連資訊,jdbcUrl包含在connection登錄區中。
| 是 | 無 |
username | 資料來源的使用者名稱。 | 是 | 無 |
password | 資料來源指定使用者名稱的密碼。 | 是 | 無 |
splitPk | ClickHouse進行資料幫浦時,如果指定splitPk,表示您希望使用splitPk代表的欄位進行資料分區,資料同步因此會啟動並發任務進行資料同步,提高資料同步的效能。 說明 當配置了splitPk時,fetchSize參數為必填項。 | 否 | 無 |
where | 篩選條件,在實際業務情境中,往往會選擇當天的資料進行同步,將where條件指定為 where條件可以有效地進行業務增量同步處理。如果不填寫where語句,包括不提供where的key或value,資料同步均視作同步全量資料。 | 否 | 無 |
ClickHouse writer指令碼Demo
{
"type":"job",
"version":"2.0",//版本號碼。
"steps":[
{
"stepType":"stream",
"parameter":{},
"name":"Reader",
"category":"reader"
},
{
"stepType":"clickhouse",//外掛程式名。
"parameter":{
"username": "",
"password": "",
"column": [//欄位。
"id",
"name"
],
"connection": [
{
"table": [//表名。
"ClickHouse_table"
],
"jdbcUrl": "jdbc:clickhouse://ip:port/database"
}
],
"preSql": [ //執行資料同步任務之前率先執行的SQL語句。
"TRUNCATETABLEIFEXISTStablename"
],
"postSql": [//執行資料同步任務之後率先執行的SQL語句。
"ALTERTABLEtablenameUPDATEcol1=1WHEREcol2=2"
],
"batchSize": "1024",
"batchByteSize": "67108864",
"writeMode": "insert"
},
"name":"Writer",
"category":"writer"
}
],
"setting":{
"errorLimit":{
"record":"0"//錯誤記錄數。
},
"speed":{
"throttle":true,//當throttle值為false時,mbps參數不生效,表示不限流;當throttle值為true時,表示限流。
"concurrent":1, //作業並發數。
"mbps":"12"//限流,此處1mbps = 1MB/s。
}
},
"order":{
"hops":[
{
"from":"Reader",
"to":"Writer"
}
]
}
}
ClickHouse Writer指令碼參數
參數 | 描述 | 是否必選 | 預設值 |
jdbcUrl | 到對端資料庫的JDBC串連資訊,jdbcUrl包含在connection登錄區中。
| 是 | 無 |
username | 資料來源的使用者名稱。 | 是 | 無 |
password | 資料來源指定使用者名稱的密碼。 | 是 | 無 |
table | 需要同步寫出的表名稱,使用JSON的數組進行描述。 說明 table必須包含在connection登錄區中。 | 是 | 無 |
column | 目標表需要寫入資料的欄位,欄位之間用英文所逗號分隔。例如 說明 column配置項必須指定,不可為空。 | 是 | 無 |
preSql | 寫入資料至目標表前,會先執行此處的標準語句。 | 否 | 無 |
postSql | 寫入資料至目標表後,會執行此處的標準語句。 | 否 | 無 |
batchSize | 一次性批量提交的記錄數大小,該值可以極大減少資料同步系統與ClickHouse的網路互動次數,並提升整體輸送量。如果該值設定過大,會導致資料同步運行進程OOM異常。 | 否 | 1,024 |