您可以通過互動式分析Hologres的即時寫入能力,構建即時數倉。
前提條件
配置Hologres輸出節點前,您需要先配置好相應的輸入或轉換資料來源,詳情請參見即時同步支援的資料來源。
背景資訊
Hologres支援的版本:0.7、0.8、0.9、0.10、1.1。
欄位使用限制:不支援UUID類型的欄位。
操作步驟
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
滑鼠移至上方至表徵圖,單擊 。
您也可以展開商務程序,按右鍵目標商務程序,選擇
。在建立節點對話方塊中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,並選擇路徑。
重要節點名稱必須是大小寫字母、中文、數字、底線(_)以及英文句號(.),且不能超過128個字元。
單擊確認。
在即時同步節點的編輯頁面,單擊 並拖拽至編輯面板,連線已配置好的輸入或轉換節點。
單擊Hologres節點,在節點配置對話方塊中,配置各項參數。
參數
描述
資料來源
選擇已經配置好的Hologres資料來源,此處僅支援Hologres資料來源。
如果您未配置資料來源,請單擊右側的建立資料來源,進入配置Hologres資料來源。
頁面進行建立,詳情請參見表
選擇當前資料來源下需要同步的資料表名稱。
您可以單擊右側的一鍵建表建立資料表,也可以單擊資料預覽進行確認。
動態時間分區
當Hologres表為分區表時,您需要設定動態時間分區。
該動態時間分區會解析來源映射欄位的資料值,根據yyyymmdddhhmmss的格式解析。解析後,您可以在目標表中使用變數拼湊為字串格式的動態分區。來源值不同,最終的目標資料分割也不同。
例如,來來源資料為20200816,目標資料分割格式為{yyyy}-{mm}-{dd},則最終寫入的目標資料分割為2020-08-16。
作業類型
包括重放和插入兩種類型:
重放表示鏡像功能。即源端
INSERT
一條記錄,Hologres中同樣INSERT
一條資料。源端進行UPDATE
或DELETE
操作,Hologres會執行相應的UPDATE
或DELETE
操作。插入表示將Hologres作為流儲存,通過
INSERT
儲存源端同步過來的資料。
寫入衝突策略
包括覆蓋和忽略兩種類型:
覆蓋:使用源端同步過來的新資料覆蓋已有的資料。
忽略:忽略源端同步過來的新資料,保留已有的資料。
欄位對應
單擊欄位對應,設定源端和目標端欄位的映射。同步任務會根據欄位的映射關係同步資料。
單擊工具列中的表徵圖。