全部產品
Search
文件中心

DataWorks:建立ClickHouse資料來源

更新時間:Jun 26, 2024

若您要使用DataWorks進行ClickHouse叢集任務的開發、管理,需先將您的ClickHouse叢集建立為DataWorks的ClickHouse資料來源。建立完成後,可在DataWorks的各功能模組使用該資料來源串連ClickHouse叢集,進行相應的資料同步、資料開發、資料分析等操作。

前提條件

  • 已建立ClickHouse叢集。詳情請參見建立叢集

    說明

    建議建立ClickHouse叢集時,地區與建立ClickHouse資料來源的DataWorks工作空間地區一致。若地區不一致,則只能建立為跨地區的資料來源,此類資料來源無法在資料開發中綁定,即無法在DataWorks的資料開發、營運中心頁面中執行對應計算任務,僅可進行資料同步任務。

  • 已購買所需的DataWorks資源群組並完成資源群組配置。ClickHouse僅支援使用獨享Data Integration資源群組、獨享調度資源群組、獨享資料服務資源群組。

    ClickHouse資料來源建立完成後,可用於進行資料同步、計算任務開發與調度、產生API提供資料服務等應用情境中,各應用情境需要分別使用DataWorks的Data Integration資源群組、調度資源群組、資料服務資源群組。您需要根據資料來源的應用情境提前準備好對應的資源群組並完成資源群組配置,在建立ClickHouse資料來源時確保與對應資源群組間網路連通。各資源群組的介紹與配置引導請參見DataWorks資源群組概述

  • 已建立或加入目標工作空間。

    您需在目標工作空間中,將ClickHouse叢集建立為該工作空間的資料來源,用於後續在該工作空間進行開發操作。同時,需將購買的DataWorks資源群組綁定至該工作空間,確保資料來源與資源群組網路連通。建立工作空間,詳情請參見建立並管理工作空間

    說明

    同一個ClickHouse叢集可在多個DataWorks工作空間中被建立為資料來源。

使用限制

操作前準備:許可權說明與配置

使用RAM使用者(即子帳號)或RAM角色建立資料來源,需擁有如下任意許可權:

資料來源建立入口

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源 > 資料來源列表,進入資料來源頁面。

  2. 單擊新增資料來源,選擇ClickHouse,根據介面指引建立資料來源。

    您也可進入Data Integration介面建立,但該頁面僅支援建立生產資料來源,且建立完成後需在管理中心 > 資料來源進行管理。Data Integration頁面支援建立的資料來源類型,具體請以實際介面為準。

建立資料來源

  1. 配置基礎資訊。

    您可根據介面提示配置資料來源的名稱等基礎資訊,核心配置參數如下表所示。

    說明

    標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源。工作空間模式,詳情請參見必讀:簡單模式和標準模式的區別

    image.png

    參數

    說明

    資料來源名稱

    定義資料來源在DataWorks的名稱,名稱必須唯一。

    配置模式

    目前支援通過串連串模式增ClickHouse叢集。

    JDBC URL

    串連ClickHouse的JDBC URL資訊。您可登入雲資料庫ClickHouse控制台,擷取相關資料庫及連接埠資訊。

    使用者名稱

    訪問ClickHouse叢集的使用者名稱。

    密碼

    訪問ClickHouse叢集的使用者密碼。

    認證選項

    選擇後續訪問ClickHouse叢集時是否需要SSL認證。開啟該認證服務後,ClickHouse資料來源不支援用於資料開發或周期性調度任務。

  2. 測試資源群組連通性。

    根據使用情境不同,資源群組分為Data Integration(用於資料同步)、資料開發(用於任務調度)、資料服務(用於資料服務任務)三種類型。各類資源群組的詳細介紹,請參見DataWorks資源群組概述

    您需根據資料來源後續的用途,在串連配置地區對應資源群組類型後,測試所需資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。

後續操作

資料來源建立完成後,您可根據需要執行如下操作:

  • 計算任務開發與調度

    DataWorks的資料開發與營運中心模組,為您提供ClickHouse任務的開發與調度能力,若您需要基於該ClickHouse資料來源進行ClickHouse任務開發,或周期性調度ClickHouse相關任務,需先進入資料開發(DataStudio)頁面,將建立的資料來源綁定至資料開發(DataStudio)。

    說明

    僅當ClickHouse叢集和DataWorks工作空間同地區、同帳號時,基於該專案建立的資料來源才可綁定至資料開發(DataStudio)。

  • 進行資料同步

    DataWorks的Data Integration模組為您提供讀取和寫入資料至ClickHouse的能力,您可將其他資料來源的資料同步至當前ClickHouse資料來源,或將當前ClickHouse資料來源的資料同步至其他資料來源。您可通過離線同步情境執行相關資料同步操作。

  • 增刪改查資料來源:進入資料來源管理頁面執行編輯、刪除等管理操作。