全部產品
Search
文件中心

DataWorks:基於AnalyticDB構建企業數倉

更新時間:Jun 19, 2024

本文將為您介紹如何基於AnalyticDB構建企業數倉,並進行營運和中繼資料管理等操作。

開始本文的操作前,請首先建立工作空間,詳情請參見建立工作空間

配置AnalyticDB for MySQL 2.0資料來源

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源,進入資料來源頁面。

  2. 單擊左側導覽列中的資料來源,在資料來源列表頁面,單擊新增資料來源

  3. 新增資料來源對話方塊中,選擇資料來源類型為AnalyticDB for MySQL (V3.0)

  4. 配置AnalyticDB for MySQL 2.0資料來源的參數,詳情請參見配置AnalyticDB for MySQL 2.0資料來源

    說明
    • AnalyticDB for MySQL 節點只支援使用獨享調度資源群組,其他資源群組無法訪問專用網路環境下的AnalyticDB for MySQL 執行個體,會出現連結逾時的情況。獨享調度資源群組使用詳情請參考文檔新增和使用獨享調度資源群組

    • 如果使用的是AnalyticDB for MySQL 2.0版本,通過使用者AK資訊進行身分識別驗證。

    • 如果使用的是AnalyticDB for MySQL 3.0版本,通過資料庫的使用者名稱和密碼進行身分識別驗證(開通3.0版本資料庫後,首先在控制台建立使用者和密碼)。

  5. 單擊測試連通性

  6. 測試連通性通過後,單擊完成

設定AnalyticDB for MySQL 3.0白名單

由於AnalyticDB for MySQL 3.0版本基於使用者名稱密碼訪問,因此需要設定用戶端白名單,才允許串連資料庫。

  1. 擷取獨享調度資源群組白名單

    為了能讓DataWorks gateway請求AnalyticDB for MySQL 3.0,需要將獨享調度資源群組綁定的彈性網卡ip,詳情可參考文檔新增和使用獨享調度資源群組,將其設定為AnalyticDB for MySQL 3.0的白名單(AnalyticDB for MySQL 2.0不需要設定)。

  2. 設定AnalyticDB for MySQL 3.0白名單

    1. 登入AnalyticDB for MySQL 3.0控制台,進入叢集列表 > 資料安全頁面。資料安全

    2. 單擊添加白名單分組,將複製的DataWorks白名單粘貼至AnalyticDB for MySQL 3.0中。AnalyticDB白名單

建立商務程序

  1. 單擊左上方的表徵圖,選擇全部產品 > DataStudio(資料開發)

  2. 建立商務程序對話方塊中,輸入業務名稱描述

  3. 單擊建立

建立離線同步任務

  1. 按右鍵建立商務程序下的Data Integration,選擇建立 > 離線同步

  2. 建立節點對話方塊中,輸入節點名稱,單擊提交

  3. 設定資料來源資料去向選擇資料來源

  4. 選擇欄位的映射關係。

    左側的源頭表欄位和右側的目標表欄位為一一對應關係。單擊添加一行可以增加單個欄位,滑鼠放至需要刪除的欄位上,即可單擊刪除表徵圖進行刪除 。欄位對應

  5. 通道控制。

    配置作業速率上限和髒資料檢查規則。

    參數

    描述

    任務期望最大並發數

    資料同步任務內,可以從源並行讀取或並行寫入資料存放區端的最大線程數。嚮導模式通過介面化配置並發數,指定任務所使用的並行度。

    同步速率

    設定同步速率可以保護讀取端資料庫,以避免抽取速度過大,給源庫造成太大的壓力。同步速率建議限流,結合源庫的配置,請合理配置抽取速率。

    錯誤記錄數

    錯誤記錄數,表示髒資料的最大容忍條數。

    獨享Data Integration資源群組

    選擇任務啟動並執行機器,如果任務數比較多,使用預設資源群組出現等待資源的情況,建議購買獨享Data Integration資源或添加自訂資源群組,詳情請參見新增和使用獨享Data Integration資源群組新增和使用自訂Data Integration資源群組

  6. 單擊右側的調度配置,為節點配置調度屬性。

  7. 配置完成後,單擊儲存提交

建立資料開發工作單位

  1. 按右鍵商務程序下的自訂,選擇建立 > AnalyticDB for MySQL

  2. 建立節點對話方塊中,輸入節點名稱,單擊提交

  3. 選擇相應的資料來源後,根據AnalyticDB for MySQL支援的文法,編寫SQL語句。通常支援DML語句,您也可以執行DDL語句。

  4. 單擊右側的調度配置,為節點配置調度屬性。調度配置

  5. 配置完成後,單擊儲存按鈕,將其儲存至伺服器。然後單擊運行按鈕,即可立即執行編輯的SQL語句。

資料營運

提交並發布建立的節點任務後,單擊左上方的表徵圖,選擇全部產品 > 營運中心,即可進行資料營運操作。詳情請參見營運中心概述模組的文檔。

中繼資料管理

您可以單擊左上方的表徵圖,選擇全部產品 > 資料地圖,進行中繼資料管理操作。詳情請參見資料地圖概述