本文將為您介紹如何基於AnalyticDB構建企業數倉,並進行營運和中繼資料管理等操作。
開始本文的操作前,請首先建立工作空間,詳情請參見建立工作空間。
配置AnalyticDB for MySQL 3.0資料來源
進入資料來源頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入管理中心。
進入工作空間管理中心頁面後,單擊左側導覽列的
,進入資料來源頁面。
在新增資料來源對話方塊中,選擇資料來源類型為AnalyticDB for MySQL (V3.0)。
配置AnalyticDB for MySQL 3.0資料來源的參數,詳情請參見配置AnalyticDB for MySQL 3.0資料來源。
說明支援Serverless資源群組(推薦)或者舊版獨享調度資源群組運行AnalyticDB for MySQL 節點任務訪問專用網路環境下的AnalyticDB for MySQL 執行個體,其他資源群組無法訪問專用網路環境下的AnalyticDB for MySQL 執行個體,會出現連結逾時的情況。Serverless資源群組使用詳情請參考文檔新增和使用Serverless資源群組。
如果使用的是AnalyticDB for MySQL 2.0版本,通過使用者AK資訊進行身分識別驗證。
如果使用的是AnalyticDB for MySQL 3.0版本,通過資料庫的使用者名稱和密碼進行身分識別驗證(開通3.0版本資料庫後,首先在控制台建立使用者和密碼)。
單擊測試連通性。
測試連通性通過後,單擊完成。
設定AnalyticDB for MySQL 3.0白名單
由於AnalyticDB for MySQL 3.0版本基於使用者名稱密碼訪問,因此需要設定用戶端白名單,才允許串連資料庫。
內網環境
測試連通性的過程中,您可以通過連通性診斷工具將AnalyticDB for MySQL 3.0的VPC綁定到Serverless資源群組,並將資源群組綁定的交換器網段IP添加到AnalyticDB for MySQL 3.0白名單裡。詳情請參見測試連通性。
公網環境
為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP,將配置的EIP添加到AnalyticDB for MySQL 3.0資料來源的白名單裡。
為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP 。
為了能讓DataWorks gateway請求AnalyticDB for MySQL 3.0,需要為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP,詳情可參考文檔網路連通方案。將配置的EIP添加到AnalyticDB for MySQL 3.0的白名單中(AnalyticDB for MySQL 2.0不需要設定)。
設定AnalyticDB for MySQL 3.0白名單 。
登入AnalyticDB for MySQL 3.0控制台,進入叢集列表頁面。單擊叢集 ID/叢集描述詳情進入叢集管理介面。單擊左側導覽列
,在資料安全-白名單設定位置設定白名單。單擊添加白名單分組按鈕,進入添加白名單分組頁面。輸入自訂的分組名稱,並將對應的Serverless資源群組綁定的VPC的EIP粘貼至組內白名單中。單擊確定進行儲存。
建立商務程序
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
在資料開發頁面,單擊上方導覽列的
,進入建立商務程序頁面,在對話方塊中輸入業務名稱和描述。單擊建立。
建立離線同步任務
按右鍵建立商務程序下的Data Integration,選擇
。在建立節點對話方塊中,輸入名稱,單擊提交。
設定資料來源和資料去向。
選擇欄位的映射關係。
左側的源頭表欄位和右側的目標表欄位為一一對應關係。單擊添加一行可以增加單個欄位,滑鼠放至需要刪除的欄位上,即可單擊刪除表徵圖進行刪除 。
通道控制。
配置作業速率上限和髒資料檢查規則。
參數
描述
任務期望最大並發數
資料同步任務內,可以從源並行讀取或並行寫入資料存放區端的最大線程數。嚮導模式通過介面化配置並發數,指定任務所使用的並行度。
同步速率
設定同步速率可以保護讀取端資料庫,以避免抽取速度過大,給源庫造成太大的壓力。同步速率建議限流,結合源庫的配置,請合理配置抽取速率。
髒資料策略
錯誤記錄數,表示髒資料的最大容忍條數。
分散式處理能力
選擇任務啟動並執行機器,如果任務數比較多,使用預設資源群組出現等待資源的情況,建議購買Serverless資源群組,詳情請參見新增和使用Serverless資源群組。
單擊右側的調度配置,為節點配置調度屬性。
配置完成後,單擊按鈕進行儲存,並單擊按鈕提交任務。
建立資料開發工作單位
按右鍵商務程序下的自訂,選擇
。在建立節點對話方塊中,輸入節點名稱,單擊提交。
選擇相應的資料來源後,根據AnalyticDB for MySQL支援的文法,編寫SQL語句。通常支援DML語句,您也可以執行DDL語句。
單擊右側的調度配置,為節點配置調度屬性。
配置完成後,單擊儲存按鈕,將其儲存至伺服器。然後單擊運行按鈕,即可立即執行編輯的SQL語句。
資料營運
任務提交發布後,會基於節點的配置周期性運行,您可單擊節點編輯介面右上方的營運,進入營運中心查看周期任務的調度運行情況。詳情請參見查看並管理周期任務。
中繼資料管理
您可以單擊進入DataWorks控制台,選擇 ,進行中繼資料管理操作。詳情請參見資料地圖概述。