全部產品
Search
文件中心

DataWorks:MySQL節點

更新時間:Nov 20, 2024

DataWorks的MySQL節點可進行MySQL任務的開發和周期性調度,以及與其他作業的整合操作。本文為您介紹使用MySQL節點進行任務開發的主要流程。

前提條件

  • 已建立商務程序。

    資料開發(DataStudio)基於商務程序執行不同引擎的具體開發操作,因此,建立節點前需先建立商務程序,操作詳情請參見建立商務程序

  • 已建立MySQL資料來源。

    您需先將您的MySQL資料庫建立為DataWorks的MySQL資料來源,才可通過該資料來源訪問相應資料庫的資料。詳情請參見MySQL資料來源

    說明

    MySQL節點僅支援通過串連串形式添加MySQL資料來源。

  • (可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權。新增成員並授權,詳情請參見為工作空間增加空間成員

使用限制

  • MySQL節點僅支援對串連串模式建立的生產環境MySQL資料來源進行MySQL任務的開發。您可以參考配置MySQL資料來源進入資料來源管理頁面,單擊目標資料來源操作列的編輯在資料來源編輯頁面查看建立資料來源時所使用的模式。

  • 當前節點類型不支援MySQL8.0及以上版本。

  • 支援的地區:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、美國(維吉尼亞)。

網路聯通說明

  • 網路連通說明

    MySQL節點需要訪問MySQL服務,您需要確保Serverless資源群組和MySQL資料庫的網路已連通,關於Serverless資源群組網路連通方案,詳情請參見:網路連通方案

  • 配置白名單

    若MySQL資料庫存在白名單存取控制,您需要在MySQL資料庫添加Serverless資源群組對應的白名單,擷取Serverless資源群組白名單,詳情請參見:添加白名單

  • 測試連通性

    您可以通過添加DataWorks資料來源的方式來測試是否可以連通。詳情請參見:測試連通性

建立並使用MySQL節點進行任務開發

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

  2. 建立商務程序

    如果您已有商務程序,則可以忽略該步驟。

    1. 滑鼠移至上方至建立表徵圖,選擇建立商務程序

    2. 建立商務程序對話方塊,輸入業務名稱

    3. 單擊建立

  3. 建立MySQL節點。

    1. 滑鼠移至上方至建立表徵圖,選擇建立節點 > 資料庫 > MySQL

      您也可以找到相應的商務程序,按右鍵商務程序,選擇建立節點 > 資料庫 > MySQL

    2. 建立節點對話方塊中,輸入名稱,並選擇節點類型路徑

      說明

      節點名稱必須是大小寫字母、中文、數字、底線(_)和小數點(.),且不能超過128個字元。

    3. 單擊確認,進入MySQL節點編輯頁面。

  4. 使用MySQL節點進行MySQL任務開發。

    1. 選擇資料來源。

      選擇資料來源下拉框,選擇進行任務開發需要使用的目標資料來源。如果下拉式清單中沒有需要的資料來源,請單擊右側的建立資料來源,在資料來源管理頁面建立,詳情請參見配置MySQL資料來源

      說明
      • 標準模式工作空間下,此處僅下拉展示已配置開發環境與生產環境的MySQL資料來源。

      • MySQL節點僅支援對串連串模式建立的生產環境MySQL資料來源進行MySQL任務的開發。您可以參考配置MySQL資料來源進入資料來源管理頁面,單擊目標資料來源操作列的編輯在資料來源編輯頁面查看建立資料來源時所使用的模式。

    2. 選擇資源群組。

      在工具列單擊進階運行表徵圖,在參數對話方塊選擇已建立的調度資源群組。

      說明
      • 訪問公用網路或VPC網路環境的資料來源需要使用與資料來源測試連通性成功的調度資源群組。詳情請參見網路連通方案

      • 如果您後續執行任務需要修改使用的資源群組,您可單擊帶參運行進階運行表徵圖,選擇需要更換的調度資源群組。

    3. 使用SQL語句建立任務。

      在SQL編輯地區使用SQL語句建立任務。SQL編輯區

      樣本查詢xc_emp表的內容,語句如下。實際使用時,您可以根據MySQL支援的文法,編寫需要執行的語句。

      select * from xc_emp;

      運行結果如下。運行結果

      如果任務執行失敗,您可以查看任務運行失敗的錯誤提示,參考常見問題:任務執行報錯暫不支援的jdbc驅動進行排查處理。

    4. 儲存並運行SQL語句。

      在工具列,單擊儲存表徵圖,儲存編寫的SQL語句,單擊運行表徵圖,運行建立的SQL任務。

  5. 任務調度配置。

    如果您需要周期性執行建立的節點任務,可以單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊:

    • 配置任務調度的基本資料,詳情請參見配置基礎屬性

    • 配置時間調度周期、重跑屬性和上下遊依賴關係,詳情請參見時間屬性配置說明配置同周期調度依賴

      說明

      您需要設定節點的重跑屬性依賴的上遊節點,才可以提交節點。

    • 配置資源屬性,詳情請參見配置資源屬性。訪問公網或VPC網路的MySQL資料來源,請選擇與MySQL資料來源網路連通的調度資源群組,作為周期調度任務使用的資源群組。詳情請參見網路連通方案

  6. 提交並發布節點任務。

    1. 單擊工具列中的儲存表徵圖,儲存節點。

    2. 單擊工具列中的提交表徵圖,提交節點任務。

    3. 提交新版本對話方塊中,輸入變更描述

    4. 單擊確定

    如果您使用的是標準模式的工作空間,任務提交成功後,需要將任務發布至生產環境進行發布。請單擊頂部功能表列左側的任務發布。具體操作請參見發布任務

  7. 查看周期調度任務。

    1. 單擊編輯介面右上方的營運,進入生產環境營運中心。

    2. 查看啟動並執行周期調度任務,詳情請參見查看並管理周期任務

    如果您需要查看更多周期調度任務詳情,可單擊頂部功能表列的營運中心,詳情請參見營運中心概述

常見問題:任務執行報錯暫不支援的jdbc驅動

  • 問題描述

    添加MySQL資料來源時,選擇了非串連串模式建立的資料來源,導致運行任務時失敗,報錯資訊為sql execute failed! 暫不支援的jdbc驅動

  • 問題原因

    出現上述報錯通常都是選擇了非串連串模式建立的MySQL資料來源導致。

  • 解決方案

    重新選擇使用串連串模式建立的資料來源。您可以參考配置MySQL資料來源進入資料來源管理頁面,單擊目標資料來源操作列的編輯在資料來源編輯頁面查看建立資料來源時所使用的模式。

常見問題:測試連通性通過但任務執行報錯

  • 可能原因1:測試連通性時資源群組選擇錯誤,請確認是否選擇使用任務調度資源群組進行連通性測試。詳情請參見(可選)測試網路連通

  • 可能原因2:測試連通性使用的調度資源群組,但任務執行時選錯資源群組,您可通過帶參運行進階運行切換任務執行使用的調度資源群組。