DataWorks的MySQL節點可進行MySQL任務的開發和周期性調度,以及與其他作業的整合操作。本文為您介紹使用MySQL節點進行任務開發的主要流程。
前提條件
已建立商務程序。
資料開發(DataStudio)基於商務程序執行不同引擎的具體開發操作,因此,建立節點前需先建立商務程序,操作詳情請參見建立商務程序。
已建立MySQL資料來源。
您需先將您的MySQL資料庫建立為DataWorks的MySQL資料來源,才可通過該資料來源訪問相應資料庫的資料。詳情請參見MySQL資料來源。
說明MySQL節點僅支援通過串連串形式添加MySQL資料來源。
(可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發或空間管理員(許可權較大,謹慎添加)角色許可權。新增成員並授權,詳情請參見為工作空間增加空間成員。
使用限制
MySQL節點僅支援對串連串模式建立的生產環境MySQL資料來源進行MySQL任務的開發。您可以參考配置MySQL資料來源進入資料來源管理頁面,單擊目標資料來源操作列的編輯,在資料來源編輯頁面查看建立資料來源時所使用的模式。
當前節點類型不支援MySQL8.0及以上版本。
支援的地區:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、美國(維吉尼亞)。
網路聯通說明
建立並使用MySQL節點進行任務開發
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入Data Integration。
建立商務程序。
如果您已有商務程序,則可以忽略該步驟。
滑鼠移至上方至表徵圖,選擇建立商務程序。
在建立商務程序對話方塊,輸入業務名稱。
單擊建立。
建立MySQL節點。
滑鼠移至上方至表徵圖,選擇 。
您也可以找到相應的商務程序,按右鍵商務程序,選擇
。在建立節點對話方塊中,輸入名稱,並選擇節點類型及路徑。
說明節點名稱必須是大小寫字母、中文、數字、底線(_)和小數點(.),且不能超過128個字元。
單擊確認,進入MySQL節點編輯頁面。
使用MySQL節點進行MySQL任務開發。
選擇資料來源。
在選擇資料來源下拉框,選擇進行任務開發需要使用的目標資料來源。如果下拉式清單中沒有需要的資料來源,請單擊右側的建立資料來源,在資料來源管理頁面建立,詳情請參見配置MySQL資料來源。
說明標準模式工作空間下,此處僅下拉展示已配置開發環境與生產環境的MySQL資料來源。
MySQL節點僅支援對串連串模式建立的生產環境MySQL資料來源進行MySQL任務的開發。您可以參考配置MySQL資料來源進入資料來源管理頁面,單擊目標資料來源操作列的編輯,在資料來源編輯頁面查看建立資料來源時所使用的模式。
選擇資源群組。
在工具列單擊表徵圖,在參數對話方塊選擇已建立的調度資源群組。
說明訪問公用網路或VPC網路環境的資料來源需要使用與資料來源測試連通性成功的調度資源群組。詳情請參見網路連通方案。
如果您後續執行任務需要修改使用的資源群組,您可單擊帶參運行表徵圖,選擇需要更換的調度資源群組。
使用SQL語句建立任務。
在SQL編輯地區使用SQL語句建立任務。
樣本查詢xc_emp表的內容,語句如下。實際使用時,您可以根據MySQL支援的文法,編寫需要執行的語句。
select * from xc_emp;
運行結果如下。
如果任務執行失敗,您可以查看任務運行失敗的錯誤提示,參考常見問題:任務執行報錯暫不支援的jdbc驅動進行排查處理。
儲存並運行SQL語句。
在工具列,單擊表徵圖,儲存編寫的SQL語句,單擊表徵圖,運行建立的SQL任務。
任務調度配置。
提交並發布節點任務。
單擊工具列中的表徵圖,儲存節點。
單擊工具列中的表徵圖,提交節點任務。
在提交新版本對話方塊中,輸入變更描述。
單擊確定。
如果您使用的是標準模式的工作空間,任務提交成功後,需要將任務發布至生產環境進行發布。請單擊頂部功能表列左側的任務發布。具體操作請參見發布任務。
查看周期調度任務。
單擊編輯介面右上方的營運,進入生產環境營運中心。
查看啟動並執行周期調度任務,詳情請參見查看並管理周期任務。
如果您需要查看更多周期調度任務詳情,可單擊頂部功能表列的營運中心,詳情請參見營運中心概述。
常見問題:任務執行報錯暫不支援的jdbc驅動
問題描述
添加MySQL資料來源時,選擇了非串連串模式建立的資料來源,導致運行任務時失敗,報錯資訊為
sql execute failed! 暫不支援的jdbc驅動
。問題原因
出現上述報錯通常都是選擇了非串連串模式建立的MySQL資料來源導致。
解決方案
重新選擇使用串連串模式建立的資料來源。您可以參考配置MySQL資料來源進入資料來源管理頁面,單擊目標資料來源操作列的編輯,在資料來源編輯頁面查看建立資料來源時所使用的模式。
常見問題:測試連通性通過但任務執行報錯
可能原因1:測試連通性時資源群組選擇錯誤,請確認是否選擇使用任務調度資源群組進行連通性測試。詳情請參見(可選)測試網路連通。
可能原因2:測試連通性使用的調度資源群組,但任務執行時選錯資源群組,您可通過帶參運行切換任務執行使用的調度資源群組。