全部產品
Search
文件中心

DataWorks:PolarDB PostgreSQL節點

更新時間:Nov 20, 2024

DataWorks的PolarDB PostgreSQL節點可進行PolarDB PostgreSQL任務的開發和周期性調度,以及與其他作業的整合操作。本文為您介紹使用PolarDB PostgreSQL節點進行任務開發的主要流程。

背景資訊

雲原生資料庫PolarDB PostgreSQL版是阿里雲完全自主研發的雲原生關係型資料庫產品,100%相容 PostgreSQL,高度相容Oracle文法。為您提供快速彈性、高效能、海量儲存、安全可靠的資料庫服務,同時支援阿里雲自研Ganos多維多模時空資訊引擎及開源PostGIS地理資訊引擎。詳情請參見PolarDB PostgreSQL

前提條件

  • 已建立商務程序。

    資料開發(DataStudio)基於商務程序執行不同引擎的具體開發操作,因此,建立節點前需先建立商務程序,操作詳情請參見建立商務程序

  • 已建立PolarDB PostgreSQL資料來源。

    您需先將您的PolarDB PostgreSQL資料庫建立為DataWorks的PolarDB PostgreSQL資料來源,才可通過該資料來源訪問相應資料庫的資料。建立資料來源,請參見建立並管理資料來源;關於PolarDB PostgreSQL資料來源在DataWorks的使用介紹,請參見PolarDB資料來源

    說明

    PolarDB PostgreSQL節點僅支援使用JDBC串連串方式建立的PolarDB PostgreSQL資料來源。

  • 已連通資料來源與資源群組的網路。

    您需確保該資料來源與所使用的資源群組網路連通。網路連通配置,請參見網路連通方案

  • (可選,RAM帳號需要)進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權。新增成員並授權,詳情請參見為工作空間增加空間成員

使用限制

支援的地區:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、新加坡、馬來西亞(吉隆坡)、德國(法蘭克福)、美國(矽谷)、美國(維吉尼亞)。

步驟一:建立PolarDB PostgreSQL節點

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 按右鍵目標商務程序,選擇建立節點 > 資料庫 > PolarDB PostgreSQL

  3. 建立節點對話方塊輸入節點名稱,單擊確認。節點建立完成,您可在節點中進行對應任務的開發與配置。

步驟二:開發PolarDB PostgreSQL任務

(可選)選擇PolarDB PostgreSQL資料來源

如果您的工作空間建立了多個PolarDB PostgreSQL資料來源,需先在PolarDB PostgreSQL節點編輯頁面選擇合適的資料來源。如果僅建立了一個PolarDB PostgreSQL資料來源,預設使用該資料來源進行開發操作。

說明

PolarDB MySQL節點僅支援使用JDBC串連串方式建立的PolarDB MySQL資料來源。

開發SQL代碼:簡單樣本

在PolarDB PostgreSQL節點的代碼編輯地區編寫要執行的任務,範例程式碼如下。

SELECT * FROM usertablename;

開發SQL代碼:使用調度參數

DataWorks提供的調度參數可實現周期調度情境下代碼動態入參,您可在節點任務中通過${變數名}的方式定義代碼中的變數,並在節點編輯頁面右側導覽列的調度配置>調度參數,為該變數賦值。調度參數支援的格式及配置詳情,請參見調度參數支援的格式配置並使用調度參數

範例程式碼如下。

SELECT '${var}'; --可結合調度參數使用。

步驟三:配置任務調度

如您需要周期性執行建立的節點任務,可單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度資訊。配置詳情請參見任務調度屬性配置概述

說明

您需要設定節點的重跑屬性依賴的上遊節點,才可以提交節點。

步驟四:調試任務代碼

您可根據需要執行如下調試操作,查看任務是否符合預期。

  1. (可選)選擇運行資源群組、賦值自訂參數取值。

    • 單擊工具列的進階運行表徵圖,在參數對話方塊選擇調試運行需使用的調度資源群組。

    • 如您的任務代碼中有使用調度參數變數,可在此處為變數賦值,用於調試。參數賦值邏輯,詳情請參見任務調試流程

  2. 儲存並運行任務代碼。

    單擊工具列的儲存表徵圖,儲存編寫的任務代碼,單擊運行表徵圖,運行建立的任務。

  3. (可選)煙霧測試 (Smoke Test)。

    如您希望在開發環境進行煙霧測試 (Smoke Test),查看調度節點任務的執行是否符合預期,則可在節點提交時,或節點提交後執行煙霧測試 (Smoke Test),操作詳情請參見執行煙霧測試 (Smoke Test)

步驟五:提交發布任務

節點任務配置完成後,需執行提交發佈動作,提交發布後節點即會根據調度配置內容進行周期性運行。

  1. 單擊工具列中的儲存表徵圖,儲存節點。

  2. 單擊工具列中的提交表徵圖,提交節點任務。

    提交時需在提交對話方塊中輸入變更描述,並根據需要選擇是否在節點提交後執行程式碼檢閱。

    說明
    • 您需設定節點的重跑屬性依賴的上遊節點,才可提交節點。

    • 程式碼檢閱可對任務的代碼品質進行把控,防止由於任務代碼有誤,未經審核直接發布上線後出現任務報錯。如進行程式碼檢閱,則提交的節點代碼必須通過評審人員的審核才可發布,詳情請參見程式碼檢閱

如您使用的是標準模式的工作空間,任務提交成功後,需單擊節點編輯頁面右上方的發布,將該任務發布至生產環境執行,操作請參見發布任務

後續步驟

任務營運:任務提交發布後,會基於節點的配置周期性運行,您可單擊節點編輯介面右上方的營運,進入營運中心查看周期任務的調度運行情況。詳情請參見查看並管理周期任務