全部產品
Search
文件中心

DataWorks:建立AnalyticDB for PostgreSQL資料來源

更新時間:Aug 16, 2024

若您要使用DataWorks進行AnalyticDB for PostgreSQL任務的開發、管理,需先將您的AnalyticDB for PostgreSQL執行個體建立為DataWorks的AnalyticDB for PostgreSQL資料來源。建立完成後,可在DataWorks的各功能模組使用該資料來源串連AnalyticDB for PostgreSQL執行個體,進行相應的資料同步、資料開發、資料分析等操作。

前提條件

  • 已購買AnalyticDB for PostgreSQL執行個體並建立資料庫,詳情請參見建立執行個體資料庫管理

    說明

    建議購買AnalyticDB for PostgreSQL執行個體時,地區與建立AnalyticDB for PostgreSQL資料來源的DataWorks工作空間地區一致。若地區不一致,則只能建立為跨地區的資料來源,此類資料來源無法在DataWorks的資料開發(DataStudio)模組綁定,即無法用於資料開發或周期性調度任務,僅可進行資料同步任務。

  • 已購買所需的DataWorks資源群組並完成資源群組配置。

    AnalyticDB for PostgreSQL執行個體支援Serverless資源群組(推薦)舊版獨享資源群組(獨享Data Integration資源群組、獨享調度資源群組、獨享資料服務資源群組)。AnalyticDB for PostgreSQL資料來源建立完成後,可用於進行資料同步、計算任務開發與調度、產生API提供資料服務等應用情境。

    說明

    您需根據應用情境提前準備對應的資源群組並完成配置,在建立AnalyticDB for PostgreSQL資料來源時確保與對應資源群組間網路連通。資源群組的介紹與配置引導,請參見DataWorks資源群組概述

  • 已建立或加入目標工作空間。

    您需在目標工作空間中,將AnalyticDB for PostgreSQL執行個體建立為該工作空間的資料來源,用於後續在該工作空間進行開發操作。同時,需將購買的DataWorks資源群組綁定至該工作空間,確保資料來源與資源群組網路連通。建立工作空間,詳情請參見建立並管理工作空間

    說明

    同一個AnalyticDB for PostgreSQL執行個體可在多個DataWorks工作空間中被建立為資料來源。

使用限制

  • 僅當AnalyticDB for PostgreSQL執行個體和DataWorks工作空間屬於同地區、同一阿里雲帳號時,基於該執行個體建立的資料來源才可在DataWorks的資料開發(DataStudio)模組綁定,即此類資料來源才可用於資料開發或周期性調度任務。

  • 支援跨帳號建立資料來源,即支援將其他阿里雲帳號下的AnalyticDB for PostgreSQL執行個體建立為資料來源,但資料來源建立完成後僅支援通過RAM角色訪問對應執行個體,並且該類資料來源不能用於資料開發或周期性調度任務。

  • 使用串連串模式建立的資料來源不支援用於資料開發或周期性調度任務,只能用於資料同步。詳情請參見建立資料來源

  • 僅支援使用Serverless資源群組(推薦)舊版獨享Data Integration、調度資源群組運行AnalyticDB for PostgreSQL任務。

  • 基於AnalyticDB for PostgreSQL資料來源建立資料服務API,推薦使用Serverless資源群組

操作前準備:許可權說明與配置

  • 使用RAM使用者(即子帳號)或RAM角色建立資料來源,需擁有如下任意許可權:

  • 若執行跨帳號情境建立資料來源,則還需執行如下許可權配置。

    跨阿里雲帳號建立AnalyticDB for PostgreSQL資料來源時,僅支援通過RAM角色訪問對應AnalyticDB for PostgreSQL執行個體,且需對RAM角色配置相應權限原則。

    情境樣本

    本文以“帳號A通過建立AnalyticDB for PostgreSQL資料來源訪問帳號B的AnalyticDB for PostgreSQL執行個體”情境為例進行說明。

    • 主帳號A:已開通DataWorks,需訪問主帳號B的AnalyticDB for PostgreSQL。

    • 主帳號B:已開通AnalyticDB for PostgreSQL執行個體並建立相應資料庫。同時,已建立RAM角色並授權帳號A可通過該角色訪問帳號B的相關服務。

    完成上述操作後,帳號A可參考本文建立AnalyticDB for PostgreSQL資料來源,實現跨帳號訪問帳號B的AnalyticDB for PostgreSQL執行個體。

    RAM角色要求及許可權配置

    帳號B的RAM角色要求及許可權配置,具體如下:

    1. 帳號B需建立一個RAM角色並授權該角色可訪問指定AnalyticDB for PostgreSQL執行個體。同時,RAM角色需添加帳號A為信任的雲帳號,即允許帳號A使用此RAM角色。詳情請參見建立RAM角色建立自訂權限原則

    2. 修改RAM角色的權限原則,授權給帳號A,後續帳號A可使用該角色訪問AnalyticDB for PostgreSQL。詳情請參見修改RAM角色的信任策略。策略內容如下。

      {
          "Version": "1",
          "Statement": [
              {
                  "Action": [
                      "sts:AssumeRole",
                      "gpdb:DescribeDBInstanceAttribute",
                      "gpdb:DescribeDBInstances",
                      "gpdb:DescribeResourceUsage",
                      "gpdb:DescribeDBInstanceIPArrayList",
                      "gpdb:DescribeDBClusterIPArrayList",
                      "gpdb:DescribeDBInstancePerformance",
                      "gpdb:DescribeDBInstanceNetInfo",
                      "gpdb:DescribeRegions",
                      "gpdb:ModifySecurityIps"
                  ],
                  "Effect": "Allow",
                  "Principal": {
                      "Service": [
                          "帳號A的阿里雲帳號ID@engine.dataworks.aliyuncs.com"
                      ]
                  }
              }
          ]
      }

資料來源建立入口

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源 > 資料來源列表,進入資料來源頁面。

  2. 單擊新增資料來源,選擇AnalyticDB for PostgreSQL,根據介面指引建立資料來源。

    您也可進入Data Integration介面建立,但該頁面僅支援建立生產資料來源,且建立完成後需在管理中心 > 資料來源進行管理。Data Integration頁面支援建立的資料來源類型,具體請以實際介面為準。

建立資料來源

DataWorks支援通過如下兩種方式建立資料來源。

說明

標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源。工作空間模式介紹,詳情請參見必讀:簡單模式和標準模式的區別

方式一:通過阿里雲執行個體模式建立資料來源

  1. 配置基礎資訊。image.png

    參數

    說明

    資料來源名稱

    定義資料來源在DataWorks的名稱,名稱必須唯一。

    配置模式

    選擇阿里雲執行個體模式。

    所屬雲帳號

    定義建立資料來源所使用的AnalyticDB for PostgreSQL執行個體屬於當前阿里雲主帳號還是其他阿里雲主帳號。

    • 當前阿里雲主帳號:添加當前阿里雲主帳號下的AnalyticDB for PostgreSQL執行個體作為當前工作空間的資料來源。

    • 其他阿里雲主帳號:添加其他阿里雲主帳號下的AnalyticDB for PostgreSQL執行個體作為當前工作空間的資料來源。

      說明

      此方式即可實現跨帳號建立資料來源,資料來源建立完成後僅支援通過RAM角色訪問;且不支援在資料開發(DataStudio)綁定,即此類資料來源不能用於資料開發或周期性調度任務,僅可用於Data Integration模組進行資料同步。

    請根據選擇的帳號類型,參照下文進行AnalyticDB for PostgreSQL執行個體及訪問身份配置

    地區

    AnalyticDB for PostgreSQL執行個體所在地區。

    說明

    若選擇的地區與當前工作空間地區不一致,則建立資料來源後,該資料來源不支援在資料開發(DataStudio)綁定,即此類資料來源不能用於資料開發或周期性調度任務,僅可用於Data Integration模組進行資料同步。

    AnalyticDB for PostgreSQL執行個體及訪問身份配置

    所屬雲帳號不同時,AnalyticDB for PostgreSQL執行個體及訪問身份的配置參數不同。

    所屬雲帳號:當前阿里雲主帳號

    • 執行個體:選擇需將指定地區下哪一個AnalyticDB for PostgreSQL執行個體建立為當前工作空間的資料來源。

    • 資料庫名稱、使用者名稱、密碼:選擇訪問目標執行個體的哪個資料庫,並輸入訪問該資料庫的密鑰資訊。您可登入雲原生資料倉儲AnalyticDB for PostgreSQL控制台,查看資料庫資訊。

    所屬雲帳號:其他阿里雲主帳號

    • 對方阿里雲主帳號UID、對方執行個體ID、對方RAM角色:填寫跨帳號的阿里雲帳號UID、執行個體ID和RAM使用者角色。該執行個體將被建立為資料來源,且後續使用此阿里雲帳號下的RAM角色訪問該執行個體。

      說明

      跨帳號建立資料來源,需擁有的RAM角色許可權請參見操作前準備:許可權說明與配置

    • 對方資料庫名稱、使用者名稱、密碼:選擇訪問目標執行個體的哪個資料庫,並輸入訪問該資料庫的密鑰資訊。您可登入雲原生資料倉儲AnalyticDB for PostgreSQL控制台,查看資料庫資訊。

    說明

    此方式即可實現跨帳號建立資料來源,資料來源建立完成後僅支援通過RAM角色訪問;且不支援在資料開發(DataStudio)綁定,即此類資料來源不能用於資料開發或周期性調度任務,僅可用於Data Integration模組進行資料同步。

  2. 測試資源群組連通性。

    根據使用情境不同,資源群組分為Data Integration(用於資料同步)、資料開發(用於任務調度)、資料服務(用於資料服務任務)三種類型。資源群組的詳細介紹,請參見DataWorks資源群組概述

    您需根據資料來源後續的用途,在串連配置地區對應資源群組類型後,測試所需資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。

方式二:通過串連串模式建立資料來源

該方式僅支援使用當前阿里雲帳號建立資料來源。

  1. 配置基礎資訊。image.png

    參數

    說明

    資料來源名稱

    定義資料來源在DataWorks的名稱,名稱必須唯一。

    配置模式

    選擇串連串模式。

    JDBC URL

    串連AnalyticDB for PostgreSQL執行個體的JDBC URL資訊。您可登入雲原生資料倉儲AnalyticDB for PostgreSQL控制台,擷取相關資料庫及連接埠資訊。

    使用者名稱

    訪問資料庫的使用者名稱。

    密碼

    訪問資料庫的密碼。

  2. 測試資源群組連通性。

    根據使用情境不同,資源群組分為Data Integration(用於資料同步)、資料開發(用於任務調度)、資料服務(用於資料服務任務)三種類型。資源群組的詳細介紹,請參見DataWorks資源群組概述

    您需根據資料來源後續的用途,在串連配置地區對應資源群組類型後,測試所需資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。

後續操作

資料來源建立完成後,您可根據需要執行如下操作:

  • 計算任務開發與調度

    DataWorks的資料開發與營運中心模組,為您提供AnalyticDB for PostgreSQL任務的開發與調度能力,若您需要基於該AnalyticDB for PostgreSQL資料來源進行AnalyticDB for PostgreSQL任務開發,或周期性調度AnalyticDB for PostgreSQL相關任務,需先進入資料開發(DataStudio)頁面,將建立的資料來源綁定至資料開發(DataStudio)。

    說明

    僅當AnalyticDB for PostgreSQL執行個體和DataWorks工作空間同地區、同帳號時,基於該專案建立的資料來源才可綁定至資料開發(DataStudio)。

  • 進行資料同步

    DataWorks的Data Integration模組為您提供讀取和寫入資料至AnalyticDB for PostgreSQL的能力,您可將其他資料來源的資料同步至當前AnalyticDB for PostgreSQL資料來源,或將當前AnalyticDB for PostgreSQL資料來源的資料同步至其他資料來源。同時,可根據需要選擇離線同步、同步解決方案等情境執行相關資料同步操作。

  • 增刪改查資料來源:進入資料來源管理頁面執行編輯、刪除等管理操作。