全部產品
Search
文件中心

DataWorks:建立SSH資料來源

更新時間:Nov 15, 2024

在DataWorks中,您可通過建立SSH資料來源並配置主機訪問資訊的方式遠端存取主機,隨後,SSH節點可通過該資料來源遠端存取主機並觸發主機指令碼執行。例如,您可通過此方式實現在DataWorks遠端存取ECS(Elastic Compute Service)並觸發ECS中的指令碼周期性調度執行。本文為您介紹如何建立SSH資料來源。

使用限制

  • 僅支援通過串連串模式建立SSH資料來源。

  • 僅支援使用獨享調度資源群組運行SSH資料調度任務,並且獨享調度資源群組需提交工單聯絡技術支援人員升級,否則可能導致任務運行失敗。

注意事項

標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源,並且開發環境資料來源和生產環境資料來源必須使用同一種認證模式。

前提條件

  • 已擷取相應伺服器的主機地址及連接埠。

  • 已購買獨享調度資源群組並完成資源群組配置。

    SSH資料來源建立完成後,只能使用獨享調度資源群組進行計算任務的開發與調度,您需提前準備好相應資源群組,並在建立SSH資料來源時確保資料來源與資源群組網路連通。詳情請參見新增和使用獨享調度資源群組網路連通方案

操作前準備:許可權說明與配置

使用RAM使用者(即子帳號)或RAM角色建立資料來源,需擁有如下任意許可權:

資料來源建立入口

  1. 進入資料來源頁面。

    1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的管理中心,在下拉框中選擇對應工作空間後單擊進入管理中心

    2. 進入工作空間管理中心頁面後,單擊左側導覽列的資料來源 > 資料來源列表,進入資料來源頁面。

  2. 單擊新增資料來源,選擇SSH,根據介面指引建立資料來源。

建立資料來源

您需在建立SSH資料來源頁面,配置資料來源的基礎資訊並測試網路連通性。

  1. 配置基礎資訊。

    您可根據介面提示配置資料來源的名稱等基礎資訊。

    說明

    標準模式工作空間,需分別建立開發環境資料來源和生產環境資料來源,並且開發環境資料來源和生產環境資料來源必須使用同一種認證模式。

    image

    核心參數如下:

    • 配置模式:僅支援通過串連串模式建立SSH資料來源。

    • 認證模式

      主機密碼認證

      參數

      描述

      主機地址

      SSH伺服器的主機地址。

      主機連接埠

      SSH伺服器的主機連接埠。

      使用者名稱

      SSH伺服器的登入使用者名稱。

      密碼

      SSH伺服器的登入密碼。

      主機SSH密鑰認證

      參數

      描述

      主機地址

      SSH伺服器的主機地址。

      主機連接埠

      SSH伺服器的主機連接埠。

      使用者名稱

      SSH伺服器的登入使用者名稱。

      私密金鑰

      SSH伺服器的登入私密金鑰。您需上傳相關認證檔案,用於使用者和服務進行身分識別驗證。管理認證檔案,請參見第三方認證檔案管理

      私密金鑰口令

      若私密金鑰檔案已加密,需輸入私密金鑰口令。

      (推薦)DataWorks SSH公開金鑰認證

      DataWorks基於SSH資料來源產生金鑰組,並將金鑰組的公開金鑰提供給使用者進行相關配置,連通DataWorks與SSH伺服器。該認證方式相對較安全。

      參數

      描述

      主機地址

      SSH伺服器的主機地址。

      主機連接埠

      SSH伺服器的主機連接埠。

      使用者名稱

      SSH伺服器的登入使用者名稱。

      公開金鑰

      單擊產生金鑰組,平台將根據您配置的使用者名稱隨機產生公開金鑰。進行網路連通性測試前,請先將金鑰組的公開金鑰配置到該主機的.ssh/authorized_keys檔案,以免網路無法連通。

      說明
      • Truststore檔案中儲存了一些可信任的認證,用於對伺服器進行認證。例如,訪問SSL伺服器時,需對伺服器進行認證,以確保其是可信任的。

      • 產生的金鑰組將在資料來源建立成功後生效,請及時將產生的金鑰組中的公開金鑰配置到您的主機。

      • 編輯資料來源時,每次單擊產生金鑰組,會產生一個新的金鑰組公開金鑰,儲存配置後,原有的金鑰組公開金鑰將會失效。該操作可能導致運行中的任務失敗,請謹慎操作。

  2. 測試資源群組連通性。

    串連配置地區,測試資料來源與獨享調度資源群組的連通性。若資源群組與資料來源無法連通,則相應資料來源任務將無法正常執行。請確保獨享調度資源群組可正常訪問您的主機,網路連通方案詳情請參見網路連通方案

    說明
    • 僅支援使用獨享調度資源群組運行SSH資料調度任務,並且獨享調度資源群組需提交工單聯絡技術支援人員升級,否則可能導致任務運行失敗。

    • 若網路無法連通,建議您先嘗試將資源群組的IP地址配置到伺服器執行個體安全性群組的入方向中,使用資源群組對應的公網或私網IP串連伺服器。

後續操作

資料來源建立完成後,您可根據需要執行如下操作:

  • 計算任務開發與調度

    DataWorks的資料開發與營運中心模組,為您提供SSH任務的開發與調度能力,您可通過在SSH節點指定具體的SSH資料來源的方式遠端連線該資料來源配置的主機,將SSH節點發布生產中心實現周期性調度SSH節點代碼,具體您可進入資料開發(DataStudio)操作。

  • 增刪改查資料來源:進入資料來源管理頁面執行編輯、刪除等管理操作。