全部產品
Search
文件中心

Data Management:配置ECS遠程命令節點

更新時間:Sep 14, 2024

任務編排中的ECS遠程命令節點,可以基於ECS雲助手在遠程ECS上執行Shell、PowerShell或Bat命令。本文介紹配置ECS遠程命令節點的方法。

應用情境

  • 使用進階工具(例如:Python的Numpy庫、Sklearn庫,Spark的MLlib庫)加工資料,產出各種業務模型,應用到搜尋系統的精排、推薦系統。

  • 資料消費。例如,讀取資料產生的Excel指令碼,讀取資料發郵件的指令碼等。

  • 調用自建Hadoop的MapReduce程式或Spark程式等。

前提條件

  • 已購買一台ECS執行個體。具體操作,請參見自訂購買執行個體

  • ECS執行個體已添加標籤鍵為dms,標籤值為script-for-dms的標籤。具體操作,請參見編輯執行個體標籤

  • 已安裝雲助手用戶端。具體操作,請參見安裝雲助手Agent

    說明

    2017年12月01日之後使用公用鏡像建立的ECS執行個體,預設預裝雲助手用戶端。

  • RAM使用者(子帳號)需要添加ECS的InvokeCommand許可權。具體操作如下所示:

    1. 建立權限原則。您可以在可視化編輯Beta或指令碼編輯兩種建立策略方式中任選一種。具體操作,請參見建立自訂權限原則。添加權限原則的語句如下:

      {
        "Version": "1",
        "Statement": [
          {
            "Effect": "Allow",
            "Action": [
              "ecs:InvokeCommand"
            ],
            "Resource": [
              "*"
            ],
            "Condition": {}
          }
        ]
      }
    2. 為RAM使用者授權

操作步驟

  1. 登入Data Management 5.0
  2. 在頂部功能表列中,選擇整合與開發(DTS)> 資料開發 > 任務編排

    說明

    若您使用的是極簡模式的控制台,請單擊左上方的2022-10-21_15-25-22..png,選擇全部功能 < 整合與開發(DTS) < 資料開發 < 任務編排

  3. 單擊目標任務流名稱,進入任務流詳情頁面。

    說明

    如果您需要新增任務流,請參見新增任務流

  4. 在畫布左側任務類型列表中,拖拽ECS遠程命令節點到畫布空白地區。

  5. 雙擊ECS遠程命令節點。

  6. 在ECS遠程命令節點的配置頁面,配置節點參數。

    分類

    配置項

    是否必填

    說明

    基礎配置

    地區

    選擇目標ECS執行個體的地區。

    ECS執行個體ID

    ECS執行個體ID列表中,選擇執行命令的ECS執行個體。

    說明
    • 只有在ECS控制台上添加了鍵為dms,值為script-for-dms標籤的執行個體,才會出現在ECS執行個體ID列表中。

    • 可以選擇多個作業系統一致的ECS執行個體。

    命令類型

    • 如果ECS執行個體為Linux系統,選擇Shell。

    • 如果ECS執行個體為Windows系統,選擇Bat或PowerShell。

    逾時時間

    設定執行命令的逾時時間,單位為秒(s)。

    運行目錄

    輸入命令在ECS執行個體中的運行目錄。

    若您不填該參數,則系統將自動為您選擇預設的運行目錄,Linux執行個體預設為/root,Windows執行個體預設為C:\Windows\System32

    進階配置

    使用者名稱

    輸入在ECS執行個體中執行命令的使用者名稱。

    說明

    如果使用非root或system使用者執行命令,需要配置使用者權限。具體操作,請參見設定普通使用者執行雲助手命令

    Windows密碼名稱

    輸入Windows使用者的密碼名稱。

    說明

    設定Windows執行個體執行命令的使用者密碼名稱。具體操作,請參見設定普通使用者執行雲助手命令

    命令配置

    命令配置

    輸入需要在ECS執行個體中執行的命令。

    例如,執行命令python /home/admin/hello.py

  7. 可選:配置輸出變數。輸出變更可以被下遊節點查看和引用。

    1. 在頁面右側,單擊變數設定頁簽。

    2. 單擊輸出變量頁簽。

    3. 單擊增加變量

    4. 變數文字框中,填寫指令碼輸出變數的名稱。關於指令碼輸出變數,請參見變數介紹

    說明

    如果多個ECS執行個體最後一行返回的值均為JSON格式資料,系統會合并多個ECS執行個體最後一行返回的值。例如,A執行個體返回{"a":"hello"},B執行個體返回{"b":"world"},那麼變數a、變數b都可作為指令碼輸出變數。

  8. 在頁面上方,單擊試運行

    • 如果執行日誌的最後一行出現status SUCCEEDED,表明任務試運行成功。

    • 如果執行日誌的最後一行出現status FAILED,表明任務試運行失敗。單擊作業記錄,查看執行失敗原因,修改配置後重新嘗試。