任務編排中的ECS遠程命令節點,可以基於ECS雲助手在遠程ECS上執行Shell、PowerShell或Bat命令。本文介紹配置ECS遠程命令節點的方法。
應用情境
使用進階工具(例如:Python的Numpy庫、Sklearn庫,Spark的MLlib庫)加工資料,產出各種業務模型,應用到搜尋系統的精排、推薦系統。
資料消費。例如,讀取資料產生的Excel指令碼,讀取資料發郵件的指令碼等。
調用自建Hadoop的MapReduce程式或Spark程式等。
前提條件
已購買一台ECS執行個體。具體操作,請參見自訂購買執行個體。
ECS執行個體已添加標籤鍵為
dms
,標籤值為script-for-dms
的標籤。具體操作,請參見編輯執行個體標籤。已安裝雲助手用戶端。具體操作,請參見安裝雲助手Agent。
說明2017年12月01日之後使用公用鏡像建立的ECS執行個體,預設預裝雲助手用戶端。
RAM使用者(子帳號)需要添加ECS的InvokeCommand許可權。具體操作如下所示:
操作步驟
- 登入Data Management 5.0。
在頂部功能表列中,選擇整合與開發(DTS)> 資料開發 > 任務編排。
說明若您使用的是極簡模式的控制台,請單擊左上方的,選擇全部功能 < 整合與開發(DTS) < 資料開發 < 任務編排。
單擊目標任務流名稱,進入任務流詳情頁面。
說明如果您需要新增任務流,請參見新增任務流。
在畫布左側任務類型列表中,拖拽ECS遠程命令節點到畫布空白地區。
雙擊ECS遠程命令節點。
在ECS遠程命令節點的配置頁面,配置節點參數。
分類
配置項
是否必填
說明
基礎配置
地區
是
選擇目標ECS執行個體的地區。
ECS執行個體ID
是
在ECS執行個體ID列表中,選擇執行命令的ECS執行個體。
說明只有在ECS控制台上添加了鍵為
dms
,值為script-for-dms
標籤的執行個體,才會出現在ECS執行個體ID列表中。可以選擇多個作業系統一致的ECS執行個體。
命令類型
是
如果ECS執行個體為Linux系統,選擇Shell。
如果ECS執行個體為Windows系統,選擇Bat或PowerShell。
逾時時間
是
設定執行命令的逾時時間,單位為秒(s)。
運行目錄
是
輸入命令在ECS執行個體中的運行目錄。
若您不填該參數,則系統將自動為您選擇預設的運行目錄,Linux執行個體預設為
/root
,Windows執行個體預設為C:\Windows\System32
。進階配置
使用者名稱
是
輸入在ECS執行個體中執行命令的使用者名稱。
說明如果使用非root或system使用者執行命令,需要配置使用者權限。具體操作,請參見設定普通使用者執行雲助手命令。
Windows密碼名稱
是
輸入Windows使用者的密碼名稱。
說明設定Windows執行個體執行命令的使用者密碼名稱。具體操作,請參見設定普通使用者執行雲助手命令。
命令配置
命令配置
是
輸入需要在ECS執行個體中執行的命令。
例如,執行命令
python /home/admin/hello.py
。可選:配置輸出變數。輸出變更可以被下遊節點查看和引用。
在頁面右側,單擊變數設定頁簽。
單擊輸出變量頁簽。
單擊增加變量。
在變數文字框中,填寫指令碼輸出變數的名稱。關於指令碼輸出變數,請參見變數介紹。
說明如果多個ECS執行個體最後一行返回的值均為JSON格式資料,系統會合并多個ECS執行個體最後一行返回的值。例如,A執行個體返回{"a":"hello"},B執行個體返回{"b":"world"},那麼變數a、變數b都可作為指令碼輸出變數。
在頁面上方,單擊試運行。
如果執行日誌的最後一行出現
status SUCCEEDED
,表明任務試運行成功。如果執行日誌的最後一行出現
status FAILED
,表明任務試運行失敗。單擊作業記錄,查看執行失敗原因,修改配置後重新嘗試。