Shell類型節點使用OSSUtils命令列工具 - DataWorks

Shell類型節點支援使用OSS命令列工具OSSUtils。本文將詳細介紹如何在Shell和EMR Shell節點中使用OSSUtils命令列工具。

前提條件

EMR Shell節點使用前提條件，詳情請參見EMR Shell節點使用前提條件。
通用Shell節點使用前提條件，詳情請參見通用Shell節點使用前提條件。

使用限制

EMR Shell節點使用限制，詳情請參見EMR Shell節點使用限制。
說明
目前，EMR Shell節點的Serverless資源群組中的EMR Shell鏡像尚未支援OSSUtils命令列工具。若您有相關需求，可考慮使用通用Shell節點或通過自訂鏡像進行安裝。如需通過自訂鏡像進行安裝，詳情請參見鏡像管理。
通用Shell節點使用限制，詳情請參見通用Shell節點使用限制。

通過Shell類型節點使用OSSUtils命令列工具列舉帳號下的Bucket

在DataWorks平台上，無論是EMR Shell節點還是通用Shell節點，都支援使用OSSUtils命令列工具進行操作，且訪問方式相同。以下將以通用Shell節點為例，介紹兩種方法來使用OSSUtils命令列工具列舉帳號下的Bucket。您也可以參考OSSUtils的常用命令，以滿足您的具體業務需求。詳情請參見相關文檔OSSUtils常見命令。

命令列選項方式

建立通用Shell節點。
1. 進入資料開發頁面。
  登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料開發與治理 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。
2. 建立通用Shell節點。
  在資料開發頁面按右鍵目標商務程序，選擇建立節點，在通用目錄下選擇Shell節點進行建立。

編輯節點內容。

/home/admin/usertools/tools/ossutil64 -e <OSSEndPoint> -i <AccessKeyID> -k <AccessKeySecret> ls -s 
if [[ $? == 0 ]];then
    echo "access oss success"
else
    echo "failed"
    exit 1
fi
echo "finished"

說明

您需將代碼中的OSSEndPoint、 AccessKeyID、AccessKeySecret資訊替換成實際值。參數詳情請參見配置OSSUtils。

結果驗證。
點擊，選擇Serverless資源群組，執行通用Shell節點任務。結果如下：

命令設定檔方式

配置並上傳OssUtils設定檔至OSS。
1. 準備設定檔。
  在本地建立myconfig.txt檔案，檔案內容樣本如下：
```
[Credentials]
language = CH
endpoint = https://oss-cn-hangzhou.aliyuncs.com
accessKeyID = <AccessKeyID>
accessKeySecret = <AccessKeySecret>
```
  說明
  您需將代碼中的https://oss-cn-hangzhou.aliyuncs.com、AccessKeyID、AccessKeySecret資訊替換成實際值。參數詳情請參見配置OSSUtils。
2. 上傳設定檔。
  將myconfig.txt檔案上傳到OSS。詳情請參見簡單上傳。
3. 查看下載連結。
  單擊上傳到OSS的文檔對應的操作項的詳情，關閉使用HTTPS後單擊複製檔案URL。

下載Config檔案至Serverless資源群組。

在DataWorks的鏡像管理頁面，建立自訂鏡像，下載Config檔案至Serverless資源群組。

建立鏡像。

登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的鏡像管理，在鏡像管理頁面找到自訂鏡像頁簽，單擊下方建立鏡像按鈕進行建立。您可在建立鏡像頁面參考以下參數進行建立鏡像：

參數	樣本值
鏡像名稱	自訂命令名稱。
鏡像描述	自訂命令描述。
參考型別	DataWorks官方鏡像（預設）。
鏡像命名空間	DataWorks Default（預設）。
鏡像倉庫	DataWorks Default（預設）。
鏡像名稱/ID	選擇`dataworks_shell_task_pod：xxx`：DataWorks Shell節點官方鏡像。
可見範圍	您可根據業務情況進行選擇：僅建立者可見。全域可見。
使用子產品	資料開發（預設）。
支援任務類型	Shell（預設）。
安裝包	安裝包下拉框選擇`Script`方式。並在命令框輸入以下命令： `# 下載 wget 'http://<yourConfigURL>' -O /home/admin/usertools/tools/<configName>` 說明 `http://<yourConfigURL>`參數您需替換成從OSS的文檔詳情中複製的檔案URL。 `<configName>`參數您可設定為需從OSS中下載的檔案名稱`myconfig.txt`。

單擊下方確認按鈕完成鏡像建立。

測試發布。
單擊您所建立的鏡像右側操作列中的發布，進入發布鏡像頁面，選擇測試資源群組，單擊測試結果右側的測試。等待測試成功，單擊下方發布按鈕進行發布。

按照命令設定檔的方式使用OSSUtils命令列工具。
1. 建立通用Shell節點。
  1. 進入資料開發頁面。
    登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料開發與治理 > 資料開發，在下拉框中選擇對應工作空間後單擊進入資料開發。
  2. 建立通用Shell節點。
    在資料開發頁面按右鍵目標商務程序，選擇建立節點，在通用目錄下選擇Shell節點進行建立。
2. 編輯節點內容。
```
/home/admin/usertools/tools/ossutil64 -c /home/admin/usertools/tools/myconfig.txt ls -s
```
3. 結果驗證。
  單擊，選擇您在測試發布鏡像過程中測試成功的Serverless資源群組和所建立的自訂鏡像，執行通用Shell節點任務。結果如下：