Platform For AI：提交命令

提交任務的通用參數

使用DLC命令列提交TensorFlow（tfjob），PyTorch（pytorchjob），XGBoost（xgboostjob）任務時，存在通用的參數。通用參數列表如下

提交TensorFlow訓練任務（submit tfjob）

• 功能

  用於提交TensorFlow訓練任務。

• 格式

  系統支援通過命令列參數或任務參數描述檔案的方式提交TensorFlow任務。

  ./dlc submit tfjob [flags]

• 參數

  如果通過命令列參數的方式提交TensorFlow任務，則需要將命令中的如下參數替換為實際值。如果通過任務參數描述檔案的方式提交TensorFlow任務，則將任務參數描述檔案中支援的參數以<parameterName>=<parameterValue>的形式寫入檔案中。提交TensorFlow任務的通用參數如文章開頭的列表所示，以下為TensorFlow的任務特有參數：

  表 2. 提交TensorFlow任務的特有參數

  參數	是否必選	描述	類型	任務參數描述檔案中是否支援該參數
  workspace_id	是	工作空間的ID，（即作業提交DLC公用的工作空間）預設為空白。如何建立工作空間可以參考建立工作空間。	STRING	是
  chief	否	是否啟用TensorFlow Chief節點，該參數取值包括： false：預設值，表示關閉TensorFlow Chief節點。 true：表示開啟TensorFlow Chief節點。	BOOL	是
  chief_image	否	TensorFlow Chief節點的鏡像，預設值為空白。	STRING	是
  chief_spec	否	TensorFlow Chief節點使用的伺服器型號，預設值為空白。	STRING	是
  master_image	否	TensorFlow Master節點的鏡像，預設值為空白。	STRING	是
  master_spec	否	TensorFlow Master節點使用的伺服器型號。	STRING	是
  masters	否	TensorFlow Master節點的數量，預設值為0。	INT	是
  ps	否	TensorFlow Parameter Server節點的數量，預設值為0。	INT	是
  ps_image	否	TensorFlow Parameter Server節點的鏡像，預設值為空白。	STRING	是
  ps_spec	否	TensorFlow Parameter Server節點使用的伺服器型號，預設值為空白。	STRING	是
  worker_image	否	TensorFlow Worker節點的鏡像，預設值為空白。	STRING	是
  worker_spec	否	TensorFlow Worker節點使用的伺服器型號，預設值為空白。	STRING	是
  workers	否	TensorFlow Worker節點的數量，預設值為0。	INT	是
  evaluator_image	否	TensorFlow Evaluators節點的鏡像，預設值為空白。	STRING	是
  evaluator_spec	否	TensorFlow Evaluators節點使用的伺服器型號，預設值為空白。	STRING	是
  evaluators	否	TensorFlow Evaluators節點的數量，預設值為0。	INT	是
  graphlearn_image	否	TensorFlow GraphLearn節點的鏡像，預設值為空白。	STRING	是
  graphlearn_spec	否	TensorFlow GraphLearn節點使用的伺服器型號，預設值為空白。	STRING	是
  graphlearns	否	TensorFlow GraphLearn節點的數量，預設值為0。	INT	是

  表 3. 提交TensorFlow任務至專有資源群組的特有參數

  參數	是否必選	描述	類型	任務參數描述檔案中是否支援該參數
  resource_id	否（若要提交任務至專有資源群組則為必選）	專有資源配額的ID，預設為空白。如何建立專有資源配額可以參考通用計算資源配額。	STRING	是
  priority	否	任務優先順序，預設為1。	INT	是
  chief_cpu	否	TensorFlow Chief節點使用CPU的個數，預設為空白。	STRING	是
  chief_gpu	否	TensorFlow Chief節點使用GPU的個數，預設為空白。	STRING	是
  chief_gpu_type	否	TensorFlow Chief節點使用GPU的類型，預設為空白。樣本值：GU50。	STRING	是
  chief_memory	否	TensorFlow Chief節點使用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  chief_shared_memory	否	TensorFlow Chief節點用於共用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  master_cpu	否	TensorFlow Master節點使用CPU的個數，預設為空白。	STRING	是
  master_gpu	否	TensorFlow Master節點使用GPU的個數，預設為空白。	STRING	是
  master_gpu_type	否	TensorFlow Master節點使用GPU的類型，預設為空白。樣本值：GU50。	STRING	是
  master_memory	否	TensorFlow Master節點使用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  master_shared_memory	否	TensorFlow Master節點用於共用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  *_cpu	否	TensorFlow *節點使用CPU的個數，預設為空白。*可替換為（ps，worker，evaluator，graphlearn）。	STRING	是
  *_gpu	否	TensorFlow *節點使用GPU的個數，預設為空白。*可替換為（ps，worker，evaluator，graphlearn）。	STRING	是
  *_gpu_type	否	TensorFlow *節點使用GPU的類型，預設為空白。樣本值：GU50。*可替換為（ps，worker，evaluator，graphlearn）。	STRING	是
  *_memory	否	TensorFlow *節點使用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。*可替換為（ps，worker，evaluator，graphlearn）。	STRING	是
  *_shared_memory	否	TensorFlow *節點用於共用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。*可替換為（ps，worker，evaluator，graphlearn）。	STRING	是

• 樣本

  • 通過命令列參數提交一個2 Worker+ 1 PS的分布式作業，樣本如下。

    ./dlc submit tfjob --name=test_2021 --ps=1 \
      --ps_spec=ecs.g6.8xlarge \
      --ps_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04 \
      --workers=2 \
      --worker_spec=ecs.g6.4xlarge \
      --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04 \
      --command="python /root/data/dist_mnist/code/dist-main.py --max_steps=10000 --data_dir=/root/data/dist_mnist/data/" \
      --workspace_id=***** \
      --data_sources=data-2021xxxxxxxxxx-xxxxxxxxxxxx

    系統返回如下類似結果。

    +----------------------------------+--------------------------------------+
    |              JobId               |              RequestId               |
    +----------------------------------+--------------------------------------+
    | dlcmp6vwljkz****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
    +----------------------------------+--------------------------------------+

  • 通過任務參數描述檔案提交一個2 Worker+ 1 PS的分布式作業，樣本如下。

    ./dlc submit tfjob --job_file=job_file.dist_mnist.1ps2w

    其中job_file.dist_mnist.1ps2w為任務參數描述檔案，採用<parameterName>=<parameterValue>的格式填寫參數。job_file.dist_mnist.1ps2w的內容如下所示。

    name=test_2021
    workers=2
    worker_spec=ecs.g6.4xlarge
    worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04
    ps=1
    ps_spec=ecs.g6.8xlarge
    ps_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/tensorflow-training:1.12.2PAI-cpu-py27-ubuntu16.04
    command=python /root/data/dist_mnist/code/dist-main.py --max_steps=10000 --data_dir=/root/data/dist_mnist/data/
    workspace_id=*****
    data_sources=data-2021xxxxxxxxxx-xxxxxxxxxxxx

提交PyTorch訓練任務（submit pytorchjob）

• 功能

  用於提交PyTorch訓練任務。

• 格式

  系統支援通過命令列參數或任務參數描述檔案的方式提交PyTorch任務。

  ./dlc submit pytorchjob [flags]

• 參數

  如果通過命令列參數的方式提交PyTorch任務，則需要將命令中的如下參數替換為實際值。如果通過任務參數描述檔案的方式提交PyTorch任務，則將任務參數描述檔案中支援的參數以<parameterName>=<parameterValue>的形式寫入檔案中。提交PyTorch任務的通用參數如文章開頭的列表所示，以下為PyTorch任務的特有參數：

  表 4. 提交PyTorch任務的特有參數

  參數名稱	是否必選	描述	類型	任務參數描述檔案中是否支援該參數
  workspace_id	是	工作空間的ID，（即作業提交DLC公用的工作空間）預設為空白。如何建立工作空間可以參考建立工作空間。	STRING	是
  master_image	否	PyTorch Master節點的鏡像，預設值為空白。	STRING	是
  master_spec	否	PyTorch Master節點使用的伺服器型號，預設值為空白。	STRING	是
  masters	否	PyTorch Master節點的數量，預設值為0。	INT	是
  worker_image	否	PyTorch Worker節點的鏡像，預設值為空白。	STRING	是
  worker_spec	否	PyTorch Worker節點使用的伺服器型號，預設值為空白。	STRING	是
  workers	否	PyTorch Worker節點的數量，預設值為0。	INT	是

  表 5. 提交PyTorch任務至專有資源群組的特有參數

  參數	是否必選	描述	類型	任務參數描述檔案中是否支援該參數
  resource_id	否（若要提交任務至專有資源群組則為必選）	專有資源配額的ID，預設為空白。如何建立專有資源配額可以參考通用計算資源配額。	STRING	是
  priority	否	任務優先順序。預設為1。	INT	是
  master_cpu	否	PyTorch Master節點使用CPU的個數，預設為空白。	STRING	是
  master_gpu	否	PyTorch Master節點使用GPU的個數，預設為空白。	STRING	是
  master_gpu_type	否	PyTorch Master節點使用GPU的類型，預設為空白。樣本值：GU50。	STRING	是
  master_memory	否	PyTorch Master節點使用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  master_shared_memory	否	PyTorch Master節點用於共用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  worker_cpu	否	PyTorch Worker節點使用CPU的個數，預設為空白。	STRING	是
  worker_gpu	否	PyTorch Worker節點使用GPU的個數，預設為空白。	STRING	是
  worker_gpu_type	否	PyTorch Worker節點使用GPU的類型，預設為空白。樣本值：GU50。	STRING	是
  worker_memory	否	PyTorch Worker節點使用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  worker_shared_memory	否	PyTorch Worker節點用於共用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是

• 樣本

  通過命令列參數提交一個GPU的模型訓練任務，樣本如下。

  ./dlc submit pytorchjob --name=test_pt_face \
    --workers=1 \
    --worker_spec=ecs.gn6e-c12g1.3xlarge \
    --worker_image=registry-vpc.cn-beijing.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04 \
    --command="apt-get update; apt-get -y --allow-downgrades install libpcre3=2:8.38-3.1 libpcre3-dev libgl1-mesa-glx libglib2.0-dev; cd /root/data/face; python train.py --num_workers 0 --save_folder outputs" \
    --data_sources=data-20210410224621-xxxxxxxxxxxx \
    --workspace_id=*****

  系統返回如下類似結果。

  +----------------------------------+--------------------------------------+
  |              JobId               |              RequestId               |
  +----------------------------------+--------------------------------------+
  | dlcu704xxuxk****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
  +----------------------------------+--------------------------------------+

提交XGBoost訓練任務（submit xgboostjob）

• 功能

  用於提交XGBoost訓練任務。

• 格式

  系統支援通過命令列參數或任務參數描述檔案的方式提交XGBoost任務。

  ./dlc submit xgboostjob [flags]

• 參數

  如果通過命令列參數的方式提交XGBoost任務，則需要將命令中的如下參數替換為實際值。如果通過任務參數描述檔案的方式提交XGBoost任務，則將任務參數描述檔案中支援的參數以<parameterName>=<parameterValue>的形式寫入檔案中。提交XGBoost任務的通用參數如文章開頭的列表所示，以下為XGBoost任務的特有參數：

  表 6. 提交XGBoost任務的特有參數

  參數名稱	是否必選	描述	類型	任務參數描述檔案中是否支援該參數
  workspace_id	是	工作空間的ID，（即作業提交DLC公用的工作空間）預設為空白。如何建立工作空間可以參考建立工作空間。	STRING	是
  master_image	否	XGBoost Master節點的鏡像，預設值為空白。	STRING	是
  master_spec	否	XGBoost Master節點使用的伺服器型號，預設值為空白。	STRING	是
  masters	否	XGBoost Master節點的數量，預設值為0。	INT	是
  worker_image	否	XGBoost Worker節點的鏡像，預設值為空白。	STRING	是
  worker_spec	否	XGBoost Worker節點使用的伺服器型號，預設值為空白。	STRING	是
  workers	否	XGBoost Worker節點的數量，預設值為0。	INT	是

  表 7. 提交XGBoost任務至專有資源群組的特有參數

  參數	是否必選	描述	類型	任務參數描述檔案中是否支援該參數
  resource_id	否（若要提交任務至專有資源群組則為必選）	專有資源配額的ID，預設為空白。如何建立專有資源配額可以參考通用計算資源配額。	STRING	是
  priority	否	任務優先順序。預設為1。	INT	是
  master_cpu	否	XGBoost Master節點使用CPU的個數，預設為空白。	STRING	是
  master_gpu	否	XGBoost Master節點使用GPU的個數，預設為空白。	STRING	是
  master_gpu_type	否	XGBoost Master節點使用GPU的類型，預設為空白。樣本值：GU50。	STRING	是
  master_memory	否	XGBoost Master節點使用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  master_shared_memory	否	XGBoost Master節點用於共用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  worker_cpu	否	XGBoost Worker節點使用CPU的個數，預設為空白。	STRING	是
  worker_gpu	否	XGBoost Worker節點使用GPU的個數，預設為空白。	STRING	是
  worker_gpu_type	否	XGBoost Worker節點使用GPU的類型，預設為空白。樣本值：GU50。	STRING	是
  worker_memory	否	XGBoost Worker節點使用記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是
  worker_shared_memory	否	XGBoost Worker節點用於共用的記憶體資源，預設為空白。樣本值：500 Mi，1 Gi。	STRING	是

• 樣本

  通過命令列參數提交一個XGBoost任務，樣本如下。

  ./dlc submit xgboostjob --name=test_xgboost \
    --workers=1 \
    --worker_spec=ecs.gn6e-c12g1.3xlarge \
    --worker_image=xgboost-training:1.6.0-cpu-py36-ubuntu18.04 \
    --command="python /root/code/horovod/xgboost/main.py --job_type=Train --xgboost_parameter=objective:multi:softprob,num_class:3 --n_estimators=50 --model_path=autoAI/xgb-opt/2" \
    --workspace_id=*****

  系統返回如下類似結果。

  +----------------------------------+--------------------------------------+
  |              JobId               |              RequestId               |
  +----------------------------------+--------------------------------------+
  | dlc1nvu3gli0****                 | xxxxxxxx-79AF-4EFC-9CE9-xxxxxxxxxxxx |
  +----------------------------------+--------------------------------------+

提交任務的進階參數

相關文檔

• 任務提交成功後，您可以通過用戶端工具管理工作。具體操作，請參見停止命令和查詢命令。

• 您也可以通過控制台管理已提交的任務。具體操作，請參見管理訓練任務。