批量计算：如何提交作业

本文解释了您的疑问：您有一个 Python 程序 test.py，在本地环境您可以 python test.py，但是在批量计算上应该如何运行呢？

test.py 内容如下：

print('Hello, cloud!')

批量计算上运行任务大致过程为：

1. 您提交作业到批量计算，批量计算会按照您提供的配置去申请虚拟机资源。

2. 批量计算启动虚拟机，并在虚拟机中运行 python test.py，得到结果后自动上传到 OSS 中。

3. 您前往 OSS 查看运行结果。

1. 提交作业的方法有很多，下面列举几种

1.1. 使用命令行

运行命令：

bcs sub "python test.py" -p ./test.py

• 这条命令会将 test.py 文件打包成 worker.tar.gz 上传到指定位置，然后再提交作业运行。

• bcs命令需要先安装 batchcompute-cli 工具才能使用， 请看准备工作。

• bcs sub命令：

bcs sub <commandLine> [job_name] [options]

更多参数详情可以通过 bcs sub -h 查看。

1.2. 使用控制台

下面列举详细解释步骤。

1.2.1. 将 test.py 打包上传到 OSS

在 test.py 所在目录运行下面的命令：

tar -czf worker.tar.gz test.py # 将 test.py 打包到 worker.tar.gz

然后使用OSS控制台将 worker.tar.gz 上传到 OSS。

假设您上传到了mybucket这个Bucket下的test目录下，则OSS路径表示为： oss://mybucket/test/worker.tar.gz。

1.2.2. 使用控制台提交作业

打开 提交作业页面。

• 按照表单提示，填写作业名称：first_job。

• 拖拽一个任务，按照下图填写表单, 其中ECS镜像ID可以从这里获取：使用镜像

• 然后点击下面的 提交作业 按钮, 即可提交成功。

• 提交成功后，自动跳转到作业列表页面，您可以在这里看到你提交的作业状态。

• 等待片刻后作业运行完成，即可查看结果。

1.3. 使用 Python SDK

1.3.1. 将test.py打包上传到云端OSS

同上一节。

1.3.2. 提交作业

from batchcompute import Client, ClientError
from batchcompute import CN_SHENZHEN as REGION

ACCESS_KEY_ID = 'your_access_key_id'          #需要配置
ACCESS_KEY_SECRET = 'your_access_key_secret'  #需要配置

job_desc = {
  "Name": "my_job_name",
  "Description": "hello test",
  "JobFailOnInstanceFail": true,
  "Priority": 0,
  "Type": "DAG",
  "DAG": {
    "Tasks": {
      "test": {
        "InstanceCount": 1,
        "MaxRetryCount": 0,
        "Parameters": {
          "Command": {
            "CommandLine": "python test.py",
            "PackagePath": "oss://mybucket/test/worker.tar.gz"
          },
          "StderrRedirectPath": "oss://mybucket/test/logs/",
          "StdoutRedirectPath": "oss://mybucket/test/logs/"
        },
        "Timeout": 21600,
        "AutoCluster": {
          "InstanceType": "ecs.sn1.medium",
          "ImageId": "img-ubuntu"
        }
      }
    },
    "Dependencies": {}
  }
}

client = Client(REGION, ACCESS_KEY_ID, ACCESS_KEY_SECRET)
result = client.create_job(job_desc)
job_id = result.Id

....

更多关于 Python SDK 内容，请参阅 Python SDK。

1.4. 使用 Java SDK

1.4.1. 将test.py打包上传到 OSS

同上一节。

1.4.2. 提交作业

import com.aliyuncs.batchcompute.main.v20151111.*;
import com.aliyuncs.batchcompute.model.v20151111.*;
import com.aliyuncs.batchcompute.pojo.v20151111.*;
import com.aliyuncs.exceptions.ClientException;

public class SubmitJob{

    String REGION = "cn-shenzhen";
    String ACCESS_KEY_ID = "";     //需要配置
    String ACCESS_KEY_SECRET = ""; //需要配置

    public static void main(String[] args) throws ClientException{
        JobDescription desc = new SubmitJob().getJobDesc();

        BatchCompute client = new BatchComputeClient(REGION, ACCESS_KEY_ID, ACCESS_KEY_SECRET);
        CreateJobResponse res = client.createJob(desc);
        String jobId = res.getJobId();

        //...
    }

    private JobDescription getJobDesc() {
       JobDescription desc = new JobDescription();

       desc.setName("testJob");
       desc.setPriority(1);
       desc.setDescription("JAVA SDK TEST");
       desc.setType("DAG");
       desc.setJobFailOnInstanceFail(true);

       DAG dag = new DAG();

       dag.addTask(getTaskDesc());

       desc.setDag(dag);
       return desc;
   }

   private TaskDescription getTaskDesc() {
       TaskDescription task = new TaskDescription();

       task.setClusterId(gClusterId);
       task.setInstanceCount(1);
       task.setMaxRetryCount(0);
       task.setTaskName("test");
       task.setTimeout(10000);

       AutoCluster autoCluster = new AutoCluster();
       autoCluster.setImageId("img-ubuntu");
       autoCluster.setInstanceType("ecs.sn1.medium");
    //   autoCluster.setResourceType("OnDemand");

       task.setAutoCluster(autoCluster);

       Parameters parameters = new Parameters();
       Command cmd = new Command();
       cmd.setCommandLine("python test.py");
    //    cmd.addEnvVars("a", "b");

       cmd.setPackagePath("oss://mybucket/test/worker.tar.gz");
       parameters.setCommand(cmd);
       parameters.setStderrRedirectPath("oss://mybucket/test/logs/");
       parameters.setStdoutRedirectPath("oss://mybucket/test/logs/");
    //    InputMappingConfig input = new InputMappingConfig();
    //    input.setLocale("GBK");
    //    input.setLock(true);
    //    parameters.setInputMappingConfig(input);

       task.setParameters(parameters);

    //    task.addInputMapping("oss://my-bucket/disk1/", "/home/admin/disk1/");
    //    task.addOutputtMapping("/home/admin/disk2/", "oss://my-bucket/disk2/");
    //    task.addLogMapping( "/home/admin/a.log","oss://my-bucket/a.log");

       return task;
   }
}

更多关于 Java SDK 内容，请参阅 Java SDK。

2. 批量计算 CommandLine

• CommandLine不等同于SHELL，仅支持”程序+参数”方式，比如”python test.py”或”sh test.sh”。

• 如果你想要执行SHELL，可以使用”/bin/bash -c ‘cd /home/xx/ && python a.py’”。

• 或者将Shell写到一个sh脚本中如：test.sh, 然后用”sh test.sh”执行。

CommandLine具体位置：

• 命令行工具中 bcs sub <cmd> [job_name] [options] 的cmd。

• 使用java sdk时 cmd.setCommandLine(cmd)中的cmd。

• python sdk中的 taskName.Parameters.Command.CommandLine。