Platform For AI:トレーニングジョブの作成

1. [ジョブの作成] ページに移動します。

   1. PAI コンソールにログインします。ページの上部で対象のリージョンとワークスペースを選択し、[ディープラーニングコンテナー (DLC)] をクリックします。

   2. Deep Learning Containers (DLC) ページで、[ジョブの作成] をクリックします。

2. 次のセクションでトレーニングジョブのパラメーターを設定します。

   • 基本情報

     [ジョブ名] と [タグ] を設定します。

   • 環境情報

     パラメーター	説明
     イメージ設定	[Alibaba Cloud イメージ] の他に、以下のイメージタイプもサポートされています： カスタムイメージ: PAI に追加されたカスタムイメージを使用できます。 イメージリポジトリは、パブリックプルを許可するように設定するか、イメージを Container Registry (ACR) に保存する必要があります。 詳細については、「カスタムイメージ」をご参照ください。 説明 リソースクォータに Lingjun リソースを選択し、カスタムイメージを使用する場合、Lingjun の高性能 RDMA ネットワークを最大限に活用するには、手動で RDMA をインストールする必要があります。詳細については、「RDMA：分散トレーニングに高性能ネットワークを使用する」をご参照ください。 イメージアドレス: インターネット経由でアクセス可能なカスタムイメージまたは公式イメージの URL を設定できます。 非公開イメージ URL の場合は、[ユーザー名とパスワードを入力] をクリックし、イメージリポジトリのユーザー名とパスワードを入力します。 イメージのプル速度を向上させるには、「イメージのプルを高速化する」をご参照ください。
     データセットのマウント	データセットは、モデルトレーニングに必要なデータファイルを提供します。次の 2 種類がサポートされています： カスタムデータセット：カスタムデータセットを作成して、トレーニングデータを格納します。[読み取り専用] として設定したり、[バージョンリスト] から特定のデータセットバージョンを選択したりできます。 公開データセット： PAI は、読み取り専用モードでのみマウントできる事前構築済みの公開データセットを提供します。 マウントパス: PAI-DLC コンテナー内にデータセットをマウントするパス (/mnt/data など) を指定します。 このパスを使用して、コードからデータセットにアクセスします。 マウント構成の詳細については、「DLC トレーニングジョブでクラウドストレージを使用する」をご参照ください。 重要 CPFS データセットを設定する場合、PAI-DLC ジョブは CPFS VPC と同じ Virtual Private Cloud (VPC) で設定する必要があります。そうしないと、ジョブが「環境準備」段階から進まない可能性があります。
     ストレージのマウント	データソースパスを直接マウントしてデータを読み取ったり、中間および最終結果ファイルを保存したりします。 サポートされているデータソースタイプ：OSS、汎用 NAS、Extreme NAS、および BMCPFS (Lingjun AI コンピューティングサービスリソースのみ)。 詳細設定：詳細設定を使用して、データソースの種類ごとに特定の機能を有効にします。 例： OSS：詳細設定で {"mountType":"ossfs"} を設定して、ossfs を使用して OSS ストレージをマウントします。 汎用 NAS および CPFS：詳細設定で nconnect パラメーターを設定して、PAI-DLC コンテナが NAS にアクセスする際のスループットを向上させます。詳細については、「Linux OS で NAS にアクセスする際のパフォーマンスが低い問題を解決するにはどうすればよいですか？」をご参照ください。例：{"nconnect":"<example_value>"}。 を正の整数に置き換えます。 詳細については、「DLC トレーニングジョブでクラウドストレージを使用する」をご参照ください。
     起動コマンド	ジョブの起動コマンドを設定します。シェルコマンドがサポートされています。PAI-DLC は、MASTER_ADDR や WORLD_SIZE などのPyTorch および TensorFlow の共通環境変数を自動的に挿入します。これらには $variable_name の形式でアクセスします。起動コマンドの例： Python の実行：python -c "print('Hello World')" PyTorch マルチノード、マルチ GPU 分散トレーニング：python -m torch.distributed.launch \ --nproc_per_node=2 \ --master_addr=${MASTER_ADDR} \ --master_port=${MASTER_PORT} \ --nnodes=${WORLD_SIZE} \ --node_rank=${RANK} \ train.py --epochs=100 シェルファイルパスを起動コマンドとして設定：/ml/input/config/launch.sh

     その他の設定を表示

     環境変数	自動的に挿入されるPyTorch および TensorFlow の共通環境変数に加えて、Key:Value 形式でカスタム環境変数を指定できます。最大 20 個の環境変数を設定できます。
     サードパーティライブラリ	コンテナイメージにサードパーティライブラリが不足している場合は、ここに追加します。次の 2 つの方法がサポートされています： リストから選択：以下のテキストボックスにサードパーティライブラリの名前を直接入力します。 Requirements.txt のディレクトリ: サードパーティライブラリを requirements.txt ファイルに書き込み、ファイルを PAI-DLC コンテナーにアップロードしてから、コンテナー内のファイルのパスをテキストボックスに指定します。
     コードビルド	トレーニングに必要なコードファイルを PAI-DLC コンテナにアップロードします。次の 2 つの方法がサポートされています： オンライン構成: Git コードリポジトリとアクセス権限がある場合は、コードソースを作成して、PAI-DLC がジョブコードにアクセスできるようにします。 ローカルアップロード: ボタンをクリックしてローカルコードファイルをアップロードします。アップロードが成功したら、[マウントパス] を /mnt/data などのコンテナー内の指定されたパスに設定します。

   • リソース情報

     パラメーター	説明
     リソースタイプ	デフォルト値は [汎用コンピューティング] です。中国 (ウランチャブ)、シンガポール、中国 (深セン)、中国 (北京)、中国 (上海)、および中国 (杭州) リージョンのみが [Lingjun AI コンピューティングサービス] を選択できます。
     ソース	パブリックリソース： 課金方法：従量課金。 ユースケース：パブリックリソースではキューイングが発生する可能性があります。ジョブ数が少なく、厳しい時間制約がないシナリオに推奨されます。 制限事項：サポートされる最大リソースは GPU カード 2 枚と CPU コア 8 個です。この制限を超えるには、ビジネス マネージャーにお問い合わせください。 リソースクォータ: 汎用コンピューティングまたは Lingjun AI コンピューティングサービスのリソースを含みます。 課金方法：サブスクリプション。 ユースケース：信頼性の高い実行が求められる多数のジョブがあるシナリオに適しています。 特別なパラメーター： リソースクォータ： GPU や CPU などのリソースの量を設定します。リソースクォータを準備するには、「リソースクォータを追加する」をご参照ください。 優先度: 同時実行ジョブの実行優先度を指定します。値は 1 から 9 の範囲で、1 が最も低い優先度です。 プリエンプティブルリソース： 課金方法：従量課金。 シナリオ：リソースコストを削減したい場合は、通常一定の割引が提供されるプリエンプティブルリソースを使用できます。 制限：安定した可用性は保証されません。リソースがすぐに確保できない場合や、回収される場合があります。詳細については、「プリエンプティブルジョブの使用」をご参照ください。
     フレームワーク	次の深層学習トレーニングフレームワークとツールをサポートしています：TensorFlow、PyTorch、ElasticBatch、XGBoost、OneFlow、MPIJob、および Ray。 説明 [リソースクォータ] に Lingjun AI Computing Service を選択した場合、TensorFlow、PyTorch、ElasticBatch、MPIJob、および Ray のジョブのみがサポートされます。
     ジョブ リソース	選択した [フレームワーク] に基づいて、Worker、PS、Chief、Evaluator、および GraphLearn ノードのリソースを設定します。 Ray フレームワークを選択した場合は、[ロールの追加] をクリックして Worker ロールをカスタマイズし、異種リソースの混合実行を可能にします。 パブリックリソースの使用：次のパラメーターを設定できます： ノード数: DLC ジョブを実行するノード数。 [リソース仕様]：リソース仕様を選択します。コンソールには対応する価格が表示されます。課金の詳細については、「DLC の課金」をご参照ください。 リソースクォータの使用：各ノードタイプのノード数、CPU (コア)、GPU (カード)、メモリ (GiB)、および共有メモリ (GiB) を設定します。また、次の特別なパラメーターも設定できます： 指定ノードでスケジュール：指定された計算ノードでジョブを実行します。 遊休リソース：遊休リソースを使用すると、他のクォータの遊休リソースでジョブを実行でき、リソースを効果的に活用できます。ただし、これらのリソースが元のクォータのジョブで必要になると、遊休リソースで実行されているジョブはプリエンプトされて終了し、リソースは元のクォータに返されます。詳細については、「遊休リソースの使用」をご参照ください。 CPU アフィニティ: CPU アフィニティを有効にすると、コンテナーまたは Pod 内のプロセスが特定の CPU コアにバインドされます。これにより、CPU キャッシュミスとコンテキストスイッチが削減され、CPU 使用率とアプリケーションのパフォーマンスが向上します。パフォーマンス重視およびリアルタイムのシナリオに適しています。 プリエンプティブルリソースの使用: ノード数とリソース仕様に加えて、[入札] パラメーターを設定します。これにより、最大入札額を設定することでプリエンプティブルインスタンスをリクエストできます。 ボタンをクリックして、入札方法を選択します: 割引率による：最大価格はリソース仕様の市場価格に基づいており、10% から 90% の割引の離散的なオプションがあり、入札の上限を表します。プリエンプティブルインスタンスの最大入札額が市場価格以上で、十分な在庫がある場合、インスタンスをリクエストできます。 価格による：最大入札額は市場価格の範囲内です。

     その他の設定を展開：最大実行時間、保持期間、フレームワークの詳細設定

     最大実行時間	ジョブの最大実行時間を設定します。この時間を超えたジョブは停止されます。デフォルトは 30 日です。
     保持期間	正常に完了したジョブまたは失敗したジョブの保持期間を設定します。ジョブの保持を有効にすると、リソースが継続的に占有されます。この期間を超えたジョブは削除されます。 重要 削除された DLC ジョブは回復できません。注意して操作してください。
     高度なフレームワーク設定	設定可能なパラメーターとその値の説明のリストについては、「詳細パラメーターリスト」をご参照ください。 パラメーター ReleaseResourcePolicy、EnableNvidiaIBGDA、EnableNvidiaGDRCopy、EnablePaiNUMACoreBinding、および EnableResourcePreCheck は、すべてのフレームワークでサポートされています。 フレームワークが PyTorch の場合、次のパラメーターを設定できます：createSvcForAllWorkers、customPortList、および customPortNumPerWorker。 重要 Lingjun AI コンピューティングサービスはカスタムポート機能を提供しないため、Lingjun AI コンピューティングサービスリソースで DLC ジョブを送信する場合、customPortNumPerWorker パラメーターはサポートされません。 フレームワークが Ray の場合、次のパラメーターを設定できます：RayRuntimeEnv、RayRedisAddress、RayRedisUsername、RayRedisPassword、RaySubmitterBackoffLimit、および RayObjectStoreMemoryBytes。環境変数とサードパーティライブラリ設定は、RayRuntimeEnv 設定によって上書きされることに注意してください。 次の設定形式がサポートされています： プレーンテキスト：key=value ペアのカンマ区切り文字列として設定する必要があります。キーはサポートされている詳細パラメーターで、値はそれに対応する設定です。 JSON 典型的な設定シナリオ： シナリオ 1：PyTorch の詳細設定 詳細設定パラメーターを使用して Worker 間のネットワーク通信を有効にし、より柔軟なトレーニング方法を実現します。たとえば、追加のオープンポートを使用して DLC コンテナ内で Ray などのフレームワークを起動し、PyTorch と連携してより高度な分散トレーニングを行います。設定例： createSvcForAllWorkers=true,customPortNumPerWorker=100 その後、[起動コマンド] で $JOB_NAME および $CUSTOM_PORTS 環境変数を使用してドメイン名と利用可能なポート番号を取得し、Ray のようなフレームワークを起動して接続できます。 シナリオ 2：Ray フレームワークの RayRuntimeEnv を手動で設定する (依存ライブラリと環境変数を含む) 設定例： {"RayRuntimeEnv": "{pip: requirements.txt, env_vars: {key: value}}"} シナリオ 3：カスタムリソースリリースルール 現在サポートされているリリース ポリシーは pod-exit のみで、Pod が終了すると自動的にリソースを解放します。設定例：json { "ReleaseResourcePolicy": "pod-exit" } { "ReleaseResourcePolicy": "pod-exit" }

   • VPC 設定

     • VPC を設定しない場合、パブリックネットワークとパブリックゲートウェイが使用されます。パブリックゲートウェイの帯域幅が限られているため、ジョブの実行中に速度低下や中断が発生します。

     • VPC を設定し、対応する vSwitch とセキュリティグループを選択すると、ネットワーク帯域幅、安定性、セキュリティが向上します。さらに、ジョブが実行されるクラスターはこの VPC 内のサービスに直接アクセスできます。

       重要

       • VPC を使用する場合、ジョブのリソースグループ、データセットストレージ (OSS)、およびコードリポジトリが同じリージョンにあり、それぞれの VPC が相互に通信できることを確認してください。

       • CPFS データセットを使用する場合、VPC を設定する必要があり、選択した VPC は CPFS で使用されているものと同じでなければなりません。そうしないと、送信された DLC トレーニングジョブはデータセットのマウントに失敗し、タイムアウトするまで 準備中 の状態のままになります。

       • Lingjun AI コンピューティングサービスのプリエンプティブルインスタンスで DLC ジョブを送信する場合、VPC を設定する必要があります。

       さらに、[パブリックネットワークアクセスゲートウェイ] を 2 つの方法で設定できます：

       • パブリックゲートウェイ: ネットワーク帯域幅が制限されているため、同時アクセス数が多い場合や large ファイルをダウンロードする際に、ネットワーク速度がお客様のニーズを満たせないことがあります。

       • 非公開ゲートウェイ：パブリックゲートウェイの帯域幅制限に対処するには、DLC の VPC にインターネット NAT Gateway を作成し、Elastic IP (EIP) をバインドし、SNAT エントリを設定します。詳細については、「非公開ゲートウェイを使用してパブリックネットワークのアクセス速度を向上させる」をご参照ください。

   • フォールトトレランスと診断

     パラメーター	説明
     自動耐障害性	[自動フォールトトレランス]スイッチをオンにし、パラメーターを設定します。システムはジョブ検出およびコントロール機能を提供し、ジョブのアルゴリズムレイヤーでエラーを迅速に検出して回避することで、GPU の使用率を向上させます。詳細については、「AIMaster: 弾力性のある自動フォールトトレランスエンジン」をご参照ください。 説明 自動フォールトトレランスを有効にすると、システムはジョブインスタンスと並行して実行される AIMaster インスタンスを起動し、計算リソースを消費します。AIMaster インスタンスのリソース使用量は次のとおりです： リソースクォータ：1 CPU コアと 1 GiB のメモリ。 パブリックリソース：ecs.c6.large 仕様を使用します。
     ヘルスチェック	[ヘルスチェック] を有効にすると、トレーニングに関わるリソースに対して包括的なチェックが実行されます。障害のあるノードを自動的に分離して自動化されたバックエンド O&M プロセスをトリガーすることで、ジョブトレーニングの初期段階で問題が発生する可能性を低減し、トレーニングの成功率を向上させます。詳細については、「SanityCheck: コンピューティング能力のヘルスチェック」をご参照ください。 説明 ヘルスチェックは、Lingjun AI コンピューティングサービスのリソースクォータで送信され、GPU 数が 0 より大きい PyTorch トレーニングジョブでのみサポートされます。

   • ロールと権限

     以下では、インスタンス RAM ロールの設定方法について説明します。この機能の詳細については、「DLC RAM ロールの設定」をご参照ください。

     インスタンス RAM ロール	説明
     PAI のデフォルトロール	AliyunPAIDLCDefaultRole サービスリンクロールを使用します。これは ODPS と OSS への詳細な権限のみを持ちます。PAI のデフォルトロールに基づいて発行される一時的なアクセス認証情報には、次の権限があります： MaxCompute テーブルにアクセスする場合、DLC インスタンス所有者と同等の権限を持ちます。 OSS にアクセスする場合、現在のワークスペースに設定されているデフォルトの OSS バケットにのみアクセスできます。
     カスタムロール	カスタム RAM ロールを選択または入力します。インスタンス内で STS 一時認証情報を使用してクラウドプロダクトにアクセスする場合、権限はこのカスタムロールの権限と一致します。
     ロールを関連付けない	DLC ジョブに RAM ロールを関連付けません。これがデフォルトのオプションです。

パラメーターを設定した後、[OK] をクリックします。

• ジョブの基本情報、リソースビュー、および操作ログを表示します。詳細については、「トレーニング詳細の表示」をご参照ください。

• ジョブのクローン、停止、削除などのジョブ管理を行います。詳細については、「トレーニングジョブの管理」をご参照ください。

• TensorBoard を介して分析レポートを表示します。詳細については、「可視化ツール Tensorboard」をご参照ください。

• ジョブのモニタリングとアラートを設定します。詳細については、「トレーニングのモニタリングとアラート」をご参照ください。

• ジョブ実行の請求書を表示します。詳細については、「請求詳細」をご参照ください。

• 現在のワークスペースから指定された SLS Logstore に DLC ジョブのログを転送し、カスタム分析を行います。詳細については、「タスクログのサブスクライブ」をご参照ください。

• PAI ワークスペースのイベントセンターで通知ルールを作成し、DLC ジョブのステータスを追跡および監視します。詳細については、「通知」をご参照ください。

• DLC ジョブ実行中の潜在的な問題とその解決策については、「DLC よくある質問」をご参照ください。

• DLC のユースケースについては、「DLC ユースケース」をご参照ください。

SDK またはコマンドラインを使用したジョブの作成

pip install alibabacloud_credentials

#!/usr/bin/env python3

from __future__ import print_function

import json
import time

from alibabacloud_tea_openapi.models import Config
from alibabacloud_credentials.client import Client as CredClient
from alibabacloud_pai_dlc20201203.client import Client as DLCClient
from alibabacloud_pai_dlc20201203.models import (
    ListJobsRequest,
    ListEcsSpecsRequest,
    CreateJobRequest,
    GetJobRequest,
)

from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
from alibabacloud_aiworkspace20210204.models import (
    ListWorkspacesRequest,
    CreateDatasetRequest,
    ListDatasetsRequest,
    ListImagesRequest,
    ListCodeSourcesRequest
)


def create_nas_dataset(client, region, workspace_id, name,
                       nas_id, nas_path, mount_path):
    '''NAS データセットを作成します。
    '''
    response = client.create_dataset(CreateDatasetRequest(
        workspace_id=workspace_id,
        name=name,
        data_type='COMMON',
        data_source_type='NAS',
        property='DIRECTORY',
        uri=f'nas://{nas_id}.{region}{nas_path}',
        accessibility='PRIVATE',
        source_type='USER',
        options=json.dumps({
            'mountPath': mount_path
        })
    ))
    return response.body.dataset_id


def create_oss_dataset(client, region, workspace_id, name,
                       oss_bucket, oss_endpoint, oss_path, mount_path):
    '''OSS データセットを作成します。
    '''
    response = client.create_dataset(CreateDatasetRequest(
        workspace_id=workspace_id,
        name=name,
        data_type='COMMON',
        data_source_type='OSS',
        property='DIRECTORY',
        uri=f'oss://{oss_bucket}.{oss_endpoint}{oss_path}',
        accessibility='PRIVATE',
        source_type='USER',
        options=json.dumps({
            'mountPath': mount_path
        })
    ))
    return response.body.dataset_id



def wait_for_job_to_terminate(client, job_id):
    while True:
        job = client.get_job(job_id, GetJobRequest()).body
        print('job({}) is {}'.format(job_id, job.status))
        if job.status in ('Succeeded', 'Failed', 'Stopped'):
            return job.status
        time.sleep(5)
    return None


def main():

    # Alibaba Cloud アカウントが DLC への権限を付与されており、十分な権限を持っていることを確認してください。
    region_id = 'cn-hangzhou'
    # Alibaba Cloud アカウントの AccessKey は、すべての API にアクセスする権限を持っています。API アクセスや日常の O&M には RAM ユーザーを使用することを推奨します。
    # AccessKey ID と AccessKey Secret をプロジェクトコードに保存しないことを強く推奨します。これにより、AccessKey が漏洩し、アカウント内のすべてのリソースのセキュリティが脅かされる可能性があります。
    # この例では、Credentials SDK を使用して環境変数から AccessKey を読み取り、ID 検証を行う方法を示します。
    cred = CredClient()

    # 1. クライアントを作成します。
    workspace_client = AIWorkspaceClient(
        config=Config(
            credential=cred,
            region_id=region_id,
            endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
        )
    )

    dlc_client = DLCClient(
         config=Config(
            credential=cred,
            region_id=region_id,
            endpoint='pai-dlc.{}.aliyuncs.com'.format(region_id),
         )
    )

    print('------- Workspaces -----------')
    # ワークスペースのリストを取得します。workspace_name パラメーターに作成したワークスペースの名前を入力することもできます。
    workspaces = workspace_client.list_workspaces(ListWorkspacesRequest(
        page_number=1, page_size=1, workspace_name='',
        module_list='PAI'
    ))
    for workspace in workspaces.body.workspaces:
        print(workspace.workspace_name, workspace.workspace_id,
              workspace.status, workspace.creator)

    if len(workspaces.body.workspaces) == 0:
        raise RuntimeError('found no workspaces')

    workspace_id = workspaces.body.workspaces[0].workspace_id

    print('------- Images ------------')
    # イメージのリストを取得します。
    images = workspace_client.list_images(ListImagesRequest(
        labels=','.join(['system.supported.dlc=true',
                         'system.framework=Tensorflow 1.15',
                         'system.pythonVersion=3.6',
                         'system.chipType=CPU'])))
    for image in images.body.images:
        print(json.dumps(image.to_map(), indent=2))

    image_uri = images.body.images[0].image_uri

    print('------- Datasets ----------')
    # データセットを取得します。
    datasets = workspace_client.list_datasets(ListDatasetsRequest(
        workspace_id=workspace_id,
        name='example-nas-data', properties='DIRECTORY'))
    for dataset in datasets.body.datasets:
        print(dataset.name, dataset.dataset_id, dataset.uri, dataset.options)

    if len(datasets.body.datasets) == 0:
        # 現在のデータセットが存在しない場合は、データセットを作成します。
        dataset_id = create_nas_dataset(
            client=workspace_client,
            region=region_id,
            workspace_id=workspace_id,
            name='example-nas-data',
            # NAS ファイルシステム ID。
            # 汎用 NAS：31a8e4****。
            # Extreme NAS：extreme- で始まる必要があります (例：extreme-0015****)。
            # CPFS：cpfs- で始まる必要があります (例：cpfs-125487****)。
            nas_id='***',
            nas_path='/',
            mount_path='/mnt/data/nas')
        print('create dataset with id: {}'.format(dataset_id))
    else:
        dataset_id = datasets.body.datasets[0].dataset_id

    print('------- Code Sources ----------')
    # コードソースのリストを取得します。
    code_sources = workspace_client.list_code_sources(ListCodeSourcesRequest(
        workspace_id=workspace_id))
    for code_source in code_sources.body.code_sources:
        print(code_source.display_name, code_source.code_source_id, code_source.code_repo)

    print('-------- ECS SPECS ----------')
    # DLC のノード仕様のリストを取得します。
    ecs_specs = dlc_client.list_ecs_specs(ListEcsSpecsRequest(page_size=100, sort_by='Memory', order='asc'))
    for spec in ecs_specs.body.ecs_specs:
        print(spec.instance_type, spec.cpu, spec.memory, spec.memory, spec.gpu_type)

    print('-------- Create Job ----------')
    # DLC ジョブを作成します。
    create_job_resp = dlc_client.create_job(CreateJobRequest().from_map({
        'WorkspaceId': workspace_id,
        'DisplayName': 'sample-dlc-job',
        'JobType': 'TFJob',
        'JobSpecs': [
            {
                "Type": "Worker",
                "Image": image_uri,
                "PodCount": 1,
                "EcsSpec": ecs_specs.body.ecs_specs[0].instance_type,
            },
        ],
        "UserCommand": "echo 'Hello World' && ls -R /mnt/data/ && sleep 30 && echo 'DONE'",
        'DataSources': [
            {
                "DataSourceId": dataset_id,
            },
        ],
    }))
    job_id = create_job_resp.body.job_id

    wait_for_job_to_terminate(dlc_client, job_id)

    print('-------- List Jobs ----------')
    # DLC ジョブのリストを取得します。
    jobs = dlc_client.list_jobs(ListJobsRequest(
        workspace_id=workspace_id,
        page_number=1,
        page_size=10,
    ))
    for job in jobs.body.jobs:
        print(job.display_name, job.job_id, job.workspace_name,
              job.status, job.job_type)
    pass


if __name__ == '__main__':
    main()

詳細パラメーターリスト

{
  "RayObjectStoreMemoryBytes": "1073741824"
}