全部產品
Search
文件中心

Batch Compute:準備工作

更新時間:Jul 06, 2024

使用 BatchCompute-cli 命令列工具,您可以快速提交作業,可以很方便的管理作業和叢集。

說明:本工具只在 Python 2.7, 3.4, 3.5 版本測試通過,其他Python版本慎用。

安裝

pip install batchcompute-cli

# 如果以前安裝過,使用以下命令升級
pip install -U batchcompute-cli
  • 遇到許可權問題,請在前面加sudo安裝。

  • 如果還沒有pip命令,請先自行安裝。 這裡舉例ubuntu下的安裝方法:

sudo apt-get update
sudo apt-get install Python-pip

設定網路環境

命令列工具支援阿里雲內網訪問批次運算服務,在命令登入之前設定網路環境即可;注意:使用內網訪問批次運算服務不支援跨region訪問,例如當前機器在北京 region,那麼只能通過內網訪問北京 region的批次運算服務不支援訪問其他 region 的批次運算服務,預設是通過公網的形式訪問批次運算服務。設定內網訪問批次運算命令格式如下:

bcs set --networktype VPC

登入

bcs login cn-shenzhen <access_key_id>  <access_key_secret>

或者

bcs login cn-shenzhen   # 斷行符號
input access_key_id:     # 請輸入access_key_id
input access_key_secret: # 請輸入access_key_secret

其中 access_key_id 和 access_key_secret 是您的AccessKey,可以到AccessKey管理頁面擷取。

請查看 支援的地區

配置OSS目錄

本工具需要配置一個OSS目錄,用來將儲存上傳的使用者程式,作業日誌等。

請先建立一個bucket(注意,region要與登入的region保持一致,如:cn-shenzhen), 如:mybucket-shenzhen,並且在該bucket下建立一個目錄,如:cli。

bcs set --osspath oss://mybucket-shenzhen/cli/

預設鏡像(Image)和預設執行個體類型(InstanceType)

本工具1.3.0以上版本,必須手動設定預設鏡像和預設執行個體類型。

  • 預設鏡像和預設執行個體類型的作用:

在建立叢集或提交作業時,如果不顯式指定Image或InstanceType,則使用預設的Image或InstanceType。

  • 如何設定:

bcs i    #查看可用的image
bcs set --image img-ubuntu-vpc   #配置預設的Image為 img-ubuntu-vpc
bcs t    #查看可用的InstanceType
bcs set --type ecs.sn1ne.large   #配置預設的InstanceType為 ecs.sn1ne.large (2核4GB)

這裡配置的預設鏡像,可以為批次運算服務官方提供的鏡像資源ID(以img-開頭的),也可以為使用者自訂並共用給批次運算服務的ECS鏡像ID(以m-開頭的),推薦使用前者。

設定預設使用VPC

需要batchcompute-cli的1.5.5及以上版本。

bcs set --vpc_cidr_block 192.168.0.0/16

設定預設使用VPC的CIDR IP段,設定完成後,如果提交代碼和建立叢集時不指定vpc_cidr_block,則使用此預設的192.168.0.0/16配置。

查看協助(善用 -h)

每個命令都可以加 -h,查看用法等資訊。

bcs -h      # 查看bcs命令協助
bcs job -h  # 查看job命令協助
bcs sub -h  # 查看submit命令協助
...

提交作業

關於如何提交作業