使用 BatchCompute-cli 命令列工具,您可以快速提交作業,可以很方便的管理作業和叢集。
說明:本工具只在 Python 2.7, 3.4, 3.5 版本測試通過,其他Python版本慎用。
安裝
pip install batchcompute-cli
# 如果以前安裝過,使用以下命令升級
pip install -U batchcompute-cli
遇到許可權問題,請在前面加sudo安裝。
如果還沒有pip命令,請先自行安裝。 這裡舉例ubuntu下的安裝方法:
sudo apt-get update
sudo apt-get install Python-pip
設定網路環境
命令列工具支援阿里雲內網訪問批次運算服務,在命令登入之前設定網路環境即可;注意:使用內網訪問批次運算服務不支援跨region訪問,例如當前機器在北京 region,那麼只能通過內網訪問北京 region的批次運算服務不支援訪問其他 region 的批次運算服務,預設是通過公網的形式訪問批次運算服務。設定內網訪問批次運算命令格式如下:
bcs set --networktype VPC
登入
bcs login cn-shenzhen <access_key_id> <access_key_secret>
或者
bcs login cn-shenzhen # 斷行符號
input access_key_id: # 請輸入access_key_id
input access_key_secret: # 請輸入access_key_secret
其中 access_key_id 和 access_key_secret 是您的AccessKey,可以到AccessKey管理頁面擷取。
請查看 支援的地區。
配置OSS目錄
本工具需要配置一個OSS目錄,用來將儲存上傳的使用者程式,作業日誌等。
請先建立一個bucket(注意,region要與登入的region保持一致,如:cn-shenzhen), 如:mybucket-shenzhen,並且在該bucket下建立一個目錄,如:cli。
bcs set --osspath oss://mybucket-shenzhen/cli/
預設鏡像(Image)和預設執行個體類型(InstanceType)
本工具1.3.0以上版本,必須手動設定預設鏡像和預設執行個體類型。
預設鏡像和預設執行個體類型的作用:
在建立叢集或提交作業時,如果不顯式指定Image或InstanceType,則使用預設的Image或InstanceType。
如何設定:
bcs i #查看可用的image
bcs set --image img-ubuntu-vpc #配置預設的Image為 img-ubuntu-vpc
bcs t #查看可用的InstanceType
bcs set --type ecs.sn1ne.large #配置預設的InstanceType為 ecs.sn1ne.large (2核4GB)
:這裡配置的預設鏡像,可以為批次運算服務官方提供的鏡像資源ID(以img-開頭的),也可以為使用者自訂並共用給批次運算服務的ECS鏡像ID(以m-開頭的),推薦使用前者。
設定預設使用VPC
需要batchcompute-cli的1.5.5及以上版本。
bcs set --vpc_cidr_block 192.168.0.0/16
設定預設使用VPC的CIDR IP段,設定完成後,如果提交代碼和建立叢集時不指定vpc_cidr_block,則使用此預設的192.168.0.0/16配置。
查看協助(善用 -h)
每個命令都可以加 -h,查看用法等資訊。
bcs -h # 查看bcs命令協助
bcs job -h # 查看job命令協助
bcs sub -h # 查看submit命令協助
...
提交作業
關於如何提交作業。