Container Service for Kubernetes：管理資料集

基於已有PVC建立

1. 登入AI營運控制台。具體操作，請參見訪問AI營運控制台。

2. 在AI營運控制台左側導覽列中，選擇資料集 > 資料集列表。

3. 單擊目標加速資料集名稱右側操作列下的一鍵加速。

   說明

   如果沒有建立其他資料類型，資料集列表頁面會預設展示當前叢集的所有PVC。

4. 在編輯資料集對話方塊中：

   • 輸入加速資料集名稱，選擇所屬Namespace。

   • 資料來源類型選中PVC，選擇資料來源，輸入子目錄名。

   • 配置runtime配置，runtime的name需與資料集的相同才能綁定成功。

     runtime配置的模板範例如下：

     apiVersion: data.fluid.io/v1alpha1
     kind: JindoRuntime
     metadata:
       name: fluid-imagenet
     spec:
       replicas: 4
       data:
         replicas: 1
       tieredstore:
         levels:
           - mediumtype: SSD
             path: /var/lib/docker/alluxio
             quota: 150Gi
             high: "0.99"
             low: "0.8"

5. 單擊執行，資料的狀態剛開始為NotReady，大約幾秒後會變為Ready。

基於OSS建立

步驟一：建立Secret

apiVersion: v1
kind: Secret
metadata:
  name: imagenet-oss-xxx
  namespace: default
type: kubernetes.io/basic-auth
stringData:
  username: <ACCESS_ID>
  password: <ACCESS_KEY>

執行以下命令建立Secret。

kubectl create -f oss_access_secret.yaml

步驟二：基於OSS建立加速資料集

1. 登入AI營運控制台。具體操作，請參見訪問AI營運控制台。

2. 在AI營運控制台左側導覽列中，選擇資料集 > 資料集列表。

3. 單擊添加。

4. 在建立資料集對話方塊中：

   1. 輸入資料集名稱，選擇所屬Namespace。

   2. 資料來源類型選中OSS，相關參數的輸入說明請參見下表。

      

      參數	樣本	說明
      名稱	oss-imagenet	可以自訂。
      Namespace	default	使用建立Secret操作中建立的namespace，請參見步驟一：建立Secret。
      資料來源	oss://my-dawnbench-v2/	無。
      子目錄名	mydawnbench-v2	可以自訂。
      endpoint	oss-xxx.aliyuncs.com	無。
      accessKeyId	secret：imagenet-oss-xxx secretKey：username	secret使用建立Secret操作中建立的name，請參見步驟一：建立Secret。 secretkey使用建立Secret操作中建立的username，請參見步驟一：建立Secret。
      accessKeySecret	secret：imagenet-oss-xxx secretKey：password	secret使用建立Secret操作中建立的name，請參見步驟一：建立Secret。 secretkey使用建立Secret操作中建立的password，請參見步驟一：建立Secret。

   3. 為了控制資料集建立在待訪問的節點上，執行以下命令添加節點親和性。

      aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB

   4. 設定runtime配置，runtime的name需與建立資料集名稱保持一致。

      runtime配置的模板範例如下：

      apiVersion: data.fluid.io/v1alpha1
      kind: JindoRuntime
      metadata:
        name: oss-imagenet
      spec:
        replicas: 2
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: '0.99'
              low: '0.8'

5. 單擊儲存後，資料的狀態剛開始為NotReady，過幾秒後狀態會變為Ready。

基於外部儲存建立

1. 登入AI營運控制台。具體操作，請參見訪問AI營運控制台。

2. 在AI營運控制台左側導覽列中，選擇資料集 > 資料集列表。

3. 單擊建立。

4. 在建立資料集對話方塊中：

   • 輸入資料集名稱，選擇所屬Namespace。

   • 資料來源類型選中其他，輸入資料來源和子目錄名。

   • 配置runtime配置，runtime的name需與建立資料集名稱保持一致。

     runtime配置的模板範例如下：

     apiVersion: data.fluid.io/v1alpha1
     kind: JindoRuntime
     metadata:
       name: fluid-imagenet
     spec:
       replicas: 4
       data:
         replicas: 1
       tieredstore:
         levels:
           - mediumtype: SSD
             path: /var/lib/docker/alluxio
             quota: 150Gi
             high: "0.99"
             low: "0.8"

5. 單擊執行後，資料的狀態剛開始為NotReady，等待幾秒後狀態會變為Ready。