:名前空間間でデータセットを共有する

shareという名前の名前空間を作成します。 次の例では、共有データセットとランタイムオブジェクトがこの名前空間で作成されます。

kubectl create ns share

次のコマンドを実行して、Object Storage Service (OSS) バケットへのアクセスに使用されるAccessKeyペアを保存するシークレットを作成します。

kubectl apply -f-<<EOF                                            
apiVersion: v1
kind: Secret
metadata:
  name: dataset-secret
  namespace: share
stringData:
  fs.oss.accessKeyId: <YourAccessKey ID>
  fs.oss.accessKeySecret: <YourAccessKey Secret>
EOF                                         

上記のコードでは、fs.oss.accessKeyIdパラメーターはAccessKey IDを指定し、fs.oss.accessKeySecretパラメーターはAccessKey secretを指定します。 AccessKeyペアを取得する方法の詳細については、「AccessKeyペアの取得」をご参照ください。

shared-dataset.yamlという名前のファイルを作成し、次の内容をファイルにコピーします。 このファイルは、データセットとJindoRuntimeを作成するために使用されます。 データセットとJindoRuntimeを設定する方法の詳細については、「Use JindoFS to accelerate access to OSS」をご参照ください。

# Create a dataset that describes the dataset stored in the OSS bucket and the underlying file system (UFS). 
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: shared-dataset
  namespace: share
spec:
  mounts:
  - mountPoint: oss://<oss_bucket>/<bucket_dir> # Replace the value with the path of the file that you want to share in the OSS bucket. 
    options:
      fs.oss.endpoint: <oss_endpoint> # Replace the value with the endpoint of the OSS bucket that you use. 
    name: hadoop
    path: "/"
    encryptOptions:
      - name: fs.oss.accessKeyId
        valueFrom:
          secretKeyRef:
            name: dataset-secret
            key: fs.oss.accessKeyId
      - name: fs.oss.accessKeySecret
        valueFrom:
          secretKeyRef:
            name: dataset-secret
            key: fs.oss.accessKeySecret

---
# Create a JindoRuntime to enable JindoFS for data caching in the cluster. 
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: shared-dataset
  namespace: share
spec:
  replicas: 1
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        quota: 4Gi
        high: "0.95"
        low: "0.7"

次のコマンドを実行して、データセットとJindoRuntimeを作成します。

kubectl apply -f shared-dataset.yaml

期待される出力:

dataset.data.fluid.io/shared-dataset created
jindoruntime.data.fluid.io/shared-dataset created

出力は、データセットとJindoRuntimeが作成されたことを示します。

数分待ってから次のコマンドを実行し、作成されたデータセットとJindoRuntimeを照会します。

kubectl get dataset,jindoruntime -nshare

期待される出力:

NAME                                   UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
dataset.data.fluid.io/shared-dataset   1.16GiB          0.00B    4.00GiB          0.0%                Bound   4m1s

NAME                                        MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
jindoruntime.data.fluid.io/shared-dataset   Ready          Ready          Ready        15m

出力は、データセットがJindoRuntimeに関連付けられていることを示します。

shareという名前の名前空間を作成します。 次の例では、共有データセットとランタイムオブジェクトがこの名前空間で作成されます。

kubectl create ns share

次のコマンドを実行して、OSSバケットへのアクセスに使用されるAccessKeyペアを保存するシークレットを作成します。

kubectl apply -f-<<EOF
apiVersion: v1
kind: 秘密
メタデータ:
  name: dataset-secret
  名前空間: 共有
タイプ: 不透明
stringData:
  token: <JUICEFS_VOLUME_TOKEN>
  access-key: <OSS_ACCESS_KEY>
  secret-key: <OSS_SECRET_KEY>
EOF 

上記のコードでは、access-keyパラメーターはAccessKey IDを指定し、secret-keyパラメーターはAccessKey secretを指定します。 AccessKeyペアを取得する方法の詳細については、「AccessKeyペアの取得」をご参照ください。

shared-dataset.yamlという名前のファイルを作成し、次の内容をファイルにコピーします。 このファイルは、データセットとJuiceFSRuntimeを作成するために使用されます。

# OSSバケットとUFSに保存されているデータセットを記述するデータセットを作成します。 
apiVersion: data.fluid.io/v1alpha 1
kind: データセット
メタデータ:
  name: shared-dataset
  名前空間: 共有
spec:
  accessModes: ["ReadOnlyMany"]
  sharedEncryptOptions:
  -name: アクセスキー
    valueFrom:
      secretKeyRef:
        name: dataset-secret
        キー: アクセスキー
  -name: secret-key
    valueFrom:
      secretKeyRef:
        name: dataset-secret
        key: secret-key
  -name: トークン
    valueFrom:
      secretKeyRef:
        name: dataset-secret
        キー: トークン
  mounts:
  -name: <JUICEFS_VOLUME_NAME>
    mountPoint: juicefs:///# ファイルシステムのマウントポイントはjuicefs:/// です。 
    options:
      bucket: https://<OSS_BUCKET_NAME>.oss-<REGION_ID>.aliyuncs.com# 値を使用するOSSバケットのエンドポイントに置き換えます。 例: https://mybucket.oss-cn-beijing-internal.aliyuncs.com 。
---
# JuiceFSRuntimeを作成して、クラスターでのデータキャッシュ用にJuiceFSを有効にします。 
apiVersion: data.fluid.io/v1alpha 1
種類: JuiceFSRuntime
メタデータ:
  name: shared-dataset
  名前空間: 共有
spec:
  replicas: 1
  tieredstore:
    レベル:
    -mediumtype: MEM
      パス: /dev/shm
      クォータ: 1Gi
      high: "0.95"
      low: "0.7" 

次のコマンドを実行して、データセットとJuiceFSRuntimeを作成します。

kubectl apply -f shared-dataset.yaml

期待される出力:

dataset.data.fluid.io/shared-dataset created
juicefsruntime.data.fluid.io/shared-dataset created 

出力は、データセットとJuiceFSRuntimeが作成されたことを示します。

数分待ってから次のコマンドを実行し、作成されたデータセットとJuiceFSRuntimeを照会します。

kubectl getデータセット、juicefsruntime -nshare

期待される出力:

名UFS合計サイズキャッシュキャッシュ容量キャッシュパーセント位相年齢
dataset.data.fluid.io/shared-dataset 2.32GiB 0.00B 4.00GiB 0.0% バインド3d16h

名前労働者フェーズヒューズフェーズ年齢
juicefsruntime.data.fluid.io/shared-dataset 3m50s