容器服务 Kubernetes 版 ACK：使用FUSE挂载点自愈功能

前提条件

• 已创建一个非ContainerOS操作系统的ACK Pro版集群或ACK Serverless集群Pro版，且集群版本为1.18及以上。具体操作，请参见创建ACK Pro版集群、创建ACK Serverless Pro集群。

• 已安装云原生AI套件并部署ack-fluid组件，且ack-fluid版本为1.0.9及以上。

  重要

  • 若您已安装开源Fluid，请卸载后再部署ack-fluid组件。

  • 未安装云原生AI套件：安装时开启Fluid数据加速。具体操作，请参见安装云原生AI套件。

  • 已安装云原生AI套件：在容器服务管理控制台的云原生AI套件页面部署ack-fluid。

• 已开通阿里云对象存储（OSS）服务，并创建存储空间（Bucket）。具体操作，请参见开通OSS服务和控制台创建存储空间。

• 已通过kubectl连接Kubernetes集群。具体操作，请参见通过kubectl工具连接集群。

功能概述

使用Fluid数据集（Dataset）的应用Pod通过FUSE文件系统访问分布式缓存系统中的数据，每一个FUSE文件系统对应一个FUSE守护进程（Daemon），该进程负责处理FUSE文件系统上的任何文件访问请求。

在应用Pod的生命周期内，FUSE守护进程可能会因为异常情况（例如：内存使用超出上限被杀死）崩溃，导致应用Pod访问文件时出现“端点未连接”（“Transport Endpoint is Not Connected”）错误。为了解决此类错误，通常需要手动重启应用容器或重建应用Pod以恢复FUSE文件系统的访问。

Fluid支持FUSE文件系统挂载点的自愈功能。通过周期性查询节点各应用Pod挂载的FUSE文件系统状态，Fluid支持在不重启应用容器和不重建应用Pod的前提下，恢复应用Pod内的文件访问。

使用限制

• 该功能涉及的自愈过程存在一定的延迟，不支持对业务应用的无感自愈。业务应用需要容忍文件访问失败的情况，并持续重试直至自愈完成。

• 该功能仅支持与只读类型的数据集共同使用，如果集群中包含任意可读写的数据集，必须确保该功能处于关闭状态，以避免预期外的数据写入问题。

• 该功能不支持应用Pod通过subPath方式挂载数据集对应的存储卷声明（PVC）。

• FUSE挂载点自愈操作必须在FUSE守护进程自动重启后执行，由于FUSE守护进程运行在容器中，当FUSE守护进程频繁崩溃时，Kubernetes重启该容器的间隔时间将会指数级增长，这将影响到FUSE挂载点自愈的恢复时间。

在ACK集群环境中使用FUSE自愈功能

步骤一：开启FUSE挂载点自愈（Feature Gate）

使用以下命令开启FUSE挂载点自愈功能：

kubectl get ds -n fluid-system csi-nodeplugin-fluid -oyaml | sed 's/FuseRecovery=false/FuseRecovery=true/g' | kubectl apply -f -

预期输出如下：

daemonset.apps/csi-nodeplugin-fluid configured

执行以下命令查看FUSE挂载点自愈门控是否已经正常开启：

kubectl get ds -n fluid-system csi-nodeplugin-fluid -oyaml | grep '\- \-\-feature-gates='

如果输出如下结果，则表示FUSE挂载点自愈门控已经成功开启：

- --feature-gates=FuseRecovery=true

步骤二：创建Fluid数据集

本文以加速OSS对象存储中的文件为例，部署JindoFS缓存系统。

1. 使用以下内容，创建secret.yaml文件

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
stringData:
  fs.oss.accessKeyId: <YOUR_ACCESS_KEY_ID>
  fs.oss.accessKeySecret: <YOUR_ACCESS_KEY_SECRET>

其中，fs.oss.accessKeyId和fs.oss.accessKeySecret是用来访问OSS的AccessKey ID和AccessKey Secret。

2. 执行以下命令，创建Secret。

kubectl create -f secret.yaml

3. 使用以下内容，创建dataset.yaml文件。

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: demo-dataset
spec:
  mounts:
    - mountPoint: oss://<oss_bucket>/<bucket_dir>
      options:
        fs.oss.endpoint: <oss_endpoint>
      name: mybucket
      path: "/"
      encryptOptions:
        - name: fs.oss.accessKeyId
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: fs.oss.accessKeyId
        - name: fs.oss.accessKeySecret
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: fs.oss.accessKeySecret
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: demo-dataset
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        volumeType: emptyDir
        quota: 2Gi
        high: "0.99"
        low: "0.95"

4. 执行以下命令，创建Dataset和JindoRuntime资源。

kubectl create -f dataset.yaml

步骤三：创建应用Pod挂载Fluid数据集

本文以一个Nginx容器为例，尝试挂载Fluid数据集并访问其中的文件数据。

1. 使用以下内容，创建app.yaml文件。

apiVersion: v1
kind: Pod
metadata:
  name: demo-app
  labels:
    fuse.serverful.fluid.io/inject: "true"
spec:
  containers:
    - name: demo
      image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
      volumeMounts:
        - mountPath: /data
          name: data-vol
  volumes:
    - name: data-vol
      persistentVolumeClaim:
        claimName: demo-dataset   # 与Dataset资源名称一致

其中fuse.serverful.fluid.io/inject=true的标签用于为该Pod启用FUSE挂载点自愈能力。

2. 执行以下命令，创建应用容器。

kubectl create -f app.yaml

3. 执行以下命令，查看应用容器状态。

kubectl get pod demo-app

如果看到容器STATUS字段已经进入Running状态，则说明应用容器已经成功启动。

NAME       READY   STATUS    RESTARTS   AGE
demo-app   1/1     Running   0          16s

步骤四：验证FUSE挂载点自愈功能

1. 执行以下命令，登录到应用容器中并执行周期性访问文件元信息的脚本，该脚本会每隔1秒钟列举挂载的Fluid数据集中的文件。

kubectl exec -it demo-app -- bash -c 'while true; do ls -l /data; sleep 1; done'

2. 保持上述脚本后台运行，执行以下命令，模拟FUSE组件异常崩溃的情况。

# 获取demo-pod所在节点
demo_pod_node_name=$(kubectl get pod demo-app -ojsonpath='{.spec.nodeName}')
# 获取与demo-pod相同节点的FUSE Pod名字
fuse_pod_name=$(kubectl get pod --field-selector spec.nodeName=$demo_pod_node_name --selector role=jindofs-fuse,release=demo-dataset -oname)
# 模拟FUSE Pod异常崩溃场景
kubectl exec -it $fuse_pod_name -- bash -c 'kill 1'

3. 查看demo-app中执行的脚本输出结果，如果观察到类似如下结果，则说明FUSE挂载点成功自愈。

...
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
ls: cannot access '/data/': Transport endpoint is not connected
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
...

在Serverless环境中使用FUSE自愈功能

步骤一：创建Fluid数据集

本文以加速OSS对象存储中的文件为例，部署JindoFS缓存系统。

1. 使用以下内容，创建secret.yaml文件

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
stringData:
  fs.oss.accessKeyId: <YOUR_ACCESS_KEY_ID>
  fs.oss.accessKeySecret: <YOUR_ACCESS_KEY_SECRET>

其中，fs.oss.accessKeyId和fs.oss.accessKeySecret是用来访问OSS的AccessKey ID和AccessKey Secret。

2. 执行以下命令，创建Secret。

kubectl create -f secret.yaml

3. 使用以下内容，创建dataset.yaml文件。

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: demo-dataset
spec:
  mounts:
    - mountPoint: oss://<oss_bucket>/<bucket_dir>
      options:
        fs.oss.endpoint: <oss_endpoint>
      name: mybucket
      path: "/"
      encryptOptions:
        - name: fs.oss.accessKeyId
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: fs.oss.accessKeyId
        - name: fs.oss.accessKeySecret
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: fs.oss.accessKeySecret
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: demo-dataset
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        volumeType: emptyDir
        quota: 2Gi
        high: "0.99"
        low: "0.95"

4. 执行以下命令，创建Dataset和JindoRuntime资源。

kubectl create -f dataset.yaml

步骤二：创建应用Pod挂载Fluid数据集

本文以一个Nginx容器为例，尝试挂载Fluid数据集并访问其中的文件数据。

1. 使用以下内容，创建app.yaml文件。

apiVersion: v1
kind: Pod
metadata:
  name: demo-app
  labels:
    alibabacloud.com/fluid-sidecar-target: eci
  annotations:
    # 禁用虚拟节点调度功能。
    alibabacloud.com/burst-resource: eci_only
    # 开启FUSE挂载点自愈功能
    alibabacloud.com/fuse-recover-policy: auto
spec:
  containers:
    - name: demo
      image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
      volumeMounts:
        - mountPath: /data
          name: data-vol
  volumes:
    - name: data-vol
      persistentVolumeClaim:
        claimName: demo-dataset  # 与Dataset资源名称一致

其中alibabacloud.com/fuse-recover-policy=auto的注解用于为该Pod启用FUSE挂载点自愈能力，该注解仅对运行于Serverless环境的应用Pod生效。

2. 执行以下命令，创建应用Pod。

kubectl create -f app.yaml

3. 执行以下命令，查看应用容器状态。

kubectl get pod demo-app

如果看到容器STATUS字段已经进入Running状态，则说明应用容器已经成功启动。

NAME       READY   STATUS    RESTARTS   AGE
demo-app   2/2     Running   0          110s

步骤三：验证FUSE挂载点自愈功能

1. 执行以下命令，登录到应用容器中并执行周期性访问文件元信息的脚本，该脚本会每隔1秒钟列举挂载的Fluid数据集中的文件。

kubectl exec -it demo-app -c demo -- bash -c 'while true; do ls -l /data; sleep 1; done'

2. 保持上述脚本后台运行，执行以下命令，模拟FUSE组件异常崩溃的情况。

# 模拟FUSE Pod异常崩溃场景
kubectl exec -it demo-app -c fluid-fuse-0 -- bash -c 'kill 1'

3. 查看demo-app中执行的脚本输出结果，如果观察到类似如下结果，则说明FUSE挂载点成功自愈。

total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
ls: cannot access '/data/demo2': Transport endpoint is not connected
ls: cannot access '/data/demo2': Transport endpoint is not connected
ls: cannot access '/data/demo2': Transport endpoint is not connected
ls: cannot access '/data/demo2': Transport endpoint is not connected
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt
total 172
-rwxrwxr-x 1 root root          18 Jul  1 15:17 myfile
-rwxrwxr-x 1 root root         154 Jul  1 17:06 myfile.txt