容器服务 Kubernetes 版 ACK：使用OSS静态存储卷

注意事项

• OSS不支持动态创建PV，也不建议跨账号使用。

• 容器服务Kubernetes集群升级会重启kubelet，ossfs驱动跟随一起重启，导致OSS目录不可用。此时使用OSS的Pod需要重建，可在YAML文件中增加健康检查的配置，在容器内OSS目录不可用时自动重启Pod，重新挂载OSS。

  说明

  如果您使用的是v1.18.8.45及以上版本的csi-plugin和csi-provisioner插件，则不会出现上述问题。

• 若您在应用模板中配置了securityContext.fsgroup参数，kubelet在存储卷挂载完成后会执行chmod或chown操作，导致挂载时间延长。

  说明

  若您已配置securityContext.fsgroup参数，且需要减少挂载时间，请参见OSS存储卷挂载时间延长。

• 通过ossfs进行ls等操作时，将发起HTTP请求到OSS获取文件的meta信息，如果ls的目标目录下文件较多（超过100,000个，该数值与机器内存大小相关），ossfs将消耗大量系统内存，可能导致Pod发生OOM（Out Of Memory）事件。您可以通过挂载OSS Bucket的子目录，或对文件较多的目录进行目录分级解决此问题。

• ossfs适用于并发读场景，建议您配置PVC和PV的访问模式为ReadOnlyMany。若需写入数据，建议您通过OSS SDK、ossutil工具等方式实现数据读写分离。具体操作，请参见OSS存储读写分离最佳实践。

  说明

  配置OSS存储卷的访问模式为ReadWriteMany，通过ossfs进行写操作时需要注意以下事项：

  • 在并发写场景中，ossfs无法保证数据写入的一致性。

  • 挂载状态下，登录应用Pod或宿主机，在挂载路径下删除或变更文件，都会直接删除或变更OSS Bucket中对应的源文件。您可以通过开启OSS Bucket的版本控制，避免误删除重要数据，请参见版本控制概述。

• 当传输的文件大于10 MB时，可以将文件切成碎片，分片上传。分片上传过程中断后，如您不再需要这些Part，可通过以下方式删除，以免产生额外存储费用。

  • 手动删除Part，请参见删除碎片。

  • 通过生命周期规则自动删除Part，请参见设置生命周期规则。

通过RRSA鉴权方式挂载

基于适用于服务账户的RAM角色（RAM Roles for Service Accounts，简称RRSA）功能，您可以在集群内实现PV维度的OpenAPI权限隔离，从而实现云资源访问权限的细粒度隔离，降低安全风险。更多RRSA的背景信息，请参见通过RRSA配置ServiceAccount的RAM权限实现Pod权限隔离。

（可选）步骤一：创建RAM角色

如果您在集群中首次使用RRSA功能，需要按照以下步骤操作，如果您已经在集群中使用过RRSA鉴权方式挂载OSS存储卷，则可以跳过本步骤。

1. 在容器服务管理控制台启用RRSA功能。具体操作，请参见通过RRSA配置ServiceAccount的RAM权限实现Pod权限隔离。

2. 为OSS存储卷RRSA鉴权新建RAM角色，即使用RRSA功能扮演的指定角色。

   创建可信实体类型为身份供应商的RAM角色，以demo-role-for-rrsa为例。

   1. 使用阿里云账号登录RAM控制台。

   2. 在左侧导航栏，选择身份管理 > 角色，然后在角色页面，单击创建角色。

   3. 在创建角色面板，选择可信实体类型为身份提供商，然后单击下一步。

   4. 在配置角色页面，配置如下角色信息后，单击完成。

      本示例配置如下。

      配置项	描述
      角色名称	demo-role-for-rrsa。
      备注	选填有关该角色的备注信息。
      身份提供商类型	OIDC。
      选择身份提供商	ack-rrsa-<cluster_id>。其中，<cluster_id>为您的集群ID。
      限制条件	oidc:iss：保持默认。 oidc:aud：选择sts.aliyuncs.com。 oidc:sub：条件判定方式选择StringEquals，此处需要填入system:serviceaccount:ack-csi-fuse:csi-fuse-ossfs。

步骤二：为demo-role-for-rrsa角色授权

1. 创建如下OSS访问的自定义权限策略。具体操作，请参见创建自定义权限策略。

   以下权限策略中，请替换mybucket为您实际创建的Bucket名称。

   • OSS只读权限策略

     展开查看OSS只读权限策略内容

     {
         "Statement": [
             {
                 "Action": [
                     "oss:Get*",
                     "oss:List*"
                 ],
                 "Effect": "Allow",
                 "Resource": [
                     "acs:oss:*:*:mybucket",
                     "acs:oss:*:*:mybucket/*"
                 ],
             }
         ],
         "Version": "1"
     }

   • OSS读写权限

     展开查看OSS读写权限策略内容

     {
         "Statement": [
             {
                 "Action": "oss:*",
                 "Effect": "Allow",
                 "Resource": [
                     "acs:oss:*:*:mybucket",
                     "acs:oss:*:*:mybucket/*"
                 ],
             }
         ],
         "Version": "1"
     }

2. （可选）若您使用KMS托管的指定CMK ID加密OSS Object，还需要为该RAM用户配置KMS权限。具体操作，请参见为OSS存储卷加密。

3. 为demo-role-for-rrsa角色授权。具体操作，请参见为RAM角色授权。

   说明

   您也可以通过修改RAM角色信任策略的方式使用已有的授权了OSS权限的RAM角色。具体操作，请参见使用已存在的RAM角色并授权。

步骤三：创建PV和PVC

1. 配置PV使用RRSA鉴权。

   1. 使用以下内容，创建配置RRSA权限认证的pv-rrsa.yaml示例文件。

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        name: pv-oss
        labels:    
          alicloud-pvname: pv-oss
      spec:
        capacity:
          storage: 5Gi
        accessModes:
          - ReadOnlyMany
        persistentVolumeReclaimPolicy: Retain
        csi:
          driver: ossplugin.csi.alibabacloud.com
          volumeHandle: pv-oss # 需要和PV名字一致。
          volumeAttributes:
            bucket: "oss"
            url: "oss-cn-hangzhou.aliyuncs.com"
            otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
            authType: "rrsa"
            roleName: "demo-role-for-rrsa"

      参数	描述
      name	PV的名称。
      labels	配置PV的标签。
      storage	OSS的可使用量。
      accessModes	配置访问模式，支持ReadOnlyMany和ReadWriteMany。 选择ReadOnlyMany时，ossfs将以只读模式挂载OSS Bucket。
      persistentVolumeReclaimPolicy	PV回收策略。
      driver	定义驱动类型。取值为ossplugin.csi.alibabacloud.com，表示使用OSS CSI插件。
      volumeHandle	配置PV的名称。
      bucket	需要挂载的OSS Bucket。
      url	挂载OSS的Endpoint。 挂载节点和Bucket相同地域，或已打通VPC网络时，请使用内网地址。 挂载节点和Bucket不同地域时，请使用外网地址。 不同访问端口的常见填写格式如下： 内网格式：http://oss-{{regionName}}-internal.aliyuncs.com或https://oss-{{regionName}}-internal.aliyuncs.com。 外网格式：http://oss-{{regionName}}.aliyuncs.com或https://oss-{{regionName}}.aliyuncs.com。 重要 实际Endpoint以OSS控制台Bucket概述页为准。 vpc100-oss-{{regionName}}.aliyuncs.com的内网访问端口格式已废弃，请及时切换。
      otherOpts	您可以为OSS存储卷输入定制化参数，格式为-o *** -o ***，例如-o umask=022 -o max_stat_cache_size=0 -o allow_other。 umask：用于更改ossfs读文件的权限。例如，设置umask=022后，ossfs文件的权限都会变更为755。通过SDK、OSS控制台等其他方式上传的文件在ossfs中默认权限均为640。因此，建议您在读写分离场景中配置umask权限。 max_stat_cache_size：用于指定文件元数据的缓存空间，可缓存多少个文件的元数据。元数据缓存可加快ls操作速度。但若通过OSS、SDK、控制台、ossutil等方式修改文件，可能会导致元数据未被及时更新。 allow_other：赋予计算机上其他用户访问挂载目录的权限，但不包含目录内的文件。 更多可选参数，请参见ossfs挂载选项说明。
      path	表示挂载时相对Bucket根文件的目录结构，默认为/（v1.14.8.32-c77e277b-aliyun及之后版本支持）。 ossfs 1.91版本前，该路径需在OSS侧预先创建，详情请参考ossfs 1.91及以上版本新功能介绍及性能压测。
      authType	配置为rrsa，声明使用RRSA方式鉴权。
      roleName	配置为以上（可选）步骤一：创建RAM角色中已创建或修改的RAM角色名称。若您需要为不同的PV配置不同的权限，可以创建不同的RAM角色，在PV中配置不同的roleName。

      说明

      如果您需要在RRSA鉴权方式中使用指定的ARNs或ServiceAccount，相关操作，请参见如何在RRSA鉴权方式中使用指定的ARNs或ServiceAccount？。

   2. 执行以下命令，在PV中配置RRSA进行权限认证。

      kubectl create -f pv-rrsa.yaml

2. 执行以下命令创建静态卷PVC。

   kubectl create -f pvc-oss.yaml

   以下为创建静态卷PVC的pvc-oss.yaml示例文件。

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss

   参数	说明
   name	PVC的名称。
   accessModes	配置访问模式，支持ReadOnlyMany和ReadWriteMany。 选择ReadOnlyMany时，ossfs将以只读模式挂载OSS Bucket。
   storage	声明应用使用量，不能大于存储卷的总量。
   alicloud-pvname	通过标签关联PV，与PV标签保持一致。

   在集群管理页左侧导航栏选择存储 > 存储声明，在存储声明页面可以看到创建的PVC。

步骤四：创建应用

创建一个名为oss-static的应用并挂载PVC。

执行以下命令创建oss-static.yaml。

kubectl create -f oss-static.yaml

以下为创建应用oss-static.yaml示例文件。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: oss-static
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
        volumeMounts:
          - name: pvc-oss
            mountPath: "/data"
          - name: pvc-oss
            mountPath: "/data1"
        livenessProbe:
          exec:
            command:
            - sh
            - -c
            - cd /data
          initialDelaySeconds: 30
          periodSeconds: 30
      volumes:
        - name: pvc-oss
          persistentVolumeClaim:
            claimName: pvc-oss

• livenessProbe：配置健康检查。更多信息，请参见OSS存储卷概述。

• mountPath：OSS在容器中挂载的位置。

• claimName：PVC的名称，用于绑定PVC。

通过RAM用户AccessKey鉴权方式挂载

kubectl create -f oss-static.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: oss-static
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
        volumeMounts:
          - name: pvc-oss
            mountPath: "/data"
          - name: pvc-oss
            mountPath: "/data1"
        livenessProbe:
          exec:
            command:
            - sh
            - -c
            - cd /data
          initialDelaySeconds: 30
          periodSeconds: 30
      volumes:
        - name: pvc-oss
          persistentVolumeClaim:
            claimName: pvc-oss

验证OSS的持久化存储和共享存储

1. 查看部署oss-static应用的Pod和OSS文件。

   1. 执行以下命令，查看部署的oss-static应用所在Pod的名称。

      kubectl get pod

      预期输出：

      NAME                             READY   STATUS    RESTARTS   AGE
      oss-static-66fbb85b67-d****      1/1     Running   0          1h
      oss-static-66fbb85b67-l****      1/1     Running   0          1h

   2. 创建tmpfile文件。

      • 若以ReadWriteMany方式挂载，执行以下命令，在/data路径下创建tmpfile文件。

        kubectl exec oss-static-66fbb85b67-d**** -- touch /data/tmpfile
        kubectl exec oss-static-66fbb85b67-l**** -- touch /data/tmpfile

      • 若以ReadOnlyMany方式挂载，可通过OSS控制台、cp（上传文件）等方式上传tmpfile文件至OSS Bucket对应路径。

2. 执行以下命令，查看oss-static-66fbb85b67-d****中/data路径，以及oss-static-66fbb85b67-l****中/data1下的文件。

   kubectl exec oss-static-66fbb85b67-d**** -- ls /data | grep tmpfile
   kubectl exec oss-static-66fbb85b67-l**** -- ls /data1 | grep tmpfile

   预期输出：

   tmpfile

   预期输出表明，两个Pod的挂载路径下均存在此文件，说明两个Pod共享数据。

   说明

   若您无法看到预期输出，请确认CSI组件版本为v1.20.7及以上版本。更多信息，请参见csi-plugin。

3. 执行以下命令，删除名称为oss-static-66fbb85b67-d****的Pod。

   kubectl delete pod oss-static-66fbb85b67-d****

   预期输出：

   pod "oss-static-66fbb85b67-d****" deleted

4. 验证Pod删除后，存储空间里创建的文件是否还存在。

   1. 执行以下命令，查看重建的Pod名称。

      kubectl get pod

      预期输出：

      NAME                             READY   STATUS    RESTARTS   AGE
      oss-static-66fbb85b67-l****      1/1     Running   0          1h
      oss-static-66fbb85b67-z****      1/1     Running   0          40s

   2. 执行以下命令，查看/data路径下的文件。

      kubectl exec oss-static-66fbb85b67-z**** -- ls /data | grep tmpfile

      预期输出：

      tmpfile

      预期输出表明，temfile文件仍然存在，说明OSS的数据可持久化保存。