:カスタムイメージからcgroup v2ノードを作成する

背景情報

CGroup

Kubernetes 1.18はcgroup v2をAlphaに、Kubernetes 1.22はcgroup v2をBetaに、Kubernetes 1.25はcgroup v2をGA (general availability) にします。 詳細については、「cgroup v2について」をご参照ください。

ack-image-builder

ack-image-builderは、Alibaba Cloudが提供するイメージビルドツールです。 ack-image-builderは、イメージ構築の自動化に役立ちます。 ack-image-builderを使用して、cgroup v2のOSイメージを構築し、そのイメージからACKクラスターにcgroup v2ノードを作成できます。 詳細については、「ack-image-builder」をご参照ください。

ack-image-builderは、オープンソースのHashiCorp Packerに基づいて開発されています。 HashiCorp Packerは、デフォルトの構成テンプレートと検証スクリプトを提供します。 詳細については、「HashiCorp Packer」をご参照ください。

制限事項

使用上の注意

Javaアプリケーションを使用する場合は、cgroup v2との互換性を確保するために、JDK 11.0.16またはJDK 15以降のバージョンを使用することを推奨します。 詳しくは、「JDK-8230305」をご参照ください。

前提条件

カスタムイメージ機能を使用するために、Quota Centerコンソールでアプリケーションを送信しました。

手順

ack-image-builderを使用してカスタムイメージを作成するには、次の手順を実行します。

1. Packerをインストールします。

   1. [Packerのインストール] ページに移動し、オペレーティングシステムに基づいてソフトウェアバージョンを選択し、Packerをインストールします。 Packerのインストール方法の詳細については、「Packerのインストール」をご参照ください。

   2. 次のコマンドを実行して、Packerのバージョンを表示します。

      packer version

      期待される出力:

      Packer v1.*.*

      上記の出力は、Packerがインストールされていることを示します。

2. 次のコマンドを実行して、cgroup v2設定テンプレートをダウンロードします。

   git clone https://github.com/AliyunContainerService/ack-image-builder.git
   cd ack-image-builder

3. cgroup v2ノードの作成に使用するカスタムイメージを作成します。

   1. 次のコマンドを実行して、AccessKeyペアをインポートします。 AccessKeyペアは、カスタムイメージを作成するときに一時的なリソースを作成するために使用されます。

      export ALICLOUD_ACCESS_KEY=XXXXXX
      export ALICLOUD_SECRET_KEY=XXXXXX

   2. 次のコマンドを実行して、カスタムイメージを作成します。

      packer build -var cgroup_mode=CGROUP_MODE_V2例 /ack-aliyunlinux3.json

      cgroup_modeパラメーターは、イメージのcgroupモードを指定します。 デフォルト値はCGROUP_MODE_V1です。 パラメーターをCGROUP_MODE_V2に設定して、cgroup v2モードを使用するカスタムイメージを作成します。

      クリックして詳細を表示

      salicloud-ecs output will be in this color.
      
      ==> alicloud-ecs: Prevalidating source region and copied regions...
      ==> alicloud-ecs: Prevalidating image name...
          alicloud-ecs: Found image ID: aliyun_3_x64_20G_alibase_20221102.vhd
      ==> alicloud-ecs: Creating temporary keypair: xxxxxx
      ==> alicloud-ecs: Creating vpc...
          alicloud-ecs: Created vpc: xxxxxx
      ==> alicloud-ecs: Creating vswitch...
          alicloud-ecs: Created vswitch: xxxxxx
      ==> alicloud-ecs: Creating security group...
          alicloud-ecs: Created security group: xxxxxx
      ==> alicloud-ecs: Creating instance...
          alicloud-ecs: Created instance: xxxxxx
      ==> alicloud-ecs: Allocating eip...
          alicloud-ecs: Allocated eip: xxxxxx
          alicloud-ecs: Attach keypair xxxxxx to instance: xxxxxx
      ==> alicloud-ecs: Starting instance: xxxxxx
      ==> alicloud-ecs: Using ssh communicator to connect: xx.xx.xx.xx
      ==> alicloud-ecs: Waiting for SSH to become available...
      ==> alicloud-ecs: Connected to SSH!
      ......
      ==> alicloud-ecs: Provisioning with shell script: scripts/set-cgroupv2.sh
          alicloud-ecs: CGROUP_MODE_V2
          alicloud-ecs: set cgroup mode to CGROUP_MODE_V2
      ......
      ==> alicloud-ecs: Stopping instance: xxxxxx
      ==> alicloud-ecs: Waiting instance stopped: xxxxxx
      ==> alicloud-ecs: Creating image: test_image1564110199
          alicloud-ecs: Detach keypair xxxxxx from instance: xxxxxxx
      ==> alicloud-ecs: Cleaning up 'EIP'
      ==> alicloud-ecs: Cleaning up 'instance'
      ==> alicloud-ecs: Cleaning up 'security group'
      ==> alicloud-ecs: Cleaning up 'vSwitch'
      ==> alicloud-ecs: Cleaning up 'VPC'
      ==> alicloud-ecs: Deleting temporary keypair...
      Build 'alicloud-ecs' finished.
      
      ==> Builds finished. The artifacts of successful builds are:
      --> alicloud-ecs: Alicloud images were created:
      
      cn-hangzhou: m-xxxxxxxxxxxxxxxxx

      scripts/set-cgroupv2.shはcgroupのバージョンを示し、m-xxxxxxxxxxxxxxxxxはカスタムイメージのIDを示します。

4. カスタムイメージからACKクラスターを作成します。

   次の例は、ACK Proクラスターの作成方法を示しています。

   1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

   2. の右上隅にクラスターページをクリックします。Kubernetesクラスターの作成.

   3. On theマネージドKubernetesタブで、作成したカスタムイメージに基づいてクラスターを設定し、プロンプトに従ってクラスターの作成を完了します。

      必要に応じて、次のキーパラメーターを設定します。 パラメーターの詳細については、「ACK管理クラスターの作成」をご参照ください。

      1. クラスターパラメーターを設定したら、[次へ]: [ノードプールの設定] をクリックします。

      2. [ノードプールの設定] ウィザードページで、[詳細オプションの表示] をクリックします。 [カスタムイメージ] の横にある [カスタムイメージの選択] をクリックします。

      3. [カスタムイメージの選択] ダイアログボックスで、カスタムイメージを選択し、[使用] をクリックします。

      4. クラスターのその他の設定を完了します。

      カスタムイメージからクラスターが作成された後、クラスター内のノードはカスタムイメージを使用します。 スケーリング中にノードプールに追加された後続のノードも、このイメージを使用します。

5. クラスターノードにログインし、次のコマンドを実行してcgroupタイプを照会します。 ノードがcgroup v2を使用していることを確認します。

   df -T /sys/fs/cgroup

   期待される出力:

   Filesystem     Type    1K-blocks  Used Available Use% Mounted on
   cgroup2        cgroup2         0     0         0    - /sys/fs/cgroup

   出力は、ノードがcgroup v2を使用することを示します。

cgroup v2のシナリオを使用する

apiVersion: v1
kind: Pod
metadata:
  name: write-file-pod
spec:
  restartPolicy: Never
  containers:
    - name: dd-container
      image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/alinux3
      command:
      - bash
      - -c
      - "yum install -y sysstat; \ 
         echo '253:0 wbps=10485760' > /sys/fs/cgroup$(cat /proc/1/cgroup | awk -F ':' '{print $3}')/io.max; \
         dd if=/dev/zero of=/writefile bs=100M count=10 & iostat -dh 1 30;"
      securityContext:
        privileged: true
# "echo '253:0 wbps=10485760' > /sys/fs/cgroup/.../io.max" specifies the IOPS limit.
# "253:0" specifies the device ID of the disk. Replace it with the device ID of the disk that you write.
# "wbps" specifies the input upper limit of a disk. 10485760 is used in this example, which equals to 10MB/s.

# kubectl logs write-file-pod -f  
....
      tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn Device
    91.00         0.0k        10.8M       0.0k      10.8M vda

      tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn Device
    88.00         0.0k         9.6M       0.0k       9.6M vda