Alibaba Cloud Linux:SMCの使用

背景情報

2017年、IBMはLinux用のオープンソースSMC-Rを4.11し、これまで維持してきました。 SMC-Rの詳細については、「RFC 7609」をご参照ください。 Alibaba Cloud Linux 3は、Alibaba Cloud Elastic RDMA (eRDMA) を活用してクラウドにSMC-Rを実装します。 SMC-Rは、機能を失うことなくアプリケーションのTCPを透過的に置き換えることができ、すべてのユーザーがアクセスできる高性能のハードウェアソフトウェア共同設計ネットワークを提供します。

SMC-Rの共有メモリベースのデータ交換モデルは、RDMAによって提供されるアトミックメモリ操作に依存しています。 RDMAは、ネットワークノードがカーネルをバイパスしてリモートメモリに直接アクセスできるように、RDMAネットワークインターフェイスカード (RNIC) にプロトコルスタックを実装します。 従来のTCPネットワークと比較して、RDMAネットワークは、メモリ間のコピーを削減し、データ転送で消費するCPUリソースを削減して、低レイテンシ、高スループットの通信を提供します。 次の図は、TCP/IPスタックとRDMAスタックの違いを示しています。

RDMAは、データ集約型および計算集約型のシナリオで広く使用されており、高性能コンピューティング、機械学習、データセンター、大容量ストレージなどの複数の分野に適しています。

以前は、RDMAは特定のデータセンターのネットワークカードとスイッチと一緒にしか使用できませんでした。 その結果、RDMAの展開は複雑でした。 Alibaba Cloud eRDMAは、RDMAをクラウドにもたらします。 これにより、すべてのECS (Elastic Compute Service) ユーザーは、ネットワークカードやスイッチなどの基盤となる物理ネットワーク環境に対して複雑な設定を行う必要なく、RDMAを使用してデータを送信できます。

RDMAはInfiniBand (IB) 動詞インターフェイスに依存しており、従来のPortable Operating System Interface (POSIX) ソケットインターフェイスとは大きく異なります。 既存のソケットアプリケーションは、RDMAネットワークに移行する前に大幅に変換する必要があります。 RDMAを適用するには、高度な技術的専門知識が必要です。

eRDMAを活用し、より高いネットワークパフォーマンスを提供するために、Alibaba Cloud Linux 3は最適化されたSMC-Rを提供します。 最適化されたSMC-Rは、効率的な方法でRDMAを利用し、標準TCPアプリケーションと互換性があります。 これにより、変更なしでより多くのアプリケーションのパフォーマンスが向上します。

メリット

アーキテクチャ

シナリオ

SMC-Rを使用

1. ERIをサポートするECSインスタンスを作成します。

   SMC-RはRDMAに依存する。 SMC-Rを使用する前に、ERI機能をサポートするECSインスタンスを作成して、クラウドでRDMAを有効にする必要があります。 詳細については、「エンタープライズレベルのインスタンスでのeRDMAの設定」をご参照ください。

   重要

   Alibaba Cloud ERI eRDMAデバイスとSMCはIPv6アドレスをサポートしていません。 アプリケーションがIPv6を使用する場合、SMCはTCPにフォールバックします。

2. 次のコマンドを実行して、smcおよびsmc_diagカーネルモジュールをロードします。

   modprobe smc
   modprobe smc_diag 

   dmesgコマンドを実行して、カーネル関連のメッセージを表示できます。 カーネルモジュールが読み込まれると、次の情報が表示されます。

   smc: smc: load SMC module with reserve_mode
   NET: Registered protocol family 43
   smc: netns <netns ID> reserved ports [65500 ~ 65515] for eRDMA OOB
   smc: adding ib device erdma_0 with port count 1
   smc:    ib device erdma_0 port 1 has pnetid

   があります

   説明

   カーネルバージョン5.10.134-015以降では、SMC-RとeRDMAを組み合わせて使用するため、SMCモジュールのロード時に、ネット名前空間内のポート65500から65515までの16個のソケットポートを使用して、ERIにアクセスできます。 ポートを使用できない場合、SMCモジュールはロードできますが、ERI eRDMAデバイスは使用できません。 SMCモジュールがアンロードされると、使用済みのソケットポートが解放されます。

   • 次のコマンドを実行して、カーネルのバージョンを表示できます。

     uname -r

   • SMCモジュールのロード時にポートが使用できないため、ERI eRDMAデバイスが使用できない場合に表示される情報:

     smc: smc: load SMC module with reserve_mode
     NET: Registered protocol family 43
     warning: smc: netns <netns ID> reserved ports <Numbers of the ports that cannot be used> FAIL for eRDMA OOB 

     のFAIL

   • 次のコマンドを実行して、SMCモジュールをアンロードできます。

     rmmod smc_diag
     rmmod smc 

   • SMCモジュールのアンロード時に表示される情報:

     NET: Unregistered protocol family 43
     smc: removing ib device erdma_0
     smc: netns <netns ID> released ports [65500 ~ 65515] used by eRDMA OOB

     によって使用されるリリースされたポート [65500〜65515]

3. 次のコマンドを実行してsmc-tools toolkitをインストールします。

   yum install -y smc-tools

4. (オプション) デフォルトのsndbufおよびRMBサイズを指定します。

   各SMC-Rスタックは、SMC-Rソケットに、送信されるデータをキャッシュするために使用されるリング状sndbufと、受信されるデータをキャッシュするために使用されるリング状RMBとをローカルに割り当てます。 詳細については、このトピックの「アーキテクチャ」セクションをご参照ください。 TCPの送信バッファと受信バッファと比較して、SMC-RのsndbufsとRMBのサイズは16 KBから512 KBです。

   SMC-Rに基づいてネットワークアクセラレーションを最大化するには、次の方法を使用して、スループット集約型ネットワークモデルのSMC-RソケットのデフォルトのsndbufおよびRMBサイズを変更します。

   Alibaba Cloud Linux 3は、sysctl net.smc.wmemおよびsysctl net.smc.rmemコマンドを提供して、現在のnet名前空間の後続のSMC-RソケットのデフォルトのsndbufおよびRMBサイズを設定します。 既存のSMC-RソケットのデフォルトのsndbufおよびRMBサイズは影響を受けません。

   sysctl net.smc.wmem=<sndbuf size, in bytes>
   sysctl net.smc.rmem=<RMB size, in bytes>

   sysctl net.smc.wmemおよびsysctl net.smc.rmemの初期値は256 KBです。

   アプリケーションは、setsockopt() 呼び出しを使用して、SMC-Rソケットで使用されるsndbufおよびRMBのサイズを変更することによって、SO_SNDBUFおよびSO_RCVBUFオプションを設定することもできます。

5. SMCスタック上でTCPソケットアプリケーションを実行します。

   Alibaba Cloud Linux 3では、SMCは、ネット名前空間レベルまたはプロセスレベルでTCPを透過的に置き換えることができます。

   • ネット名前空間レベルの透過的な置き換え

     Alibaba Cloud Linux 3は、ネット名前空間レベルの透過的置換機能を提供します。 この機能を使用すると、sysctl net.smc.tcp2smcコマンドを実行して、TCPソケットをnet名前空間のSMCソケットに置き換えることができます。 TCPソケットは次の条件を満たす必要があります。

     • ファミリ値はAF_INETです。

     • タイプ値はSOCK_STREAMです。

     • プロトコル値はIPPROTO_IPまたはIPPROTO_TCPです。

     次の図は、交換手順を示しています。

     

     ネット名前空間の透過置換を設定するには、次の手順を実行します。

     1. 次のコマンドを実行して、ネット名前空間の透過的な置換を有効にします。

        sysctl net.smc.tcp2smc=1

        デフォルトでは、sysctl net.smc.tcp2smcは0に設定されています。

     2. 次のコマンドを実行して、net名前空間でTCPソケットアプリケーションを実行します。

        . /foo

        fooアプリケーションによって作成されたTCPソケットは、透過的にSMCソケットに置き換えられます。 アプリケーションのネットワーク動作は、SMC-Rスタックによって処理される。 ローカルノードおよびピアノードがSMC-Rをサポートし、ネゴシエーションが成功した場合、ノードはRDMAに基づいて互いにデータを送信する。 ローカルまたはピアノードがSMC-Rをサポートしない場合、またはネゴシエーションが失敗した場合、ノードはデータ送信のためにTCPに安全にフォールバックします。 詳細については、このトピックの「アーキテクチャ」セクションをご参照ください。

     3. 次のコマンドを実行して、ネット名前空間の透過置換を無効にします。

        sysctl net.smc.tcp2smc=0

   • プロセスレベルの透明な取り替え

     Alibaba Cloud Linux 3は、アプリケーションのTCPをSMC-Rに置き換えるためのプロセスレベルの透過的な置換機能を提供します。 この機能には、SMC-R監視および診断ツールキットsmcツールが必要です。 smc-toolsのインストール方法については、手順3をご参照ください。 smc-toolsをインストールします。

     次の図は、交換手順を示しています。

     

     smc_runスクリプトをsmc-toolsから実行してアプリケーションを実行する場合、smc_runスクリプトはLD_PRELOAD環境変数を使用して、smc-toolsのlibsmc-PRELOAD. soを最初にロードする必要がある動的ライブラリとして設定します。

     libsmc-preload.soは、アプリケーションとアプリケーションの子プロセスのTCPソケットをSMCソケットに置き換えます。 TCPソケットは次の条件を満たす必要があります。

     • ファミリ値はAF_INETです。

     • タイプ値はSOCK_STREAMです。

     • プロトコル値はIPPROTO_IPまたはIPPROTO_TCPです。

   次のコマンドを実行して、SMC-Rスタックに対してfooを実行します。

   smc_run ./foo

   fooアプリケーションによって作成されたTCPソケットは、透過的にSMCソケットに置き換えられます。 アプリケーションのネットワーク動作は、SMC-Rスタックによって処理される。 ローカルノードおよびピアノードがSMC-Rをサポートし、ネゴシエーションが成功した場合、ノードはRDMAに基づいて互いにデータを送信する。 ローカルまたはピアノードがSMC-Rをサポートしない場合、またはネゴシエーションが失敗した場合、ノードはデータ送信のためにTCPに安全にフォールバックします。 詳細については、このトピックの「アーキテクチャ」セクションをご参照ください。

モニタリングと診断

SMCを使用する場合、smc-toolsツールキットを使用して、カーネル内のSMCスタックを監視および診断できます。 これにより、SMCネットワークトラフィックのさまざまなメトリックを理解し、ネットワークの正常性を判断できます。 詳細については、「SMCの監視と確認」をご参照ください。

関連ドキュメント

通信障害や特定のポートの使用不能などのSMCの問題を解決する方法については、「SMCのトラブルシューティング」をご参照ください。