部分企業級ECS執行個體支援配置eRDMA,可以實現在不需要修改現有網路架構的情況下,體驗超低延遲、大吞吐、高彈性的高效能RDMA網路服務。
使用限制
限制項 | 說明 |
地區 | 支援華北2(北京)、華東2(上海)、華東1(杭州)、華南1(深圳)、華南3(廣州)、華北6(烏蘭察布)、華南2(河源) |
執行個體規格 | 支援eRDMA的執行個體規格如下: |
鏡像 |
說明 不同執行個體規格可選擇的鏡像範圍不同,實際可選擇的鏡像以購買頁面的實際展示為準。 |
eRDMA裝置數量 | 您可以通過DescribeInstanceTypes返回參數中的EriQuantity的值,查詢執行個體規格支援綁定ERI的最大數量(0表示不支援彈性RDMA介面)。 |
網路限制 |
|
為企業級執行個體配置eRDMA
購買執行個體時配置eRDMA
當支援eRDMA能力的執行個體的作業系統為Alibaba Cloud Linux、Ubuntu和Anolis OS時,支援在建立執行個體時自動安裝eRDMA驅動並開啟彈性RDMA介面,使能eRDMA,免去手動安裝的麻煩。
對於不支援安裝eRDMA驅動的作業系統或自動安裝失敗的情況,您可以在執行個體建立完成後,通過指令碼方式或手動方式安裝驅動。具體操作,請參見為已有執行個體配置eRDMA。
在購買的執行個體啟動後,eRDMA驅動安裝可能需要一段時間,請您耐心等待。
建立支援ERI的企業級執行個體。建立過程中需注意以下配置項(其他參數,請參見自訂購買執行個體):
執行個體和鏡像:選擇支援eRDMA的執行個體規格,並安裝eRDMA驅動。
執行個體:請參見使用限制。
鏡像:選擇公用鏡像,選中出現的安裝eRDMA驅動。執行個體啟動過程中會自動安裝eRDMA驅動,無需您再手動安裝。
彈性網卡:主網卡右側選擇開啟彈性RDMA介面,為ECS執行個體綁定ERI。
說明購買企業級執行個體時,僅支援為主網卡啟用彈性RDMA介面。如果您需要為輔助網卡配置eRDMA,您可以通過控制台或OpenAPI方式為輔助彈性網卡開啟RDMA介面。具體操作,請參見彈性RDMA網卡(ERI)。
為已有執行個體配置eRDMA
驗證執行個體eRDMA是否配置正確。
具體操作,請參見驗證eRDMA配置的正確性。
您可以根據驗證結果,選擇以下安裝eRDMA驅動或者為ECS執行個體綁定ERI等操作。
安裝eRDMA驅動。
如果您未在建立執行個體時候選擇eRDMA驅動,則執行個體不會自動安裝eRDMA驅動。您需要根據實際情況選擇指令碼方式或者手動方式安裝eRDMA驅動。
指令碼方式:預設下載最新且穩定版本的驅動包。
手動方式:可以下載指定版本的驅動包。
通過指令碼一鍵安裝
執行以下命令,下載最新且穩定版本的驅動包。
curl -O http://mirrors.cloud.aliyuncs.com/erdma/env_setup.sh
執行以下命令,安裝剛下載的驅動包。
sudo /bin/bash env_setup.sh > /var/log/erdma_install.log 2>&1
執行安裝指令碼後,指令碼會自動協助您安裝eRDMA驅動所需的軟體依賴包以及eRDMA驅動,等待安裝指令碼執行結束即可。
說明如果以指令碼方式安裝驅動失敗,請您檢查安裝日誌,安裝日誌的具體路徑為:
/var/log/erdma_install.log
。
手動逐步安裝
執行以下命令,更新前置軟體包。
Alibaba Cloud Linux 3/CentOS/Anolis OS:
sudo yum update -y
Ubuntu:無需更新,跳過該步驟。
依次執行以下命令,查看最新的kernel包版本和作業系統的核心版本。
rpm -qa | grep kernel #查看最新的kernel包版本 uname -r #查看作業系統的核心版本
系統返回樣本資訊如下,表示兩者版本一致,無需進行額外操作。若版本不一致,則需要重啟執行個體使其生效。
執行以下命令,安裝依賴的軟體包。
對於x86執行個體,請執行以下操作:
Alibaba Cloud Linux 3/CentOS/Anolis OS:
sudo yum install gcc-c++ dkms cmake kernel-devel kernel-headers libnl3 libnl3-devel
Ubuntu:
sudo apt-get install dkms cmake libnl-3-dev libnl-route-3-dev kernel-headers
對於Arm執行個體,由於需要基於源碼執行構建任務,相關的軟體依賴包較多且可能會發生變化,因此可以忽略本步驟,直接執行安裝指令碼。如果安裝指令碼失敗,指令碼會提示您需要安裝的軟體依賴包,請根據提示完成安裝,然後重新執行軟體安裝即可。
執行以下命令,下載驅動安裝包。
從內網地址擷取軟體包
wget http://mirrors.cloud.aliyuncs.com/erdma/erdma_installer-latest.tar.gz
從公網地址擷取軟體包
wget https://mirrors.aliyun.com/erdma/erdma_installer-latest.tar.gz
這裡預設下載最新版本的驅動安裝包,您還可以根據實際情境下載指定版本的驅動包。eRDMA不同安裝程式包版本的發布資訊,請參見為ECS執行個體安裝eRDMA驅動。
執行以下命令,解壓安裝包並進入檔案目錄。
tar -xvf erdma_installer-latest.tar.gz && cd erdma_installer
執行以下命令,安裝驅動。
方式一:安裝過程需手動確認相關卸載步驟及自動下載步驟
sudo sh install.sh
方式二:安裝過程無需確認過程
sudo sh install.sh --batch
根據返回資訊,確認安裝結果。
若系統返回如下資訊,則表示安裝驅動成功。
若系統返回如下資訊,則表示提示安裝驅動失敗,請按照提示資訊操作,完成後重新嘗試安裝驅動。
說明如果您使用的是CentOS 7系統,並且重新安裝驅動過程中提示缺少軟體包,但您無法通過
yum
擷取到,您可能需要執行yum install -y epel-release
命令,先安裝epel-release倉庫,然後才能擷取到對應的軟體包。
為已有ECS執行個體綁定ERI。
企業級執行個體,目前僅支援每個執行個體最多綁定1個ERI。詳細資料,請參見使用限制。
修改ECS執行個體已綁定的彈性網卡屬性,啟用ERI
具體操作,請參見修改已建立彈性網卡的RDMA介面。
通過OpenAPI建立開啟了ERI的輔助彈性網卡並綁定到執行個體
如果您是通過OpenAPI的方式建立並綁定輔助彈性網卡,則操作如下:
通過OpenAPI建立ERI。
您可以通過CreateNetworkInterface 建立一個彈性網卡,並設定NetworkInterfaceTrafficMode參數的值為HighPerformance,即建立一個開啟了ERI的彈性網卡。
調用成功後,請記錄返回資料中產生的彈性網卡ID(即
NetworkInterfaceId
對應的傳回值)。調用AttachNetworkInterface,指定NetworkInterfaceId為上一步返回的網卡ID,指定InstanceId為目標執行個體ID,即將建立的開啟了ERI的彈性網卡綁定到目標執行個體上。
重要如果您的執行個體規格支援綁定多個ERI,為了擷取最大網路頻寬,建議您在綁定時候為每張ERI指定不同的NetworkCardIndex,實現將不同的ERI綁定到不同的通道。詳細資料,請參見請求參數。
測試執行個體在eRDMA的寫延遲效能
您可以在兩台配置了eRDMA的企業級執行個體上,安裝perftest
後通過ib_write_lat
進行寫延遲測試。關於perftest測試,請參見perftest測試集。
環境準備
準備兩台配置了eRDMA(已安裝eRDMA軟體棧、彈性網卡開啟了RDMA介面)的企業級執行個體,分別作為服務端和用戶端。
確保網路設定正確,兩台伺服器之間內網互連。詳細資料,請參見ECS實現內網互連。
測試步驟
分別遠端連線兩台執行個體。
具體操作,請參見使用Workbench工具以SSH協議登入Linux執行個體。
驗證並保證兩台執行個體eRDMA配置正確。
具體操作,請參見驗證eRDMA配置的正確性。
在兩台執行個體上,分別執行以下命令,安裝perftest測試載入器。
您可以選擇開通公網通過官方倉庫下載並安裝,或者直接通過yum/apt源進行安裝。
通過官方倉庫下載並安裝
為ECS執行個體開通公網,詳細資料,請參見ECS實現公網通訊。
訪問perftest官方倉庫下載並安裝perftest工具。
通過yum/apt源安裝
說明不同Linux發行版的軟體源中包含的perftest版本可能不一致,在通訊時可能存在相容性問題。建議您通訊的執行個體使用相同的Linux發行版,否則請通過官方倉庫下載並安裝。
Alibaba Cloud Linux 3/CentOS/Anolis OS
sudo yum install perftest -y
Ubuntu
sudo apt install perftest -y
測試eRDMA網路延遲是否符合預期表現。
在服務端執行個體上,執行以下命令,啟動
ib_write_lat
作為伺服器,監聽來自用戶端的串連。ib_write_lat -R -a -F
在用戶端執行個體上,執行以下命令,啟動
ib_write_lat
,串連服務端。ib_write_lat -R -a -F <server_ip>
其中,
<server_ip>
是服務端ECS執行個體上綁定的eRDMA的彈性網卡所對應的私人IP地址。擷取IP地址的方法,請參見查看IP地址。查看測試結果。
用戶端測試完成後,
ib_write_lat
會輸出測試組態資訊、串連資訊以及效能測試結果(延遲相關的統計資料,包括最小、最大、平均延遲等效能指標)。詳細資料,請參見ib_write_lat測試結果說明。