：ECS執行個體如何使用Pktgen測試網路效能

步驟一：準備環境

請準備兩台伺服器，分別為接收端和發送端，然後為每台伺服器增加1張網卡，一個用於登入，一個用於測試，確認用於測試的兩個網卡之間可以互連。然後執行ifconfig命令，記錄用於測試的兩端網卡的IP地址和MAC地址，後面配置發送流量時需要使用。

步驟二：安裝軟體

以下操作發送端和接收端都需要執行。

1. 遠程登入Linux系統的ECS執行個體，關於如何登入Linux系統請參見通過密碼或密鑰認證登入Linux執行個體。

2. 執行以下命令，建立pktgen目錄。

   cd /root/
   mkdir pktgen

3. 執行以下命令，進入pktgen目錄。

   cd pktgen

4. 執行以下命令，下載pktgen、lua、dpdk安裝包。

   wget https://git.dpdk.org/apps/pktgen-dpdk/snapshot/pktgen-dpdk-pktgen-3.6.5.zip https://www.lua.org/ftp/lua-5.4.3.tar.gz https://fast.dpdk.org/rel/dpdk-18.11.11.tar.xz

   說明

   說明：pktgen、lua、dpdk版本必須對應，否則可能出現各種編譯問題，本文以上述版本為例，也可以使用其他版本的安裝包，需要確保三者版本相容。

5. 依次執行以下命令，解壓pktgen、lua、dpdk安裝包。

   tar -Jxvf dpdk-18.11.11.tar.xz
   
   tar -zxvf lua-5.4.3.tar.gz
   
   unzip pktgen-dpdk-pktgen-3.6.5.zip

6. 在編譯的過程中若有其他依賴缺失，請執行以下命令，安裝以下對應的安裝包。

   • CentOS 7

     yum -y install kernel-devel.x86_64
      yum -y install numactl-devel.x86_64
      yum -y install elfutils-libelf-devel
      yum -y install libpcap-devel

   • CentOS 8

     說明

     在CentOS 8系統中，預設沒有安裝libpcap-devel，需自行安裝。

     在執行如下命令之前，請先按照CentOS 8 EOL如何切換源？切換鏡像源，然後從 Centos-vault-8.5.2111.repo 鏡像倉庫檔案中複製 [PowerTools] 塊內容，粘貼到建立的 CentOS-PowerTools.repo 鏡像倉庫檔案中。

     dnf config-manager --add-repo /etc/yum.repos.d/CentOS-PowerTools.repo 
     dnf config-manager --set-enabled PowerTools
     dnf -y upgrade libmodulemd
     dnf -y install kernel-devel.x86_64
     dnf -y install elfutils-libelf-devel
     dnf -y install numactl-devel.x86_64
     dnf -y install libpcap-devel

7. 依次執行以下命令，編譯安裝pktgen。

   cd dpdk-stable-18.11.11
   make config T=x86_64-native-linuxapp-gcc 
   make all -j32
   cd ..

8. 依次執行以下命令，編譯安裝lua。

   cd lua-5.4.3
   make
   make install
   cd ..

9. 依次執行以下命令，編譯安裝dpdk。

   cd pktgen-dpdk-pktgen-3.6.5/
    export RTE_SDK=/root/pktgen/dpdk-stable-18.11.11/
    export RTE_TARGET=build 
   make -j32

步驟三：綁定驅動到vfio

以下操作發送端和接收端都需要執行。

1. 執行以下命令，查看/proc/cmdline檔案，確保OS的GRUB為intel_iommu=on。

   cat /proc/cmdline

   系統顯示類似如下，若不存在該參數，請執行以下步驟修改。

   BOOT_IMAGE=/boot/vmlinuz-3.10.0-XXXX.19.1.el7.x86_64 root=UUID=9f2d3e15-XXXX-XXXX-8385-0165b4b67864 ro crashkernel=auto spectre_v2=retpoline rhgb quiet net.ifnames=0 console=tty0 console=ttyS0,115200n8 noibrs intel_iommu=on

   1. 執行以下命令，編輯/etc/default/grub檔案。

      vim /etc/default/grub

   2. 按i鍵切換至編輯模式，在GRUB_CMDLINE_LINUX中添加intel_iommu=on，修改之後的內容如下所示。

   3. 修改完成後，按下Esc鍵後，輸入:wq並斷行符號以儲存並關閉設定檔。

   4. 執行以下命令，更新配置。

      grub2-mkconfig -o /boot/grub2/grub.cfg

   5. 執行以下命令，重啟伺服器。

      reboot

2. 依次執行以下命令，安裝vfio和vfio-pci驅動。

   modprobe vfio
   
   modprobe vfio-pci

3. 執行以下命令，配置noniommu_mode。

   echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode

4. 執行以下命令，查看並記錄網卡的bus-info值。

   ethtool -i eth1

   說明

   說明：本文以eth1網卡為例，現場請以實際環境為準。

   系統顯示類似如下。

   driver: virtio_net
   
   version: 1.0.0
   
   firmware-version:
   
   expansion-rom-version:
   
   bus-info: 0000:00:08.0
   
   supports-statistics: no
   
   supports-test: no
   
   supports-eeprom-access: no
   
   supports-register-dump: no
   
   supports-priv-flags: no

5. 執行以下命令，解除綁定eth1網卡的virtio驅動。

   重要

   本文以eth1網卡解除綁定virtio驅動為例，解除綁定會導致網路中斷，建議您在業務地低峰期操作。

   echo "[$Bus-info]" > /sys/bus/pci/drivers/virtio-pci/unbind

   說明

   說明：[$Bus-info]為步驟4擷取的網卡的bus-info值。

6. 執行以下命令，將bus-info綁定到vfio-pci驅動。

   /root/pktgen/dpdk-stable-18.11.11/usertools/dpdk-devbind.py -b vfio-pci [$Bus-info]

   說明

   此處以Centos 8.3（Python 3.6.8 ）環境執行python指令碼為例，執行以上命令，請修改為：python3 /root/pktgen/dpdk-stable-18.11.11/usertools/dpdk-devbind.py -b vfio-pci [$Bus-info]

步驟四：配置大頁

以下操作發送端和接收端都需要執行。請確認您的節點數量，然後執行以下對應的命令。

• 雙節點

  echo 8000 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
  echo 8000 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

• 單節點

  echo 8000 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

步驟五：啟動pktgen

以下操作發送端和接收端都需要執行。