全部產品
Search
文件中心

Elastic Compute Service:使用VFIO驅動替代UIO驅動

更新時間:Sep 04, 2024

本文介紹如何在普通雲端服務器和ECS Bare Metal Instance中使用VFIO驅動替代UIO驅動,解決DPDK應用運行異常的問題。

前提條件

背景資訊

如果您在六代(g6、c6、r6等)及以後的執行個體規格(包含通用算力型執行個體)上部署DPDK應用,運行DPDK應用時可能發生異常。例如,使用pktgen-dpdk工具進行網路發包測試時可能檢測不到網卡綁定的igb_uio連接埠,出現以下報錯時,您可以使用VFIO驅動替代UIO驅動解決此類問題。

EAL: eal_parse_sysfs_value(): cannot open sysfs value /sys/bus/pci/devices/0000:00:06.0/uio/uio0/portio/port0/start

操作步驟

  1. 遠端連線普通雲端服務器和ECS Bare Metal Instance。

    具體操作,請參見通過密碼或密鑰認證登入Linux執行個體

  2. 檢查GRUB配置。

    cat /proc/cmdline
    • 如果GRUB配置中包括intel_iommu=on,且沒有iommu=pt,請執行步驟4

    • 如果是其他情況,需要添加intel_iommu=on並刪除iommu=pt,請執行步驟3

      如下圖所示,GRUB配置中沒有intel_iommu=on,也沒有iommu=pt,需要添加intel_iommu=on

      image.png

  3. /etc/default/grub設定檔中添加intel_iommu=on

    1. 開啟設定檔。

      sudo vim /etc/default/grub
    2. i切換到編輯模式,在GRUB_CMDLINE_LINUX中添加intel_iommu=on,然後儲存設定檔。

      修改完成後的樣本如下圖所示。grub-config

    3. 應用修改後的配置。

      sudo grub2-mkconfig -o /boot/grub2/grub.cfg

      image.png

    4. 執行以下命令,重啟執行個體並再次遠端連線執行個體。

      reboot
      警告

      重啟執行個體會造成您的執行個體停止工作,可能導致業務中斷,建議您在非業務高峰期時執行該操作。

  4. 安裝VFIO和VFIO-PCI驅動。

    sudo modprobe vfio && \
    sudo modprobe vfio-pci
  5. 配置noiommu_mode。

    sudo bash -c 'echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode'
  6. 查看並記錄網卡裝置的bus-info值。

    ethtool -i ethX

    請將ethX替換為對應網卡的編號,查看eth1網卡的樣本如下圖所示。bus-info

  7. 切換到DPDK安裝目錄的usertools目錄下,然後執行以下命令綁定網卡到vfio-pci驅動。

    sudo ./dpdk-devbind.py -b vfio-pci 0000:00:06.0
    說明

    0000:00:06.0為網卡的bus-info值,用於指定對應的網卡,請按實際情況替換。

    綁定後可以運行./dpdk-devbind.py --status查看綁定狀態,下方樣本表示0000:00:06.0對應的網卡已綁定到vfio-pci驅動。bound-status

  8. 切換到DPDK安裝目錄的build/app目錄下,然後根據DPDK版本執行命令運行DPDK應用程式。

    • DPDK 18.02及更高版本

      sudo ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 -ai
    • 低於DPDK 18.02的版本

      sudo ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 --disable-hw-vlan -ai
    說明

    -w 0000:00:06.0用於指定網卡,total-num-mbufs=2048對應設定的HugePages大小,請按實際情況替換。

    運行DPDK應用程式的樣本如下圖所示。run-dpdk