本文介紹如何在普通雲端服務器和ECS Bare Metal Instance中使用VFIO驅動替代UIO驅動,解決DPDK應用運行異常的問題。
前提條件
已為執行個體設定HugePages。具體操作,請參見調整Linux執行個體大頁記憶體的方法。
已為執行個體安裝DPDK。關於DPDK的更多資訊,請參見Data Plane Development Kit (DPDK*)。
背景資訊
如果您在六代(g6、c6、r6等)及以後的執行個體規格(包含通用算力型執行個體)上部署DPDK應用,運行DPDK應用時可能發生異常。例如,使用pktgen-dpdk工具進行網路發包測試時可能檢測不到網卡綁定的igb_uio連接埠,出現以下報錯時,您可以使用VFIO驅動替代UIO驅動解決此類問題。
EAL: eal_parse_sysfs_value(): cannot open sysfs value /sys/bus/pci/devices/0000:00:06.0/uio/uio0/portio/port0/start
操作步驟
遠端連線普通雲端服務器和ECS Bare Metal Instance。
具體操作,請參見通過密碼或密鑰認證登入Linux執行個體。
檢查GRUB配置。
cat /proc/cmdline
在
/etc/default/grub
設定檔中添加intel_iommu=on
。開啟設定檔。
sudo vim /etc/default/grub
按
i
切換到編輯模式,在GRUB_CMDLINE_LINUX中添加intel_iommu=on
,然後儲存設定檔。修改完成後的樣本如下圖所示。
應用修改後的配置。
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
執行以下命令,重啟執行個體並再次遠端連線執行個體。
reboot
警告重啟執行個體會造成您的執行個體停止工作,可能導致業務中斷,建議您在非業務高峰期時執行該操作。
安裝VFIO和VFIO-PCI驅動。
sudo modprobe vfio && \ sudo modprobe vfio-pci
配置noiommu_mode。
sudo bash -c 'echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode'
查看並記錄網卡裝置的bus-info值。
ethtool -i ethX
請將ethX替換為對應網卡的編號,查看eth1網卡的樣本如下圖所示。
切換到DPDK安裝目錄的usertools目錄下,然後執行以下命令綁定網卡到vfio-pci驅動。
sudo ./dpdk-devbind.py -b vfio-pci 0000:00:06.0
說明0000:00:06.0
為網卡的bus-info值,用於指定對應的網卡,請按實際情況替換。綁定後可以運行
./dpdk-devbind.py --status
查看綁定狀態,下方樣本表示0000:00:06.0
對應的網卡已綁定到vfio-pci驅動。切換到DPDK安裝目錄的
build/app
目錄下,然後根據DPDK版本執行命令運行DPDK應用程式。DPDK 18.02及更高版本
sudo ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 -ai
低於DPDK 18.02的版本
sudo ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 --disable-hw-vlan -ai
說明-w 0000:00:06.0
用於指定網卡,total-num-mbufs=2048
對應設定的HugePages大小,請按實際情況替換。運行DPDK應用程式的樣本如下圖所示。