bios配置确认

首先要确定主板和CPU都支持虚拟化技术,在BIOS将VT-d、VT-x设置成enable。

以Intel为例,需要将下面两项设置为enable:

VT: Intel Virtualization Technology
VT-x:
VT-d: Intel VT for Directed I/O
Onboard VGA:

操作系统配置

开启iommu

使用如下命令确认是否支持iommu

cat /proc/cmdline | grep iommu

如果没有输出,说明不支持iommu,需要手动开启。编辑/etc/default/grub,在GRUB_CMDLINE_LINUX中添加intel_iommu=on配置项:

GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="intel_iommu=on crashkernel=auto rhgb quiet"
GRUB_DISABLE_RECOVERY="true"

更新grub,并重启设备:

grub2-mkconfig -o /boot/grub2/grub.cfg
shutdown -r now

注:如果是uefi启动模式,则需要grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

重启以后如下确认是否正常:

#使用下面命令
dmesg | grep -i iommu
#如果输出类似下面的内容,说明正确
[    0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-3.10.0-862.6.3.el7.x86_64 root=UUID=4e83b2b5-5ff1-4b1b-af0f-3f6a7f8275ea ro intel_iommu=on crashkernel=auto rhgb quiet
[    0.000000] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-3.10.0-862.6.3.el7.x86_64 root=UUID=4e83b2b5-5ff1-4b1b-af0f-3f6a7f8275ea ro intel_iommu=on crashkernel=auto rhgb quiet
[    0.000000] DMAR: IOMMU enabled
[    0.257808] DMAR-IR: IOAPIC id 3 under DRHD base  0xfbffc000 IOMMU 0
[    0.257810] DMAR-IR: IOAPIC id 1 under DRHD base  0xd7ffc000 IOMMU 1
[    0.257812] DMAR-IR: IOAPIC id 2 under DRHD base  0xd7ffc000 IOMMU 1

虚拟化支持确认

egrep -c '(vmx|svm)' /proc/cpuinfo

如果输入非0,则说明支持

配置vfio

检查当前显卡设备信息

[root@ostack-228-26 ~]# lspci -nn | grep NVID
06:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:1e04] (rev a1)
06:00.1 Audio device [0403]: NVIDIA Corporation Device [10de:10f7] (rev a1)
06:00.2 USB controller [0c03]: NVIDIA Corporation Device [10de:1ad6] (rev a1)
06:00.3 Serial bus controller [0c80]: NVIDIA Corporation Device [10de:1ad7] (rev a1)
83:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:1e04] (rev a1)
83:00.1 Audio device [0403]: NVIDIA Corporation Device [10de:10f7] (rev a1)
83:00.2 USB controller [0c03]: NVIDIA Corporation Device [10de:1ad6] (rev a1)
83:00.3 Serial bus controller [0c80]: NVIDIA Corporation Device [10de:1ad7] (rev a1)

可以看到,其实我的这台设备上有两个个vga设备(就是我们服务器上的2080),这两个pci设备一共有4个硬件:VGA、Audio、USB、Serial bus

确认驱动

由于我们的物理服务器操作系统,并没有安装NVIDIA显卡驱动,所以我们会发现如下信息。其中USB设备使用了xhci_hcd驱动,这个驱动是服务器自带的。

lspci -vv -s 06:00.0 | grep driver 
lspci -vv -s 06:00.1 | grep driver 
lspci -vv -s 06:00.2 | grep driver 
	Kernel driver in use: xhci_hcd
lspci -vv -s 06:00.3 | grep driver

如果我们安装了NVIDIA驱动的话, 可能会获得如下输出:

lspci -vv -s 06:00.0 | grep driver 
	Kernel driver in use: nvidia
lspci -vv -s 06:00.1 | grep driver 
	Kernel driver in use: snd_hda_intel
lspci -vv -s 06:00.2 | grep driver 
	Kernel driver in use: xhci_hcd
lspci -vv -s 06:00.3 | grep driver 

配置vfio

因为我们想要把VGA设备透传到虚拟机中,首先我们需要将设备从物理机上分离(可能分离的 说法并不准确,暂且这么认为),实现的方法是将设备使用的默认驱动禁用,然后将设备加入到vfio模块,让设备使用vfio驱动。

在上面,我们已经查到了,理论上 ,由于我们并没有装NVIDIA驱动,我们只需要将xhci_hcd禁用即可,但是为了以防万一,我们可以将其他nvidia驱动也加到禁止名单。

这里我们将GPU带的4个设备的驱动都配置成vfio的一个原因是:默认情况下,统一pci端口的不同设备,会被分配到同一个iommu组,同一组的设备,只能同时被分配到一个虚拟机使用。假设,我们只讲VGA设备分离,其他三个不分离的话,会导致创建虚拟机的时候报错如下错误:Please ensure all devices within the iommu_group are bound to their vfio bus driver.。如果出现该问题,请检查每个设备的使用的驱动是否已经是vfio。

禁用默认驱动

为了保证设备不被宿主机使用,我们建议将上面查到的两个驱动禁用,编辑/etc/modprobe.d/blacklist.conf,添加如下配置(似乎并不需要此步骤):

blacklist nouveau
options nouveau modeset=0
blacklist xhci_hcd
blacklist nvidia
blacklist snd_hda_intel
#下面是网上看到的,有可能不需要
blacklist nvidiafb
配置系统加载模块

配置加载vfio-pci模块,编辑/etc/modules-load.d/openstack-gpu.conf,添加如下内容:

#注意vfio_pci的写法,一旦写错,创建带GPU的虚拟机的时候,可能会无法直通到虚拟机或者非常慢,虚拟机一直处于puased状态。
vfio_pci
#下面的内容也是参考网上的配置,有可能不需要
pci_stub
vfio
vfio_iommu_type1
kvm
kvm_intel
配置vfio加载的设备

配置使用vfio驱动的设备(这里的设备就是上面我们查到的设备的)编辑/etc/modprobe.d/vfio.conf,添加如下配置:

# GTX 2080Ti and its audio controller
options vfio-pci ids=10de:1e04,10de:10f7,10de:1ad6,10de:1ad7

重新生成内核并重启

重新生成内核文件之前,我们先备份已有的:

mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img

重新生成:

dracut /boot/initramfs-$(uname -r).img $(uname -r)

重启设备:

shutdown -r now

确认

查看启动信息,确认vfio模块是否加载

dmesg | grep -i vfio
[    6.755346] VFIO - User Level meta-driver version: 0.3
[    6.803197] vfio_pci: add [10de:1b06[ffff:ffff]] class 0x000000/00000000
[    6.803306] vfio_pci: add [10de:10ef[ffff:ffff]] class 0x000000/00000000

重启以后,我们查看设备使用的驱动,都显示vfio说明正确

lspci -vv -s 06:00.0 | grep driver
	Kernel driver in use: vfio-pci
lspci -vv -s 06:00.1 | grep driver
	Kernel driver in use: vfio-pci
lspci -vv -s 06:00.2 | grep driver
	Kernel driver in use: vfio-pci
lspci -vv -s 06:00.3 | grep driver
	Kernel driver in use: vfio-pci

注:如果有设备的驱动不是vfio,可能会导致报错:Please ensure all devices within the iommu_group are bound to their vfio bus driver.

注:有时候,我们可能会遇到正常操作以后,USB设备依然使用xhci_hcd驱动的情况。而当我们尝试用[modprobe -r xhci_hcd]去卸载该驱动模块的时候,会报错如下错误:
modprobe: FATAL: Module xhci_hcd is builtin
这时候,我们有两种方法去解决:
1、可以如下操作手动分离,并绑定vfio驱动。
2、从新编译内核,让xhci_pci模块oaded而不built-in。
---------------
我们介绍第一种解决方法:
#分离xhci_hcd驱动,分离后[lspci -vv -s 0000:1a:00.2 | grep driver]命令将没有输出
echo -n “0000:1a:00.2” > /sys/bus/pci/drivers/xhci_hcd/unbind
#绑定vfio驱动,绑定后[lspci -vv -s 0000:1a:00.2 | grep driver]命令将正常输出vfio
echo -n “0000:1a:00.2” > /sys/bus/pci/drivers/vfio-pci/bind
#但重启以后,会自动恢复
如果是多个设备,可以如下执行:
for p in $(lspci -nn | grep -i ‘nvi’| grep -i ‘usb’ | awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 1}̲' );do echo -n …p" > /sys/bus/pci/drivers/xhci_hcd/unbind;echo “$p” > /sys/bus/pci/drivers/vfio-pci/bind ;done

openstack配置

控制节点配置

主要配置2个块,filter_scheduler和pci

[filter_scheduler]
available_filters = nova.scheduler.filters.all_filters
#主要在末尾添加:PciPassthroughFilter
enabled_filters = RetryFilter,AvailabilityZoneFilter,ComputeFilter,ComputeCapabilitiesFilter,RamFilter,CoreFilter,ImagePropertiesFilter,ServerGroupAntiAffinityFilter,ServerGroupAffinityFilter,PciPassthroughFilter
[pci]
#alias是能够直通设备的信息,多个设备多条记录,我们希望GPU上的4个设备都直通到虚拟机,所以将4个设备信息都写上
#这里还要注意的是device_type,可用的有:type-PCI,type-PF,type-VF,要根据实际情况来:
##2080的写法
alias = {"name":"nv2080vga","product_id":"1e04","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv2080aud","product_id":"10f7","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv2080usb","product_id":"1ad6","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv2080bus","product_id":"1ad7","vendor_id":"10de","device_type":"type-PCI"}

##T4的写法:
alias = {"name":"nvT43D","product_id":"1eb8","vendor_id":"10de","device_type":"type-PF"}

#1080写法
alias = {"name":"nv1080vga","product_id":"1b06","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv1080aud","product_id":"10ef","vendor_id":"10de","device_type":"type-PCI"}

配置完成以后,重启nova 相关服务(nova-api和nova-scheduler:

systemctl restart openstack-nova-api.service openstack-nova-scheduler.service

配置计算节点

计算节点,主要配置pci部分

[pci]
#alias可以配置多条,对应多个设备
alias = {"name":"nv2080vga","product_id":"1e04","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv2080aud","product_id":"10f7","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv2080usb","product_id":"1ad6","vendor_id":"10de","device_type":"type-PCI"}
alias = {"name":"nv2080bus","product_id":"1ad7","vendor_id":"10de","device_type":"type-PCI"}
#passthrough_whitelist配置该计算节点可用于直通的设备
passthrough_whitelist = [{ "vendor_id": "10de", "product_id": "1e04" },
			             { "vendor_id": "10de", "product_id": "10f7" },
                         { "vendor_id": "10de", "product_id": "1ad6" },
                         { "vendor_id": "10de", "product_id": "1ad7" }]

重启计算服务:

systemctl restart openstack-nova-compute

创建带有显卡直通信息的flavor

openstack flavor create --public --ram 2048 --disk 20 --vcpus 2 m1.large

openstack flavor set m1.large --property pci_passthrough:alias='nv2080vga:2,nv2080aud:2,nv2080usb:2,nv2080bus:2'
  • pci_passthrough:alias是固定格式,标识用alias方筛选pci设备
  • nv2080vga:2标识2块名为 nv2080vga的设备,多个设备英文逗号隔开

    以上步骤可以dashboard上操作

隐藏虚拟机的hypervisor id

因为NIVIDIA显卡的驱动会检测是否跑在虚拟机里,如果在虚拟机里驱动就会出错,所以我们需要对显卡驱动隐藏hypervisor id。在OpenStack的Pile版本中的Glance 镜像引入了img_hide_hypervisor_id=true的property,所以可以对镜像执行如下的命令隐藏hupervisor id:

openstack image set [IMG-UUID] --property img_hide_hypervisor_id=true

通过此镜像安装的instance就会隐藏hypervisor id。

可以通过下边的命令查看hypervisor id是否隐藏:

cpuid | grep hypervisor_id
hypervisor_id = "KVMKVMKVM   "
hypervisor_id = "KVMKVMKVM   "

上边的显示结果说明没有隐藏,下边的显示结果说明已经隐藏:

cpuid | grep hypervisor_id
hypervisor_id = "  @  @    "
hypervisor_id = "  @  @    "

创建实例

这时候,我们使用上面的flavor和image来创建虚拟机就可以了

更多推荐