顺带接有偿部署，有需要点击链接闲鱼与我联系
闲鱼下单

PVE8.2 NVIDIA显卡虚拟化多开VGPU17.0基于P106-100--游戏篇

从闲鱼下单了一张99元包邮的矿卡P106-100，目前该卡应该是最有性价比了吧？ （垃圾佬狂喜）6G显存还有着1060的性能还要啥自行车。网上已经有很多大神评测了该款显卡以及通过核显调动这张P106-100。本期我打算用它来做虚拟化，该卡支持VGPU虚拟化，可惜不支持视频解码被阉割掉了，用来打打游戏还是不错的。

关于拆箱

P106-100拆箱体验 点我展开

1）我买到的是七彩虹牌子的P106-100，整体外观看上去挺新的，背部贴了一堆标签到我这应该是第n手了哈哈。得意于风扇没有噪音好评。

2）拆开内部看到还是有很多灰尘的，老矿卡就是老矿卡，显存表面都发黄了

3）打好驱动、烤鸡测试基本没啥问题，鲁大师得分13.5万，没有核显的加持，跑分确实低了不少，3DMARK压力测试通过率99.1%不敢相信。

免部署直接用篇

如果你是萌新或者是多设备工作室用户，可以用我封装好的PVE镜像用Ventoy引导启动使用。免部署开机即用。即节约时间又避免部署过程中产生的坑坑坑坑坑坑坑坑坑坑坑坑。当然由于每个人的显卡不同，该镜像还需要自己结合文章，把显卡需要的参数配置了才能使用。

PVE镜像解压码购买

PVE镜像说明：

使用教学01：

视频内容：| U盘制作PE系统 | BIOS设置 | Ventoy引导安装 | PVE基本设置 |

使用教学02：

视频内容：| fastapi-dls授权服务搭建 | Win虚拟机安装GRID驱动 | Win虚拟机安装Quadro驱动 | 虚拟机多开设置 |

手动图文部署篇

好了，进入正题。目前我的pve是8.2版本 6.8的内核。NVIDIA VGPU驱动用17.0版本给P106-100做VGPU虚拟化

硬件配置

显卡支不支持VGPU虚拟化，可以点开下边列表进行查阅。

PVE安装和优化设置

资源下载

小飞机网盘资源

BIOS设置

PVE烧录U盘

提前把balenaEtcher烧录工具和PVE安装镜像下载好，这里我用的是proxmox-ve_8.2-2.iso版本，用balenaEtcher烧录工具将镜像写入U盘或者移动硬盘，然后插到主机进行PVE的安装。

安装PVE

将U盘或者移动硬盘接入主机引导启动到PVE安装界面，采用第一种图形化界面进行安装。
PVE系统我这边给了28G，20G作为PVE系统盘用于存些ISO镜像啥的，不需要太大。按自己需要设置。另外8G作为SWAP虚拟内存用。
PVE图形界面手动分区安装示意图：

PVE优化设置

安装完成PVE后，在浏览器输入https://你的PVE管理IP:8006来访问你的PVE管理后台了

登录进来后需要对PVE进行硬盘挂载和一些优化设置，在PVE Shell 中执行。以下设置将会大量使用nano文本编辑命令，至于怎么使用自行百度，这里不重复造轮子了。 知道如何保存就行 Ctrl +X 输入“Y” 按下回车 保存

删除local-lvm将空间合并到local

前面只给PVE系统盘分配了20G空间，再分出个local-lvm分区那local系统分区就没多少空间了，所以我们需要进行合并，删除local-lvm。

# 使用命令删除local-lvm
lvremove /dev/pve/data
# 输入y，确认，输出以下信息即成功
Do you really want to remove active logical volume pve/data? [y/n]: y
  Logical volume "data" successfully removed.
# 再将local-lvm的空间转移到pve-root
lvextend -rl +100%FREE /dev/pve/root
# 输出以下信息即合并local分区成功
Size of logical volume pve/root changed from <9.75 GiB (2495 extents) to <19.50 GiB (4991 extents).
  Logical volume pve/root successfully resized.
resize2fs 1.47.0 (5-Feb-2023)
Filesystem at /dev/mapper/pve-root is mounted on /; on-line resizing required
old_desc_blocks = 2, new_desc_blocks = 3
The filesystem on /dev/mapper/pve-root is now 5110784 (4k) blocks long.

删除了lvm-thin之后，还需要在Web删除local-lvm才算完成。

把剩余的空间挂载为PVE数据存储池

最后就是把剩余的硬盘空间用作PVE数据存储池。需要做下硬盘分区，这里要根据自己实际硬盘ID操作，我这里的是sda,用M.2硬盘的可能是nvme0n1不要盲目照抄。

硬盘分区好后，可以到PVE控制台看到硬盘分区情况

接着就是将该分区挂载为PVE数据存储池，把虚拟机安装到该存储池下就行。

更换系统源

国内清华源
在PVE Shell中编辑sources.list,将原有的源链接在句首加 # 注释掉，更换以下清华源信息
nano /etc/apt/sources.list

deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main contrib non-free non-free-firmware

更换企业源

国内清华源
在PVE Shell中编辑pve-enterprise.list,将原有的源链接在句首加 # 注释掉，更换以下清华源信息
nano /etc/apt/sources.list.d/pve-enterprise.list

deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian bookworm pve-no-subscription

修复更新源时报401错误

在PVE Shell中编辑ceph.list,将原有的源链接在句首加 # 注释掉，添加中科大ceph源
nano /etc/apt/sources.list.d/ceph.list

deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-quincy bookworm no-subscription

执行更新源

# 更新系统程序
apt update 

LXC容器更源

国内清华源

# 备份APLInfo.pm
cp /usr/share/perl5/PVE/APLInfo.pm /usr/share/perl5/PVE/APLInfo.pm_back
# 替换为清华源：
sed -i 's|http://download.proxmox.com|https://mirrors.tuna.tsinghua.edu.cn/proxmox|g' /usr/share/perl5/PVE/APLInfo.pm
# 重启服务后生效
systemctl restart pvedaemon.service

PVE常用优化脚本

可以做下以下优化（非必须）
1)去除无效订阅源提示
2)修改PVE概要信息-添加CPU频率硬盘温度等；

# 下载pve_source二进制文件到/root目录
wget https://yangwenqing.com/files/pve/pve_source.tar.gz && tar zxvf /root/pve_source.tar.gz && /root/./pve_source

脚本使用也很简单，按指示输入对应数字回车即可，脚本预览：

============================================================== 
          _______       ___       ____ __
         / ____/ |     / / |     / / //_/
        / /    | | /| / /| | /| / / ,<
       / /___  | |/ |/ / | |/ |/ / /| |
       \____/  |__/|__/  |__/|__/_/ |_| ———— pve_source 小工具 

==============================================================
 
版本 : V1.2-Alpha 
Build : 20231128-001
 
作者 : Jazz
 
鸣谢 : Weilbyte(PVE 暗黑主题) 
       GitHub：https://github.com/Weilbyte/PVEDiscordDark
 
       gangqizai(Intel 核显直通) 
       GitHub：https://github.com/gangqizai/igd
 
       strongtz(Intel 核显 SR-IOV) 
       GitHub：https://github.com/strongtz/i915-sriov-dkms 

==============================================================

 
-------------------------PVE 换源工具------------------------- 
1、一键设置 DNS、换源并更新系统 
2、更换 Proxmox VE 源 
3、更新软件包 
4、更新系统 
5、设置系统 DNS 
6、去除无效订阅源提示 
-------------------------PVE  UI 修改------------------------- 
7、修改 PVE 概要信息 
8、应用 PVE 暗黑主题 
-------------------------PVE 高级配置------------------------- 
9、配置 PVE IOMMU 与核显直通、核显 SR-IOV, 群晖 虚拟 USB 引导等 
-----------------------PVE CPU 工作模式----------------------- 
10、配置 CPU 电源管理 P-State 状态 
11、配置 CPU 工作模式 
-------------------------  其他工具  ------------------------- 
12、通过 SLAAC 获取 IPv6 
13、卸载内核(Kernels)及头文件(Headers) 
14、设置 PVE 启动内核 
15、设置 NTP 自动校时服务器 
16、移除 local-lvm 存储空间(危险操作！) 
17、禁止系统修改网卡名称, 使用 eth0 ~ ethN 原名(风险操作！) 
-------------------------  网络连通性  ------------------------- 
网络连通性：已连接互联网 
-------------------------------------------------------------- 

开启硬件直通

如果你是Intel CPU
使用nano命令编辑grub
nano /etc/default/grub

# 开启iommu分组，在里面找到：GRUB_CMDLINE_LINUX_DEFAULT="quiet"项将其修改为
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"
# 更新grub
update-grub

如果你是AMD CPU
使用nano命令编辑grub
nano /etc/default/grub

# 开启iommu分组，在里面找到：GRUB_CMDLINE_LINUX_DEFAULT="quiet"项将其修改为
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"
# 更新grub
update-grub

加载内核模块

加载内核模块，使用nano命令加入以下信息
nano /etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

屏蔽设备

添加设备黑名单,编辑pve-blacklist.conf
nano /etc/modprobe.d/pve-blacklist.conf

# 屏蔽AMD显卡
blacklist radeon
blacklist amdgpu 
# 屏蔽NVIDIA显卡
blacklist nouveau
blacklist nvidia
blacklist nvidiafb
# 屏蔽INTEL核显
blacklist i915
blacklist snd_hda_intel
blacklist snd_hda_codec_hdmi
# 允许不安全的设备中断
options vfio_iommu_type1 allow_unsafe_interrupts=1

执行更新initramfs

# 更新initramfs
update-initramfs -u -k all

安装指定内核和kvm包

这里指定6.8.12-5内核和9.0.2-4的kvm包是为了下面的PVE去虚拟化玩游戏用的，如果你的PVE不需要去虚拟化可以不指定内核，跳过这部分。

# 安装proxmox-kernel-6.8.12-5-pve
apt install proxmox-kernel-6.8.12-5-pve
# 安装pve-qemu-kvm=9.0.2-4
apt install  pve-qemu-kvm=9.0.2-4
# 查看当前安装的内核
proxmox-boot-tool kernel list
# 如 6.8.12-5-pve
# 将装好的6.8.12-5内核设置成第一启动项
proxmox-boot-tool kernel pin 6.8.12-5-pve
# 重启让内核启动到6.8.12-5-pve
reboot

验证是否开启直通

# 验证是否开启iommu
dmesg | grep iommu
或者
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi

出现如下例子。则代表成功

[ 1.341100] pci 0000:00:00.0: Adding to iommu group 0
[ 1.341116] pci 0000:00:01.0: Adding to iommu group 1
[ 1.341126] pci 0000:00:02.0: Adding to iommu group 2
[ 1.341137] pci 0000:00:14.0: Adding to iommu group 3
[ 1.341146] pci 0000:00:17.0: Adding to iommu group 4

此时输入命令

find /sys/kernel/iommu_groups/ -type l 
#出现很多直通组，就代表成功了。如果没有任何东西，就是没有开启

lsmod | grep vfio
# 检测模块是否加载

vfio_pci               16384  4
vfio_pci_core          94208  1 vfio_pci
vfio_iommu_type1       49152  2
vfio                   57344  17 vfio_pci_core,vfio_iommu_type1,vfio_pci
iommufd                73728  1 vfio
irqbypass              16384  41 vfio_pci_core,kvm
#出现这类信息，就代表成功了。

配置 NVIDIA VGPU_Unlock 服务

VGPU_Unlock是解锁 NVIDIA 消费级显卡虚拟化功能的VGPU补丁，消费卡必须安装，原生支持的专业卡，数据中心卡可选安装（推荐也安装，可以解锁NVIDIA限制）。

# 创建vgpu_unlock文件夹
mkdir /etc/vgpu_unlock
# 创建profile_override.toml文件
touch /etc/vgpu_unlock/profile_override.toml
# 创建nvidia-vgpud.service.d,nvidia-vgpu-mgr.service.d启动服务
mkdir /etc/systemd/system/{nvidia-vgpud.service.d,nvidia-vgpu-mgr.service.d}
# 写入路径信息
echo -e "[Service]\nEnvironment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so" > /etc/systemd/system/nvidia-vgpud.service.d/vgpu_unlock.conf
echo -e "[Service]\nEnvironment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so" > /etc/systemd/system/nvidia-vgpu-mgr.service.d/vgpu_unlock.conf
# 重新加载服务
systemctl daemon-reload

执行完成后，cat下查看服务配置是否与下边一致
cat /etc/systemd/system/{nvidia-vgpud.service.d,nvidia-vgpu-mgr.service.d}/*

[Service]
Environment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so
[Service]
Environment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so

下载预编译好的libvgpu_unlock_rs.so文件

mkdir -p /opt/vgpu_unlock-rs/target/release
cd /opt/vgpu_unlock-rs/target/release
wget -O libvgpu_unlock_rs.so https://yun.yangwenqing.com/NVIDIA/vGPU/NVIDIA/17.0/libvgpu_unlock_rs_only_17.0.so

安装 NVIDIA VGPU_HOST 驱动

在宿主机PVE下安装VGPU的HOST驱动，17版本需要加-m=kernel参数

# 安装用到的依赖包和header头文件
apt install build-essential dkms mdevctl pve-headers-$(uname -r)
# 下载显卡驱动
wget "https://yun.yangwenqing.com/NVIDIA/vGPU/NVIDIA/17.0/NVIDIA-Linux-x86_64-550.54.10-vgpu-kvm-patched-kernel6.8-OA5500.run"
# 赋予执行权限
chmod +x NVIDIA-Linux-x86_64-550.54.10-vgpu-kvm-patched-kernel6.8-OA5500.run
# 安装驱动(默认一路回车直至安装完成即可)
./NVIDIA-Linux-x86_64-550.54.10-vgpu-kvm-patched-kernel6.8-OA5500.run -m=kernel
# 重启
reboot

# 卸载显卡驱动
./NVIDIA-Linux-x86_64-550.54.10-vgpu-kvm-patched-kernel6.8-OA5500.run --uninstall
# 移除显卡相关程序
sudo apt-get remove --purge nvidia-*
# 再开始安装驱动(默认一路回车直至安装完成即可)
./NVIDIA-Linux-x86_64-550.54.10-vgpu-kvm-patched-kernel6.8-OA5500.run -m=kernel

# 在pve安装aria2
apt install aria2
# 4线程下载文件
aria2c -s 4 -x 4 -j 10 'https://yun.yangwenqing.com/NVIDIA/vGPU/NVIDIA/17.0/NVIDIA-Linux-x86_64-550.54.10-vgpu-kvm-patched-kernel6.8-OA5500.run'

重启完成后查看相关服务状态

# 查看相关服务状态
systemctl status {nvidia-vgpud.service,nvidia-vgpu-mgr.service}
# 重新启动相关服务
systemctl restart {nvidia-vgpud.service,nvidia-vgpu-mgr.service}
# 停止相关服务
systemctl stop {nvidia-vgpud.service,nvidia-vgpu-mgr.service}

随后使用nvidia-smi

root@pve8:~# nvidia-smi
Sun Jul 21 19:09:09 2024       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.10              Driver Version: 550.54.10      CUDA Version: N/A      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA P106-100                Off |   00000000:01:00.0 Off |                  N/A |
| 23%   44C    P0             28W /  120W |      27MiB /   6144MiB |      1%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

以及mdevctl types查看

root@pve8:~# mdevctl types
0000:01:00.0
  nvidia-522
    Available instances: 0
    Device API: vfio-pci
    Name: NVIDIA RTXA6000-1B
    Description: num_heads=4, frl_config=45, framebuffer=1024M, max_resolution=5120x2880, max_instance=32
  nvidia-523
    Available instances: 0
    Device API: vfio-pci
    Name: NVIDIA RTXA6000-2B
    Description: num_heads=4, frl_config=45, framebuffer=2048M, max_resolution=5120x2880, max_instance=24
  nvidia-524
    Available instances: 0
    Device API: vfio-pci
    Name: NVIDIA RTXA6000-1Q
    Description: num_heads=4, frl_config=60, framebuffer=1024M, max_resolution=5120x2880, max_instance=32
  nvidia-525
    Available instances: 0
    Device API: vfio-pci
    Name: NVIDIA RTXA6000-2Q
    Description: num_heads=4, frl_config=60, framebuffer=2048M, max_resolution=7680x4320, max_instance=24

搭建fastapi-dls授权服务

NVIDIA VGPU并非免费产品，需要对VGPU驱动购买许可才能正常使用VGPU，这里我用fastapi-dls项目来取得90天的试用许可。你可以在内网或者外网部署好Docker环境，然后搭建fastapi-dls授权服务，我这里提供一个PVE LXC容器部署到内网进行授权。顺带把作者90天的延续周期调整为365天。

# 安装aria2 多线程下载工具
apt install aria2
# 进入pve备份文件夹
cd /var/lib/vz/dump/
# 使用aria2 8个线程下载lxc fastapi-dls容器备份包
aria2c -s 8 -x 8 -j 10 'https://yun.yangwenqing.com/Proxmox/LXC/FASTAPI-DLS/vzdump-lxc-888-2024_10_20-01_12_57.tar.zst'

1）将下载下来的LXC容器进行还原

2）并将原来的IP改为自己内网的IP，我这里用的就是10.10.10.99就不改了。

3）开机并登录LXC容器（账号：root密码：123123）并创建fastapi-dls授权服务：

创建授权服务,注意下边的IP10.10.10.99改为刚刚自己修改好的

docker run --restart always --name fastapi-dls -d -e DLS_URL=10.10.10.99 -e DLS_PORT=443 -p 443:443 yangwenqing/fastapi-dls
# 检查fastapi-dls容器是否正在运行
docker ps

创建虚拟机（Win10为例）

文章底部有优化好的Win10 22h2懒人还原包，有需要可以滑到底部自取

镜像下载

小飞机网盘资源

# 微软原版镜像 Windows 10 Enterprise LTSC 2021 (x64) - DVD (Chinese-Simplified).ISO
https://share.feijipan.com/s/CXF5hpGp
# 不忘初心游戏版-Windows10_22H2_19045.4651_X64.iso
https://share.feijipan.com/s/qSF5hL5x
# 不忘初心游戏版-Windows11_24H2_26100.3194_X64.iso
https://share.feijipan.com/s/7DF5iBnq

Windows RDP远程桌面优化

安装 NVIDIA VGPU_GUEST 驱动

安装好系统并配置好相关的远程桌面服务后。就可以给虚拟机安装 NVIDIA VGPU Guest驱动了，GRID驱动的安装就跟平常打驱动一样,默认下一步直至安装完成就行不再赘述。（如果你不想用GRID驱动和授权驱动这类方式，可以翻到底部FAQ问答系列来模拟专业卡安装Quadro驱动）

# NVIDIA Guest驱动 551.61
# 直链下载
https://yun.yangwenqing.com/NVIDIA/vGPU/NVIDIA/17.0/NVIDIA-GRID-Linux-KVM-550.54.10-550.54.14-551.61/Guest_Drivers/551.61_grid_win10_win11_server2022_dch_64bit_international.exe
# 备用下载
https://share.feijipan.com/s/T2F5gSzv

授权驱动

1）在浏览器访问fastapi-dls授权服务：https://10.10.10.99/-/client-token会自动下载好授权文件

2）下载后放入C:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken\这个目录下

3) 重启NVIDIA Display Container Ls服务，即可获得授权
也可以在cmd窗口使用nvidia-smi -q命令查看授权情况
如授权失败，需要检查电脑时间是否对得上授权服务器时间

4）使用远程桌面工具连接上虚拟机跑个鲁大师测试一下显卡是否正常驱动并工作

[profile.nvidia-524]
num_displays = 1
display_width = 1920
display_height = 1080
max_pixels = 2073600
cuda_enabled = 1
frl_enabled = 0
vgpu_type = "NVS"
framebuffer = 939524096

自定义显卡显存大小
如要自定义修改显卡的显存大小，只需要修改framebuffer的值就好了,显存不建议低于1GB，官方说低于1GB将会禁用NVENC视频编解码器
注意：vgpu会默认占用128M，所以如果要改显存，请将结果减去128M再去换算，旧版是减去64M
例如，你期望显存为1GB，所以就用1024M-64M=960M/1024M-128M=896M
在线大小换算平台：https://www.bejson.com/convert/filesize/

root@pve8:~# nvidia-smi
Sun Jul 21 19:43:31 2024       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.10              Driver Version: 550.54.10      CUDA Version: N/A      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA P106-100                On  |   00000000:01:00.0 Off |                  N/A |
| 23%   42C    P8              7W /  120W |    1045MiB /   6144MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A      5675    C+G   vgpu                                         1018MiB |
+-----------------------------------------------------------------------------------------+

PVE去虚拟化检测部分

做完以上VGPU部分，就可以正常使用VGPU加速。专业设计，云桌面，Al深度学习用户可以不用往下看了。市面上大部分游戏都不支持在虚拟机进行游戏，如你有游戏需求，则还需要对虚拟机做以下去虚拟化操作。PVE去虚拟化检测玩游戏项目用的是B站-《李晓流-pve反虚拟化检测玩游戏》。

PVE-QEMU-KVM9去虚拟化

正因为有些游戏除了会检测“虚拟机特征”外还会去检测“没有物理机特征”来判断你的设备是否符合他们的要求，才能让你进游戏。该版本作者新加入了物理机特征比如风扇，温度，电压等物理机的特征。让虚拟机更像是一台物理机。且该版本仅支持pve-qemu-kvm9里面的qemu打补丁使用，pve-qemu-kvm7和pve-qemu-kvm8已不适用，请手动升级你的PVE到PVE-QEMU-KVM9。
下载PVE-QEMU-KVM9去虚拟化检测包

# 新建个qemu-kvm9文件夹存放KVM包
mkdir /root/qemu-kvm9 && cd /root/qemu-kvm9
# 下载2个KVM包
wget "https://yun.yangwenqing.com/Proxmox/Qemu%E5%8E%BB%E8%99%9A%E6%8B%9F%E5%8C%96/9.0.2-4/pve-qemu-kvm_9.0.2-4_amd64.deb"
wget "https://yun.yangwenqing.com/Proxmox/Qemu%E5%8E%BB%E8%99%9A%E6%8B%9F%E5%8C%96/9.0.2-4/pve-edk2-firmware-ovmf_4.2023.08-4_all_anti_detection20240830v5.0.deb"

安装去虚拟化包

查询当前PVE在用的系统内核版本

uname -a
# 目前我机器运行的系统内核版本为6.8.12-5-pve,具体输出如下：
Linux pve04 6.8.12-5-pve #1 SMP PREEMPT_DYNAMIC PMX 6.8.12-5 (2024-12-03T10:26Z) x86_64 GNU/Linux

查询当前PVE在用的KVM包版本

# 查询pve当前kvm包版本
dpkg -l|grep kvm
# 目前我机器安装的kvm包版本是9.0.2-4
ii  pve-qemu-kvm                         9.0.2-4                             amd64        Full virtualization on x86 hardware

如果你的pve系统内核为6.18.12-5-pve，pve-qemu-kvm包为9.0.2-4版本，那么可以直接安装刚下载下来的2个反虚拟化检测包：

# 安装2个反虚拟化检测包
dpkg -i pve-qemu-kvm_9.0.2-4_amd64.deb
dpkg -i pve-edk2-firmware-ovmf_4.2023.08-4_all_anti_detection20240830v5.0.deb
# 安装完成执行重启
reboot

# 更新软件包
apt update
# 安装proxmox-kernel-6.8.12-5-pve
apt install proxmox-kernel-6.8.12-5-pve
# 安装pve-qemu-kvm=9.0.2-4
apt install  pve-qemu-kvm=9.0.2-4
# 查看当前安装的内核
proxmox-boot-tool kernel list
# 如 6.8.12-5-pve
# 将装好的6.8.12-5内核设置成第一启动项
proxmox-boot-tool kernel pin 6.8.12-5-pve
# 重启让内核启动到6.8.12-5-pve
reboot

# 安装2个反虚拟化检测包
dpkg -i pve-qemu-kvm_9.0.2-4_amd64.deb
dpkg -i pve-edk2-firmware-ovmf_4.2023.08-4_all_anti_detection20240830v5.0.deb
# 安装完成执行重启
reboot

最后在虚拟机配置文件加入以下参数即可，相关的smbios参数已经集成在pve-qemu-kvm包里面了，不需要再定制。
nano /etc/pve/qemu-server/虚拟机ID.conf

args: -cpu host,hypervisor=off,vmware-cpuid-freq=false,enforce=false,host-phys-bits=true -smbios type=0 -smbios type=9 -smbios type=8 -smbios type=8

如要模拟CPU型号可以添加以下参数，CPU型号可以自行修改：（模拟CPU型号，显卡性能会被拉低）

args: -cpu host,family='6',model='7',stepping='2',model_id='Intel Core i7 12700 @ 4.90GHz',+kvm_pv_unhalt,+kvm_pv_eoi,hv_spinlocks=0x1fff,hv_vapic,hv_time,hv_reset,hv_vpindex,hv_runtime,hv_relaxed,kvm=off,hv_vendor_id=intel,vmware-cpuid-freq=false,enforce=false,host-phys-bits=true,hypervisor=off -smbios type=0 -smbios type=9 -smbios type=8 -smbios type=8

以及修改PVE网卡默认前缀：D8:FC:93
步骤：数据中心 → 选项 → MAC地址前缀

我的完整虚拟机配置如下:

args: -cpu host,hypervisor=off,vmware-cpuid-freq=false,enforce=false,host-phys-bits=true -smbios type=0 -smbios type=9 -smbios type=8 -smbios type=8
audio0: device=ich9-intel-hda,driver=none
bios: ovmf
boot: order=sata0
cores: 8
cpu: host
efidisk0: nvme0:100/vm-100-disk-0.qcow2,efitype=4m,pre-enrolled-keys=1,size=528K
hostpci0: 0000:01:00.0,mdev=nvidia-524,pcie=1
machine: pc-q35-9.0
memory: 8192
meta: creation-qemu=9.0.2,ctime=1726330643
name: Win10
net0: e1000=D8:FC:93:76:99:DE,bridge=vmbr0,firewall=1
numa: 0
ostype: win10
sata0: nvme0:100/vm-100-disk-1.qcow2,size=120G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=2e71b8f6-69c0-48b3-9b48-73b7feb03dac
sockets: 1
vga: none
vmgenid: dfad1b41-a73a-4c4d-a2c3-407b16d4a7f6

工具下载

# 虚拟机检测工具—解压密码123
https://yun.yangwenqing.com/Proxmox/Qemu%E5%8E%BB%E8%99%9A%E6%8B%9F%E5%8C%96/%E8%99%9A%E6%8B%9F%E6%9C%BA%E6%A3%80%E6%B5%8B%E5%B7%A5%E5%85%B7-%E8%A7%A3%E5%8E%8B%E5%AF%86%E7%A0%81123.zip
# 图吧工具箱
https://www.tbtool.cn/
# 游戏常用运行库 合集 | Game Runtime Libraries Package
https://www.52pojie.cn/thread-1916914-1-1.html
# Windows激活工具
http://www.yishimei.cn/network/319.html

原神启动,强烈推荐用Sunshine/Parsec串流工具游玩（串流游玩需要显卡支持编解码，显存不得低于1G，p106这类卡阉割了编解码只能用软解）

虚拟机克隆多开

需要虚拟机多开的话，只需要把制作好的虚拟机转换成模板作为母盘，然后链接克隆就行。记得给每台虚拟机修改计算机名。
PS:虚拟机一旦转换模版后就不支持再转换回虚拟机，即你之后都没法在母盘做更新游戏和设置，如你要对母盘做更新游戏和设置只能重新完整克隆一个新的虚拟机做好更新游戏和设置再转成新的母盘来使用，之前链接克隆的虚拟机删除，在新的母盘重新生成即可。

# 去掉scsi0虚拟磁盘的只读属性
chattr -ia /mnt/pve/pve13data0/images/1304/base-1304-disk-0.qcow2
# 去掉scsi1虚拟磁盘的只读属性
chattr -ia /mnt/pve/pve13data1/images/1304/base-1304-disk-0.qcow2

# 恢复scsi0虚拟磁盘的只读属性
chattr +ia /mnt/pve/pve13data0/images/1304/base-1304-disk-0.qcow2
# 恢复scsi1虚拟磁盘的只读属性
chattr +ia /mnt/pve/pve13data1/images/1304/base-1304-disk-0.qcow2

FAQ问答

# 自定义nvidia-524模型
[profile.nvidia-524]
num_displays = 1
display_width = 1920
display_height = 1080
max_pixels = 2073600
cuda_enabled = 1
frl_enabled = 0
vgpu_type = "NVS"
framebuffer = 939524096

[vm.101]
# 给101虚拟机设置4G显存
framebuffer = 4160749568

[vm.999]
# 给999虚拟机设置2G显存
framebuffer = 2013265920

# 设置768M显存
framebuffer = 671088640
# 设置512M显存
framebuffer = 402653184
# 设置384M显存
framebuffer = 268435456
# 设置256M显存
framebuffer = 134217728

lspci -D -nnk | grep NVIDIA
# 输出以下信息，其中GP106是核心代号，10de是制造商ID，1c07是设备ID
0000:01:00.0 3D controller [0302]: NVIDIA Corporation GP106 [P106-100] [10de:1c07] (rev a1)

# 编辑profile_override.toml文件
nano /etc/vgpu_unlock/profile_override.toml
# 将这2个值填入profile_override.toml
pci_id = 0x1C3110DE
pci_device_id = 0x1C31

cat > /etc/systemd/system/nvidia-sriov.service <<EOF
[Unit]
Description=Enable NVIDIA SR-IOV
After=network.target nvidia-vgpud.service nvidia-vgpu-mgr.service
Before=pve-guests.service

[Service]
Type=oneshot
ExecStartPre=/bin/sleep 5
ExecStart=/usr/lib/nvidia/sriov-manage -e ALL

[Install]
WantedBy=multi-user.target
EOF

# 重新加载服务
systemctl daemon-reload
# 设置nvidia-sriov.service，开机自启动
systemctl enable nvidia-sriov.service
# 启动VF
systemctl restart nvidia-sriov.service

# 下载displaymodeselector工具到PVE根目录
wget https://yun.yangwenqing.com/NVIDIA/vGPU/NVIDIA/Tools/NVIDIA_Display_Mode_Selector_Tool/displaymodeselector
# 授权可执行文件
chmod  +x displaymodeselector
# 切换无显示模式，跟着提示步骤进行关闭
./displaymodeselector --gpumode
# 重启PVE后生效
reboot

apt reinstall pve-qemu-kvm
apt reinstall pve-edk2-firmware-ovmf

优化好的虚拟机

这里提供一个已经帮大家优化好的Win10 22h2 x64位虚拟机还原包，有需要可以下载到PVE进行还原。还原包大小8.49 GB。网盘比较慢，用aria2下载工具下载

# 前往PVE备份目录
cd /var/lib/vz/dump/
# aria2 8线程下载到PVE的备份目录,下载完成后还原即可。
aria2c -s 8 -x 8 -j 10 'https://yun.yangwenqing.com/Proxmox/Windows/%E6%87%92%E4%BA%BA%E8%BF%98%E5%8E%9F%E5%8C%85/vzdump-qemu-999-2024_10_27_Windows10_22h2_x64.vma.zst'

相关文章参考

GitLab-NVIDIA VGPU 指南
佛西博客-在Proxmox VE 7.4 中开启NVIDIA P106显卡虚拟化(vGPU)
B站李晓流-pve反虚拟化检测玩游戏