将实体机群晖完美迁移到PVE下，并直通网卡直通硬盘

玩机测评 > 群晖 (27707) 2024-04-18 09:32:47

硬件来源篇

因为之前黑裙配置不高，运行太多Docker容器的话有明显卡顿，所以准备给黑裙换个高配一些的机器

于是淘宝上淘了一台洋垃圾惠普工作站 Z420 ，机器具体介绍可以看下知乎Z420的一篇文章 < 传送门 >

于是等待了几天，这台Z420到手，配置如下：

CPU：E5 2660 V2

内存：32G 内存

主板：原生V2主板

电源：700W

BIOS刷了nvme 支持，可以完美m2启动（需要PCI转接卡）买了一块垃圾傲腾40块 16G缓存盘，给黑群当ssd缓存使用！

后来遇坑，知道4代以下CPU不支持1.02b以上版本的黑群晖的启动盘，所以又买了一块82576EB芯片的网卡直通使用，最后终于完美支持并可以升级到最新6.22

以上是基本配置

机器到了之后开始折腾

首先傲腾接到PCI转接卡，必须使用WIN10PE引导开机，并使用DiskGenius分区，因为只有WIN10才支持nvme驱动

之后按正常方式安装PVE

在此附上一份PVE中文版的文档，虽然不是最新版，但是内容大同小异查看地址：https://github.com/oldiy/Proxmox-VE-Doc

黑群晖安装篇

所需要文件和工具

1、PVE安装包
2、DSM3617安装包和引导
3、OSFMount_v2.0.1001 引导SN和MAC修改工具
4、WinSCP 上传DSM引导至PVE根目录

1、点击“创建虚拟机”按钮，勾上“高级”，勾上“开机自启动”（软路由一般情况下开机启动），名称填入虚拟机名称（例如DSM），点击“下一步”

2、操作系统选择“Linux”，版本选择“4.X/3.X/2.6 Kernel”即可，选择“不适用任何介质”，点击“下一步”

3、系统默认即可，点击“下一步

4、硬盘，随便设置，之后会删除的，点击“下一步”

5、 CPU按照实际情况选择，点击“下一步”

6、内存大小设置，也是根据实际情况选择（一般2G内存够了），点击“下一步”

7、网络模型选择“intel E1000”，点击“下一步”（也可以后面通过添加PCIE网卡直通）

8、确认配置，直接点击“完成”

9、删除硬盘，选择“DSM” --> “硬件”，找到硬盘，选中点击“分离”

10、硬盘分离后，选中未使用的磁盘0，点击“删除”

设置DSM引导
1、使用WinSCP把解压出来的synoboot.img上传到根目录
2、img磁盘转换，选择Shell，输入

#qm importdisk 101 /root/synoboot.img local-lvm

会看到vm-101-disk-0正在创建101是虚拟机编号，synoboot.img是刚才上传的引导镜像

网卡硬盘直通篇

接下来就是直通你的硬盘和网卡了

PVE5.3之后的版本可以直接直通，但是如果直接直通的话，会把整个sata总线全部直通过去，就是直接和南桥或者直接和北桥连接的sata总线直通，那么有些主板sata接口就会全部被直通，导致PVE无法启动，所以这并不是我们想要的方式。

这里我们只直通单块硬盘，网卡我们使用WebUI直接直通

shell里面输入命令：

vi /etc/default/grub

编辑grub文件

找到

GRUB_CMDLINE_LINUX_DEFAULT="quiet"

修改为

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

在更新一下：

update-grub

提示：更新可能有错误，可以不管。

继续输入命令

vi /etc/modules

查看modules中是否有vfio、vfio_iommu_type1、vfio_pci、vfio_virqfd ，如果没有请添加。修改好就可以重启系统了。

vfio
vfio_iommu_type1
vfio_pcioptions
vfio_virqfd

之后重启

reboot

在添加物理磁盘之前，需要先确认其标识（ID）信息，然后根据此信息来确认其设备文件的路径和名称。
如图：三块要直通的硬盘

记住模型和串行，一会不要通错

我们先用CLI方式获取

shell输入

#安装 lshw
apt-get update
apt-get install lshw
lshw -C storage -C disk

磁盘ID来列出所有的磁盘设备

ls -l /dev/disk/by-id/

解释一下：

apt-get update为升级为最新的版本
apt-get install lshw 安装磁盘直通的工具
ls –l /dev/disk/by-id/查看所有硬盘的信息（包含硬盘id）
qm set 101 –sata1 /dev/disk/by-id/硬盘id 为直通硬盘的命令(101是PEV虚拟机的ID)

这里讲一下磁盘ID怎么找，你必需选择的是整个硬盘（物理硬盘）而不是分区，比如sda、sdb、sdc对应的id，而不是（sda1、sda2…）

比如：qm set 100 -sata1 /dev/disk/by-id/ata-ST8000VN0022-2EL112_ZA1F8YX4

ata 表示接口方式，通常有ATA、SATA，SCS，NVME和SASI等类型。IDE和SATA接口一般为“ata”，SCSI及SAS接口一般为”scsi“。
添加物理磁盘到虚拟机中
需要在shell下通过CLI的方式来添加，

使用的工具为qm（Qemu/KVM虚拟机管理器），

通过命令”set“来设置物理磁盘到虚拟机中。

qm set <vm_id> –<disk_type>[n] /dev/disk/by-id/<type>-$brand-$model_$serial_number

vm_id : 之前创建虚拟机时指定的。

<disk_type>[n] ：磁盘的总线类型及其编号，总线类型可以选择IDE、SATA、VirtIO Block和SCSI类型，编号从0开始，最大值根据总线接口类型有所不同，IDE为3，SATA为5，VirTIO Block为15，SCSI为13。

”/dev/disk/by-id/<type>-$brand-$model_$serial_number” ：为磁盘ID的具体路径和名称。

按照我硬盘的参数举例：

如上图的三块硬盘数据为

ata-ST3500418AS_5VMTM0MS

ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E1YTKUK2

nvme-INTEL_MEMPEK1J016GAL_BTBT830526NU016N

那么挂载命令如下

qm set 105 --sata2 /dev/disk/by-id/ata-ST3500418AS_5VMTM0MS

qm set 105 --sata3 /dev/disk/by-id/ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E1YTKUK2

qm set 105 --sata4 /dev/disk/by-id/nvme-INTEL_MEMPEK1J016GAL_BTBT830526NU016N

之后返回PVE虚拟机，点击硬件，就可以看到已经挂载好的硬盘了

之后我们直通网卡，使用webUI直接直通