Proxmox VE显卡直通

一、PVE显卡直通

测试机 微星GE60 GTX950M

1.在启动引导修改，修改后更新update-grub

vi /etc/default/grub

#intel的的CPU这样写(后面的显卡直通要用的GRUB_CMDLINE_LINUX_DEFAULT="quit intel_iommu=on video=efifb:off"

#amd的CPU这样写(后面的显卡直通要用的

GRUB_CMDLINE_LINUX_DEFAULT="quit amd_iommu=on video=efifb:off"

2.添加模块支持，写入如下配置vi /etc/modules

vfio

vfio_iommu_type1

vfio_pci

vfio_virqfd

3.添加黑名单vi /etc/modprobe.d/pve-blacklist.conf

#增加intel核显

blacklist snd_hda_intel

blacklist snd_hda_coder_hdmi

blacklist i915

#增加独显

blacklist nouveau

blacklist radeon

#增加N卡第一步

blacklist nvidiafb

要是增加的是N卡，还需进行这一步，要不是N卡请跳过该步骤

vi /etc/modprobe.d/kvm.conf

options kvm ignore_msrs=1

4.刷新内核

update-initramfs -u

重启，验证

lspci -nn #这样你就能看到能直通的设备会罗列出来（主要看什么设备，是网卡还是显卡等，然后看最后那个中括号里面的数值，写直通文件是需要）

直通显卡

vi /etc/modprobe.d/vfio.conf

#***:*** 这就是上一步中括号看到的内容

options vfio_pci ids=***:***

去PVE web端配置，在虚拟机配置处，添加 PCI硬件设备（注意不要勾选 主GPU选项，不然你就没有kvm显示界面了）

Ubuntu20.04-cli安装NVIADIA驱动 GTX1660TI

背景知识：虚拟机架构

q35 和ix440

q35支持直通，ix440不支持

OS：选择q35 bios：OVMF

二、Ubuntu调用显卡

STEP1: 禁用默认驱动：

sudo vim /etc/modprobe.d/blacklist.conf

在blacklist.conf文末添加：

blacklist nouveau

options nouveau modeset=0

执行更新：

sudo update-initramfs -u

更新后重启并验证nouveau是否已禁用

lsmod | grep nouveau 无显示即为禁用了

STEP2:驱动下载：

https://www.nvidia.cn/geforce/drivers/

env:gcc+ make

./NVIDIA-Linux-x86_64-470.63.01.run -no-nouveau-check -no-opengl-files

安装驱动

PS:安装过程中报错，需要签名，为secure-boot启用导致，bios关闭即可解决；
挂载驱动：modprobe nvidia

检查：nvidia-smi

ERRORS:重启驱动失效，偶尔发生，一般不会发生；

Nvidia-smi工具具有较多命令，nvidia-smi --help

限制功率 nvidia-smi -pl 100W

三、DOCKER 调用GPU方式

i>在线安装nvidia-docker

安装nvidia-docker
添加源
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
更新源--------可能会被墙，需要联网下载

sudo apt update

# 安装nvidia-docker2

sudo apt install -y nvidia-docker2

#重启docker

sudo pkill -SIGHUP dockerd

安装nvidia-docker

sudo nvidia-docker run --rm nvidia/cuda nvidia-smi（测试）

参考资料：https://www.cnblogs.com/g2thend/p/12092746.html

ii>离线安装nvidia-docker-toolkits

dpkg -i libnvidia-container1_1.4.0-1_amd64.deb libnvidia-container-tools_1.4.0-1_amd64.deb nvidia-container-toolkit_1.5.1-1_amd64.deb nvidia-container-runtime_3.5.0-1_amd64.deb

安装文件安装包放于linux tencent /VAR/WWW/HTML

下载安装包需要添加apt仓库才可下载，即执行

添加源

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

更新源--------可能会被墙，需要联网下载

按照顺序安装即可使用

在其中执行Miner程序时候，会报错无libpci的依赖问题，Lspci的工具包名为pciutils，安装即可解决；

PS:docker开启远程访问

vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2375

Waring：此项非常不安装，仅开发环境和内网可用；

docker save ubuntu:en | docker -H 192.168.100.104:2355 load

（可成功执行）

PS：docker save images:tag | docker -H ip:port load 即可成功执行

docker save al:v1 | docker -H 192.168.1.8:2355 load

（存疑，报错：open /var/lib/docker/tmp/docker-import-309373007/repositories: no such file or directory）

docker远程api

可以在不同主机间直接使用

可以推导出：不同主机间如何使用共享存储，持久挂载卷的话，就可以直接迁移,因为物理内存并未改变；

方案一：

环境：Home

OS1---ubuntu20.04

OS2---ubuntu20.04

预计使用网络挂载实现，os1，与os2挂载可访问机械硬盘，然后在其之上挂载其文件；

测试镜像，nextcloud

No1 制作均可挂载的网络磁盘

安装NFS软件包，apt install nfs-kernel-server

添加nfs共享目录，vim /etc/exports

设置共享目录，/mnt *(rw,sync,no_root_squash) # *表示在任何网段均可访问

配置此目录，chmod -R 777 /mnt # -R表示递归更改该目录下所有文件

mount -t nfs 192.168.1.8:/mnt /msi -o nolock

参考文档https://blog.csdn.net/qq_37860012/article/details/86717891

nextcloud测试结果：

通过nextcloud通过网络磁盘，可以实现不同overlay2 docker互通使用

nextcloud条件：使用内置的sqlite，然后通过 docker save nextcloud:v1 | docker -H 192.168.100.1:2355 load

即可使用