从零开始本地部署ollama+deepseek-r1

硬件环境：AMD CPU，64G内存，3.84T SSD，2张泰坦显卡（12G显存）

操作系统：ubuntu 20.04（由于cuda11.4更适合安装在20.04上，故没有采用ubuntu22.04）

一、安装显卡驱动

1、查看显卡

lspci | grep -i nvidia

2、禁用 Nouveau 驱动

Nouveau 是NVIDIA显卡的开源驱动，可能会与官方驱动冲突，需要禁用它：

查看当前nouveau驱动

 lsmod | grep nouveau

编辑blacklist，禁用nouveau驱动

sudo bash -c "echo 'blacklist nouveau' >> /etc/modprobe.d/blacklist.conf"
sudo bash -c "echo 'options nouveau modeset=0' >> /etc/modprobe.d/blacklist.conf"
sudo update-initramfs -u
sudo reboot

重启后，再次用lsmod | grep nouveau，没有显示任何信息，表明已经禁用

3、添加 NVIDIA 驱动的 PPA 存储库：

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

4、使用 ubuntu-drivers devices 命令查看系统推荐的驱动版本：

系统推介nvdia-driver-560，本次安装的显卡已经非常老了：

TITAN X：基于 Maxwell 架构,比较合适的驱动版本是 470.x 系列

TITAN Xp：基于 Pascal 架构,较新且合适的驱动版本是 535.x 系列

同一台主机上同时安装了基于 Maxwell 架构的第一代 NVIDIA TITAN X 和基于 Pascal 架构的第二代 NVIDIA TITAN X（TITAN Xp），考虑到兼容性和支持情况，安装 470 版本驱动

考虑到是服务器使用，选用了nvdia-driver-470-server

5、安装驱动并重启

sudo apt install nvidia-driver-470-server
reboot now

6、检查驱动是否安装成功

nvidia-smi

二、安装cuda 11.4

与470驱动最合适的cuda是11.4版本

官方网址：

https://developer.nvidia.com/cuda-11-4-4-download-archive

根据页面下部的脚本提示进行安装

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.4.4/local_installers/cuda-repo-ubuntu2004-11-4-local_11.4.4-470.82.01-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2004-11-4-local_11.4.4-470.82.01-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu2004-11-4-local/7fa2af80.pub
sudo apt-get update
sudo apt-get -y install cuda

安装cuda的时候不安装驱动需要使用下面的命令

sudo apt-get install --no-install-recommends cuda

配置环境变量：

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

验证安装

nvcc -V

三、安装cudnn8.2.4

官方网址：
https://developer.nvidia.com/cudnn-downloads

sudo dpkg -i libcudnn8-dev_8.2.4.15-1+cuda11.4_amd64.deb

验证安装

cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

四、安装ollama

官网：
https://ollama.com/download/linux

https://github.com/ollama/ollama/blob/main/docs/linux.md

curl -fsSL https://ollama.com/install.sh | sh
ollama -v

验证安装

访问：
http://192.168.210.55:11434/

返回：Ollama is running

五、拉取模型

官网地址：https://ollama.com/search

推理模型：拉取deepseek-r1:32b和qwq 32b

ollama pull deepseek-r1:32b
ollama pull qwq

六、运行测试模型

ollama run deepseek-r1:32b

ollama run qwq