Xinference 作为本地 AI 推理框架，相较于 Ollama 和其他推理方案，有以下几个核心优势：

1. 多模型支持。

Xinference 兼容 大量 LLM（大语言模型），不仅支持 LLaMA 和 Mistral，还包括：

国产模型：ChatGLM、Qwen（通义千问）、Baichuan（百川）等

开源模型：Mistral、LLaMA、Gemma、Phi 等多模态支持：

部分版本支持 语音、图像、文本 处理。

2. 分布式 & 多 GPU 支持。

兼容 OpenAI API，可以无缝替换 OpenAI 的 API，方便集成现有应用。

3. API 兼容性 & 扩展性。

兼容 OpenAI API，可以无缝替换 OpenAI 的 API，方便集成现有应用。支持 Web UI：提供管理界面，可以直接在浏览器里管理模型，而 Ollama 主要是命令行操作。

4. 高效的推理优化。

比 Ollama 更适合 AI 研究人员、企业级应用，而 Ollama 更适合个人用户。

5. 适用于科研 & 生产环境。

比 Ollama 更适合 AI 研究人员、企业级应用，而 Ollama 更适合个人用户。

但是Xinference安装很复杂，需要 PyTorch, transformers, llama-cpp-python 等库，对环境要求较高。

一、本地手动安装Xinference。

1、 需要提前安装好的组件

安装python，直接到如下网站下载安装即可。我用的python 3.10.11是可以的。

https://www.python.org/downloads/release/python-31011/

PyTorch

For most users (CPU & CUDA 11+): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

For CPU-only (no GPU support needed): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

检测是否安装好：python -c "import torch; print(torch.__version__)"，输入如下图即安装好了

python -c "import torch; print(torch.__version__)"

安装CUDA

可以去官网下载，安装，然后重启电脑

Win11 : https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network

Win 10: https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_network

检测是否安装好：在PowerShell中输入nvcc –version，显示如图即安装好了。同时可以输入python -c "import torch; print(torch.cuda.is_available())"，显示为true,表明PyTorch 检测到了 CUDA。

python -c "import torch; print(torch.cuda.is_available())"

安装Visual Studio 2022，需要安装的组件如图所示：

此部分安装好后，可以在PowerShell中输入cmake –version，回车，如图显示则表明cmake安装成功。如果显示命令无法识别，可以自行去”系统>“系统信息”>”高级系统设置”>“环境变量”>“系统变量”>中找到PATH变量，鼠标左键双击，兴建以下PATH，C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\Common7\IDE\CommonExtensions\Microsoft\CMake\CMake\bin。

cmake –version

C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\Common7\IDE\CommonExtensions\Microsoft\CMake\CMake\bin

此部分安装好后，可以在PowerShell中输入cl，回车，如图显示则表明C++编译器安装成功。如果显示命令无法识别，可以自行去”系统>“系统信息”>”高级系统设置”>“环境变量”>“系统变量”>中找到PATH变量，鼠标左键双击，兴建以下PATH，一个是C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Tools\MSVC\14.43.34808\bin\Host”。

C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Tools\MSVC\14.43.34808\bin\Host”

2、 本地编译Xinference

建立文件夹命名为“Xinference”，选中地址栏，输入CMD，回车即进入到命令行输入界面，然后输入命令 pip install xinference[all] 命令，回车，等待编译完成。成功编译完成如下图

pip install xinference[all]

此步骤容易出错，以下为纠错步骤，如没有遇到错误直接下一步。

错误1、安装过程中如果出现如图提示错误，说明缺少PyTorch，可以输入命令安装，如果有独立显卡的输入pip install torch torchvision torchaudio --index-url
https://download.pytorch.org/whl/cu118，如果没有独立显卡的输入 pip install torch torchvision torchaudio --index-url
https://download.pytorch.org/whl/cpu

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

安装完后，输入命令python -c "import torch; print(torch.cuda.is_available())"，如果输出为true，即安装正确了。

python -c "import torch; print(torch.cuda.is_available())"

错误2，如图。如果电脑没有安装CUDA，可以去
https://developer.nvidia.com/cuda-downloads安装合适版本。

错误3、如果出现“llama-cpp-python”模块报错，可以用命令git clone
https://github.com/abetlen/llama-cpp-python.git进行安装。

如果安装无法拉取文件，可以下载zip文件本地安装。但是注意下载的zip解压后llama-cpp-python-main\vendor\llama.cpp文件夹中文件缺失，可以自行拉取，方法如下：PowerShell进入到解压文件C:\Users\你的用户名\llama-cpp-python-main\vendor\llama.cpp之下，输入git clone
https://github.com/ggml-org/llama.cpp.git拉取文件。文件拉取完成后，依次输入命令“git submodule update --init –recursive”、“cd ../..”、“pip install .”即可安装安装完成。

git clone https://github.com/ggml-org/llama.cpp.git
git submodule update --init –recursive
cd ../..
pip install

检测是否安装成功，打开PowerShell输入python>import llama_cpp>print(llama_cpp.__version__)，没有报错即成功，如图

python
import llama_cpp
print(llama_cpp.__version__)

错误4、某些小伙伴安装后可能会缺少socksio-1.0.0库，PowerShell中输入pip install socksio安装即可。

pip install socksio

3、 PowerShell输入命令xinference-local运行程序

打开浏览器输入http://127.0.0.1:9997访问Xinference，如图。下次再运行的时候PowerShell中输入xinference-loca即可。

xinference-local

二、在Xinference中部署本地大模型

1、 部署语言模型（LANGUAGE MODELS）：蒸馏版deepseek R1模型。

在PowerShell中通过命令xinference-local，启动Xinference，然后在浏览器中访问http://127.0.0.1:9997/，进入图形化界面。点击左上“Launch Model”>“LANGUAGE MODELS”>” deepseek-r1-distill-qwen”，按照下图进行设置。

点击火箭图标后，就开始本地部署。可以参看PowerShell中正在运行的内容，如下图

安装好后，回到http://127.0.0.1:9997/，点击“Running Models”就可以看到正在运行的语言模型了，如图所示

2、 部署嵌入模型（EMBEDDING MODELS）：bge-m3。

在PowerShell中通过命令xinference-local，启动Xinference，然后在浏览器中访问http://127.0.0.1:9997/，进入图形化界面。点击左上“Launch Model”>“EMBEDDING MODELS”>” bge-m3”，使用默认参数即可。

安装好后，回到http://127.0.0.1:9997/，点击“Running Models”就可以看到正在运行的模型了，如图所示

3、 部署重排序模型（RERANK MODELS）：bge-reranker-v2-m3

在PowerShell中通过命令xinference-local，启动Xinference，然后在浏览器中访问http://127.0.0.1:9997/，进入图形化界面。点击左上“Launch Model”>“RERANK MODELS”>” bge-reranker-v2-m3”， 使用默认参数即可。

三、如果你装有Docker，也可以在本地用Docker部署Xinference。

1、个人部署

docker run -it --name xinference -d -p 9997:9997 -e XINFERENCE_MODEL_SRC=modelscope -e XINFERENCE_HOME=/workspace -v /yourworkspace/Xinference:/workspace --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

2、也可以分布式部署

docker run -it --name xinference-master -d -p 9997:9997 -e XINFERENCE_MODEL_SRC=modelscope -e XINFERENCE_HOME=/workspace -v /yourworkspace/Xinference:/workspace --gpus all xprobe/xinference:latest xinference-supervisor -H "${master_host}"
docker run -it --name xinference-worker -d -p 16500:16500 -e XINFERENCE_MODEL_SRC=modelscope -e XINFERENCE_HOME=/workspace -v /yourworkspace/Xinference:/workspace -e "http://${supervisor_host}:9997" -H "${worker_host}"

3、在浏览器中访问http://127.0.0.1:9997/，进入图形化界面。在Xinference部署大模型见二中所述。

写作不易，麻烦点个红星和关注！

下篇发布Xinference+Dify部署。