本文以 LangChain-Chatchat 0.3.1 为例，支持中文对话、知识库问答和本地模型推理。

一、环境准备

1. 硬件与系统要求

• 操作系统：Windows 10/11（推荐）
• Python 版本：3.10（兼容性最佳）
• GPU 支持（可选）：NVIDIA 显卡（CUDA 12.1 或更高）显存 ≥ 8GB（运行 7B 参数模型，如 ChatGLM3-6B）存储空间：≥30GB（模型文件 + 依赖库）

2. 安装基础工具

• Anaconda：管理 Python 环境（官网下载）
• Git：拉取代码仓库（官网下载）
• CUDA Toolkit（GPU 用户）：
• bash
• 复制
• pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

二、部署流程

1. 创建虚拟环境

bash

复制

conda create -n langchain python=3.10
conda activate langchain

2. 安装依赖包

bash

复制

pip install "langchain-chatchat[xinference]" -U  # 核心框架 + 推理引擎[1,8](@ref)
pip install sentence-transformers chromadb        # 向量数据库与嵌入模型[3](@ref)

3. 配置项目目录

• 设置数据存储路径（避免中文路径）：
• cmd
• 复制
• set CHATCHAT_ROOT=D:\LangChain-Data # Windows 环境变量[1,8](@ref)
• 初始化配置文件：
• bash
• 复制
• chatchat init # 生成 configs 目录和默认配置[8](@ref)

4. 下载与配置模型

• 推荐模型：对话模型：ChatGLM3-6B、Qwen-7B-Chat
• 嵌入模型：BAAI/bge-large-zh（中文语义向量）
• 操作步骤：从 HuggingFace 下载模型（需 Git LFS）：
• bash
• 复制
• git lfs install git clone https://huggingface.co/THUDM/chatglm3-6b
• 将模型文件放入目录：
• 复制
• %CHATCHAT_ROOT%/models/chatglm3-6b/
• 修改配置文件 configs/model_config.py：
• python
• 复制
• "llm_model": { "chatglm3-6b": "D:\\LangChain-Data\\models\\chatglm3-6b" # 替换为实际路径 }

5. 配置向量数据库（知识库）

python

复制

# configs/kb_config.py
VS_TYPE = "Chroma"                    # 使用轻量级 ChromaDB[3](@ref)
EMBEDDING_MODEL = "bge-large-zh"      # 中文嵌入模型

6. 启动服务

bash

复制

python startup.py -a  # 启动全部模块（API+WebUI）

• 访问地址：http://127.0.0.1:8501
  https://example.com/langchain-webui.png （Web 交互界面示意图）

三、高级功能配置

1. 加载本地知识库

1. 将文档（PDF/TXT）放入 knowledge_base 目录
2. 重建向量库：
3. bash
4. 复制
5. python init_database.py --recreate-vs # 重新生成向量索引[8](@ref)

2. 多模型切换

编辑 configs/model_config.py，支持同时加载多个模型：

python

复制

LLM_MODELS = ["chatglm3-6b", "qwen-7b-chat"]  # 模型列表

四、常见问题排查

五、优化建议

1. GPU 加速：使用 llama-cpp-python 替代默认推理引擎（支持 GGML 量化模型）

bash

复制

pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir

2. 减少显存占用：选择量化模型（如 Qwen-7B-Chat-Int4）
3. 知识库分块优化：调整 chunk_size=500、chunk_overlap=100（避免信息丢失）

提示：完成部署后，通过 http://localhost:8501 测试问答功能，上传文档至知识库体验私有数据检索。遇到问题可查看 logs 目录下的错误日志定位原因。