以前安装过langchain-chatchat 0.2.X，前一段时间langchain-chatchat发布了期待已久的大版本升级，升到全新构建的0.3.0。就重新安装了一下。

以下为升级内容：

0.3.x 版本功能一览

0.3.x 版本的核心功能由 Agent 实现,但用户也可以手动实现工具调用:

Langchain-Chatchat简介

项目地址：

https://github.com/chatchat-space/Langchain-Chatchat

Langchain-Chatchat利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

支持市面上主流的开源 LLM、 Embedding 模型与向量数据库，可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

从文档处理角度来看，实现流程如下：

已支持的模型部署框架与模型

本项目中已经支持市面上主流的如 GLM-4-Chat 与 Qwen2-Instruct 等新近开源大语言模型和 Embedding 模型，这些模型需要用户自行启动模型部署框架后，通过修改配置信息接入项目，本项目已支持的本地模型部署框架如下：

除上述本地模型加载框架外，项目中也为可接入在线 API 的 One API 框架接入提供了支持，支持包括 OpenAI ChatGPT、Azure OpenAI API、Anthropic Claude、智谱清言、百川 等常用在线 API 的接入使用。

安装部署

Langchain-Chatchat v0.3.0以上有3种部署方法: pip、docker、代码，本次选择pip方式，其他方式请参考文档。

1，安装包，直接运行：

pip install langchain-chatchat -U -i https://pypi.tuna.tsinghua.edu.cn/simple 

即可安装langchain-chatchat包。

2，进行初始化：

chatchat init

该命令会执行以下操作：

• 创建所有需要的数据目录
• 复制 samples 知识库内容
• 生成默认 yaml 配置文件

3，修改配置文件：

• 配置模型（model_settings.yaml）
  需要根据步骤 2. 模型推理框架并加载模型 中选用的模型推理框架与加载的模型进行模型接入配置，具体参考 model_settings.yaml 中的注释。主要修改以下内容：

我根据我的情况，将对应内容修改为：

platform_name: ollama
platform_type: ollama
api_base_url: http://127.0.0.1:11434/v1
api_key: EMPTY
api_proxy: ''
api_concurrencies: 5
auto_detect_model: false
llm_models:
  - qwen:7b
  - qwen2:7b
embed_models:
  - quentinz/bge-large-zh-v1.5
text2image_models: []
image2text_models: []
rerank_models: []
speech2text_models: []
text2speech_models: []

4. 初始化知识库

进行知识库初始化前，请确保已经启动模型推理框架及对应 embedding 模型，且已按照上述步骤3完成模型接入配置。

chatchat kb -r

5. 启动项目

chatchat start -a

效果如下：

如果需要其他地址进行访问，需要修改：basic_settings.yaml，按照注释，将3个HOST选项修改为：“0.0.0.0”

工具使用

如果需要使用工具，需要根据实际情况修改：tool_settings.yaml

已数据库工具为例，我根据我的情况，修改对应内容为：

# text2sql使用建议
# 1、因大模型生成的sql可能与预期有偏差，请务必在测试环境中进行充分测试、评估；
# 2、生产环境中，对于查询操作，由于不确定查询效率，推荐数据库采用主从数据库架构，让text2sql连接从数据库，防止可能的慢查询影响主业务；
# 3、对于写操作应保持谨慎，如不需要写操作，设置read_only为True,最好再从数据库层面收回数据库用户的写权限，防止用户通过自然语言对数据库进行修改操作；
# 4、text2sql与大模型在意图理解、sql转换等方面的能力有关，可切换不同大模型进行测试；
# 5、数据库表名、字段名应与其实际作用保持一致、容易理解，且应对数据库表名、字段进行详细的备注说明，帮助大模型更好理解数据库结构；
# 6、若现有数据库表名难于让大模型理解，可配置下面table_comments字段，补充说明某些表的作用。
text2sql:
  model_name: qwen2:7b
  use: true
  sqlalchemy_connect_str: mysql+pymysql://root:yourpasswd@127.0.0.1:3306/dbgpt_test
  read_only: true
  top_k: 50
  return_intermediate_steps: true
  table_names: []
  table_comments: {}

效果如下：