过去一周真是惊喜连连。AI社区发布了多款备受瞩目的新模型：
- StableLM-2–12B
- WizardLM-2–7B ?♂?
- Meta-Llama-3–8B 和 70B
可能是因为 StableLM 的架构相对更复杂，至今还未推出其量化版本……但是，对于 WizardLM-2 和 Llama-3，我们在 Hugging Face 上已经可以看到 GGUF 模型二进制文件。
你需要准备什么
我们将使用 llama.cpp 库和 python 在本地快速启动模型。这只是一个初步的测试设置，虽然只有文本界面……但保证百分之百可行。
需要安装的依赖
我们只需安装两个库：
只使用CPU
- 创建一个新目录（我创建的是 TestLlama3），进入该目录，并打开终端窗口。
python -m venv venv
venv\\Scripts\\activate # 激活虚拟环境现在你已经拥有了一个干净的 Python 环境，我们将安装 llama-cpp-python 和 OpenAI 库：
pip install llama-cpp-python[server]==0.2.62
pip install openai注意：之所以需要安装 OpenAI 库，是因为我们将利用 llama-cpp 附带的兼容 OpenAPI 服务器。这将为你未来的 Streamlit 或 Gradio 应用做好准备。
如果你有 Nvidia GPU
- 如果你拥有 NVidia GPU，在执行 pip 命令前，你需要设置编译器标志：
$env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"
pip install llama-cpp-python[server]==0.2.62
pip install openai从Hugging Face下载Llama-3–8B GGUF
这才是你真正需要的：以GGUF格式压缩的模型权重。
我尝试了几个版本，但截至目前，唯一一个配备了固定分词器和聊天模板的版本是这个库：
Meta-Llama-3-8B-Instruct-GGUF：https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF
前往HuggingFace的这个链接，点击“文件和版本”并选择Q2_K（仅3Gb）或Q4_K_M（4.9Gb）。第一个虽然不那么精确但速度更快，第二个在速度和精度上达到了较好的平衡。
在你的主项目目录中创建一个名为model的文件夹，并将GGUF文件下载到该文件夹内。
双终端策略
这里有个小技巧。最简单的方法是在一个终端窗口（激活虚拟环境后）运行 llama-cpp-server，在另一个终端窗口（同样激活虚拟环境后）运行与 API 交互的 python 文件。
因此，在主目录中打开另一个终端窗口并激活虚拟环境 venv。
Python文件
我们的 Python 文件（我称之为 Llama3-ChatAPI ）是一个文本界面程序。它接收我们的提示输入，并向API服务器发送/接收指令，然后获取响应。
这很方便，因为它完全独立于你正在使用的模型。让我们来看一看：
# 在你的终端与智能助手聊天
from openai import OpenAI
# 指向本地服务器
client = OpenAI(base_url="", api_key="not-needed") 这里我们调用了 OpenAI 库，该库内置了标准API调用的类，我们实例化了客户端。
然后我们用第一对消息格式化消息历史：Python 字典的第一个条目是系统消息，第二个是用户提示，要求模型介绍自己。
history = [
{"role": "system", "content": "你是一个智能助手。你总是提供既正确又有用的经过深思熟虑的回答。"},
{"role": "user", "content": "你好，请向第一次打开这个程序的人介绍一下自己。请简洁明了。"},
]
print("\\033[92;1m")这个奇怪的打印语句是一个ANSI转义码，用来改变终端颜色（如果你想了解更多，可以阅读这里：
https://blog.stackademic.com/how-to-quickly-test-a-new-llm-without-wasting-time-17d1aa0ef858）。
现在我们开始一个while循环：基本上，我们总是请求用户的提示，并从我们的Meta-Llama-3–7B-instruct模型生成回复，直到我们说退出或退出。
while True:
completion = client.chat.completions.create(
model="local-model", # 这个字段目前未使用
messages=history,
temperature=0.7,
stream=True,
)
new_message = {"role": "assistant", "content": ""}
for chunk in completion:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
new_message["content"] += chunk.choices[0].delta.content
history.append(new_message)
print("\\"\\033[91;1m"
userinput = input("> ")
if userinput.lower() in ["quit", "exit"]:
print("\\033[0mBYE BYE!")
break
history.append({"role": "user", "content": userinput})
print("\\033[92;1m")首次调用是为了完成聊天：实际上，我们已经有了一个关于模型的问题
“你好，请向第一次打开这个程序的人介绍一下自己。请简洁明了。”
我们使用了 Stream 方法，因此 Python 将在 API 调用发送响应令牌的同时开始逐个显示响应。
注意：如果你没有 GPU，这可能需要几秒钟的时间，具体取决于提示的长度
最后，我们请求用户输入以准备开始新一轮：我们将新的提示添加到现有的聊天历史（history）中，以便Llama3可以开始处理它。
开始运行
在第一个终端窗口，激活虚拟环境后运行以下命令：
# 仅使用CPU
python -m llama_cpp.server --host 0.0.0.0 --model .\\model\\Meta-Llama-3-8B-Instruct.Q2_K.gguf --n_ctx 2048
# 如果你有NVidia GPU
python -m llama_cpp.server --host 0.0.0.0 --model .\\model\\Meta-Llama-3-8B-Instruct.Q2_K.gguf --n_ctx 2048 --n_gpu_layers 28这将启动与 OpenAI 标准兼容的 FastAPI 服务器。你应该会看到类似这样的东西：
服务器准备就绪时，Uvicorn会用美丽的绿色灯光消息通知你：
注意：我在这里只设置了2048个令牌作为上下文：实际上Llama3能够处理高达8192个令牌的上下文，但这同样也会消耗RAM或VRAM，所以我们暂时保持较低的设置（以免GPU崩溃）
注意2：这个8B参数模型实际上有33层，但我只将其中28层设置为GPU。试试看你自己能在不崩溃的情况下卸载多少层。
注意3：在这个例子中我使用的是Q2版本Meta-Llama-3–8B-Instruct.Q2_K.gguf。更换为Q4_K_M文件名以运行4位量化版本
创建另外一个终端，该窗口用于激活虚拟环境后运行
python .\\Llama3-ChatAPI.py现在，你已经准备好了。随心所欲地提出任何问题。
这是我与 Meta-Llama-3–8b-Instruct 的对话...
额外福利 — 你可以在Hugging Face Chat上免费运行它
如果你觉得麻烦或想尝试70B模型版本，你可以直接在HuggingFace Hub Chat这里进行：
HuggingChat：https://huggingface.co/chat/
资源：
- Meta-Llama-3-8B-Instruct-GGUF：https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF
- ANSI转义码，用来改变终端颜色：https://blog.stackademic.com/how-to-quickly-test-a-new-llm-without-wasting-time-17d1aa0ef858
- HuggingChat：https://huggingface.co/chat/
点赞关注 二师兄 talk 获取更多资讯，并在 头条 上阅读我的短篇技术文章