如何使用llama.cpp在普通电脑上运行大模型？ – wiki词典

作者： /

I apologize for the repeated errors. It seems I am unable to create or modify files in this environment.

However, I can still provide you with the article you requested. Please find it below. You can copy and paste this content into a new file on your computer.

如何在普通电脑上用 llama.cpp 运行大语言模型

引言

近年来，大型语言模型（LLM）如 GPT-3、Llama 等展现了惊人的能力，但它们通常需要昂贵的高端硬件（尤其是 GPU）才能运行。这使得许多开发者和AI爱好者望而却步。

幸运的是，一个名为 llama.cpp 的开源项目彻底改变了这一局面。

什么是 llama.cpp？
llama.cpp 是一个完全用 C/C++ 编写的 Llama 模型推理项目。它的目标是让大模型能在普通消费级硬件上（包括你的笔记本电脑或台式机）高效运行，并且以 CPU 推理为核心，同时支持 GPU 加速。

为什么选择 llama.cpp？
* 硬件门槛低：不需要昂贵的 NVIDIA GPU，主要依赖 CPU 和内存。
* 性能卓越：通过整数量化、优化算法和硬件加速（如 AVX, BLAS, Metal, CUDA），在 CPU 上实现了非常快的推理速度。
* 跨平台：支持 Windows, macOS, 和 Linux。
* 社区活跃：项目更新迅速，支持的模型越来越多。
* 模型格式开放：使用 GGUF 格式，这是一种为 CPU 推理优化的模型文件格式。

本篇文章将详细带你走过从环境准备到成功运行一个大模型的全过程。

第一步：环境准备

在开始之前，你需要确保电脑上安装了以下软件：

  1. Git：用于从 GitHub 克隆项目代码。
  2. C/C++ 编译器：
    • Windows: 推荐安装 Visual Studio Community (选择 “Desktop development with C++”) 或者使用 MinGW-w64。
    • macOS: 安装 Xcode Command Line Tools (xcode-select --install)。
    • Linux: 安装 build-essential (sudo apt-get install build-essential)。
  3. (可选) Python: 很多模型的下载脚本和转换工具会用到 Python。
  4. (可选) CUDA Toolkit: 如果你有 NVIDIA 显卡并希望用它来加速，需要安装。
  5. (可选) CMake: 虽然 make 是主要编译方式，但 CMake 提供了更灵活的跨平台编译选项。

第二步：获取并编译 llama.cpp

1. 克隆代码库

打开你的终端（Windows 上可以是 PowerShell 或 Git Bash），执行以下命令：

bash
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

2. 编译项目

llama.cpp 提供了多种编译方式，以适应不同的硬件和需求。

A) 基础 CPU 版本 (最简单)

这是最通用的方式，只使用 CPU 进行计算。

bash
make

编译成功后，你会在项目根目录下看到 main（或 main.exe）和 server（或 server.exe）等可执行文件。

B) 高级优化版本 (推荐)

为了获得更好的性能，你可以启用一些硬件加速。

  • 使用 BLAS (推荐给大多数 x86 CPU 用户)
    OpenBLAS 或 Apple 的 Accelerate 框架可以显著提升矩阵运算速度。

    “`bash

    对于 Linux/Windows (需提前安装 OpenBLAS)

    make LLAMA_BLAS=1

    对于 macOS (会自动使用 Accelerate 框架)

    make LLAMA_BLAS=1
    “`

  • 使用 Apple Metal (推荐给 M 系列芯片的 Mac 用户)
    如果你用的是 Apple Silicon (M1, M2, M3 等)，启用 Metal 可以利用 GPU 进行大规模并行计算，速度提升非常明显。

    bash
    make LLAMA_METAL=1

  • 使用 NVIDIA CUDA (推荐给有 NVIDIA 显卡的用户)
    如果你有支持 CUDA 的 N 卡，可以把部分计算层（”layers”）卸载到 GPU 上运行。

    bash
    make LLAMA_CUDA=1

提示：如果编译命令失败，请检查是否缺少依赖（如 g++, make, CMake 等），或者 CUDA/BLAS 库的路径是否正确配置。

第三步：下载模型

llama.cpp 使用一种特殊的、为 CPU 优化过的模型格式——GGUF (GPT-Generated Unified Format)。你不能直接使用原始的 PyTorch 或 TensorFlow 模型。

你需要去哪里下载 GGUF 格式的模型呢？Hugging Face 是你的最佳选择。

1. 寻找模型

  1. 访问 Hugging Face Models。
  2. 在搜索框中输入你感兴趣的模型名称，并在后面加上 “GGUF”，例如 "Mistral 7B GGUF" 或 "Llama-2-7b-chat GGUF"。
  3. 通常，TheBloke (一个知名的社区贡献者) 会提供几乎所有流行模型的 GGUF 版本。

2. 理解量化 (Quantization)

在模型文件列表中，你会看到类似 q4_K_M, q5_K_S, q8_0 等文件名。这代表了模型的“量化”等级。

  • 量化是什么？ 简单来说，就是通过降低模型权重的精度（比如从16位浮点数降到4位整数）来大幅减小模型文件的体积和内存占用。
  • 如何选择？
    • 文件名中的数字越大（如 q8 > q4），精度越高，模型效果越好，但文件也越大，需要的内存也越多。
    • 对于入门，Q4_K_M 是一个绝佳的平衡点，它在质量和性能之间取得了很好的平衡。
    • 如果你的内存非常有限（例如只有 8GB），可以尝试 Q3 或 Q2 的版本。

3. 下载模型文件

找到你想要的文件后，点击文件名，然后点击旁边的 “download” 按钮。你也可以使用 wget 或 git lfs 来下载。

为了方便管理，建议在 llama.cpp 目录下创建一个 models 文件夹，并将下载好的 .gguf 文件放进去。

“`bash
mkdir models

将下载好的模型移动到 models/ 目录下

mv ~/Downloads/your-model-q4_K_M.gguf ./models/
“`

第四步：运行模型进行对话！

一切准备就绪，现在是最激动人心的时刻！

1. 命令行交互模式

打开终端，进入 llama.cpp 目录，执行以下命令：

bash
./main -m ./models/your-model-q4_K_M.gguf -n 512 --color -ins -p "你好，请你用中文做一个自我介绍。"

让我们分解一下这个命令：
* ./main: 我们刚刚编译好的主程序。
* -m ./models/...gguf: 指定要加载的模型文件路径。
* -n 512: 设置模型一次最多生成多少个 token（可以理解为单词或汉字）。
* --color: 让输出的文本带上颜色，方便区分你和模型的对话。
* -ins: 非常重要！这个参数会以“指令模式”运行，这对于大多数聊天或问答模型是必需的。
* -p "...": 你的初始输入，也就是你的问题或指令。

模型加载完成后，你就会看到它开始逐字生成回答。

2. 持续对话模式

如果你想和模型进行连续的多轮对话，可以这样运行：

bash
./main -m ./models/your-model-q4_K_M.gguf --color -ins -n -1 --reverse-prompt "User:"

  • -n -1: 生成无限个 token，直到你手动停止。
  • --reverse-prompt "User:": 设置一个反向提示，当模型生成这个词时，它会停下来，把控制权交还给你，等待你的下一轮输入。

在这种模式下，模型回答完后，程序会等待你输入新的内容。

常用参数调整

  • -c <number>: 设置上下文长度 (Context size)。如果你的内存够大（例如 16GB+），可以设置为 4096 或更高，这样模型能“记住”更长的对话历史。
  • --temp <number>: 设置温度 (Temperature)。值越高（如 1.2），回答越有创造性和随机性；值越低（如 0.2），回答越确定和保守。默认为 0.8。
  • -ngl <number>: (GPU 加速) 如果你编译了 CUDA 或 Metal 版本，可以用这个参数指定卸载到 GPU 的层数。例如 -ngl 35。把尽可能多的层放到 GPU 上可以极大提升速度。设置为 999 可以把所有能放的层都放上去。

第五步：(可选) 搭建一个本地 API 服务器

llama.cpp 还附带一个轻量级的 Web 服务器，可以让你把本地运行的模型变成一个与 OpenAI API 兼容的接口。这样，任何支持 OpenAI API 的第三方应用（比如一些开源的聊天UI界面）都可以直接连接你的本地模型。

bash
./server -m ./models/your-model-q4_K_M.gguf -c 4096 --host 0.0.0.0 --port 8080
* ./server: 启动服务器程序。
* --host 0.0.0.0: 允许局域网内的其他设备访问。
* --port 8080: 指定服务端口。

服务器启动后，你就可以在浏览器中访问 http://127.0.0.1:8080，会看到一个简单的交互界面。同时，它的 API 端点是 http://127.0.0.1:8080/v1，你可以将其配置到其他应用中。

结论

通过 llama.cpp，在个人电脑上运行强大的语言模型已经从一个遥不可及的梦想变成了现实。它不仅 democratizes 了大模型技术，也为开发者和研究者提供了一个绝佳的本地实验平台。

现在你已经掌握了基本用法，不妨去尝试下载不同的模型，调整各种参数，探索大模型能力的边界吧！

滚动至顶部