Ollama 在 Linux 上的部署与配置：AI 模型本地运行 – wiki词典

作者： /

在 Linux 上部署与配置 Ollama：本地运行 AI 模型

随着人工智能技术的飞速发展，将大型语言模型 (LLM) 本地化运行变得越来越受到关注。Ollama 是一个出色的工具，它使得在 Linux 系统上部署和管理各种 LLM 变得前所未有的简单。本文将详细介绍如何在 Linux 环境中部署和配置 Ollama，以便您能够高效地在本地运行 AI 模型。

1. Ollama 安装

Ollama 的安装过程非常直接，通过其官方提供的一个脚本即可完成。该脚本会自动下载并设置 Ollama，包括为其创建一个 systemd 服务，以便于后续的管理。

安装步骤：

打开终端并执行以下命令：

bash
curl -fsSL https://ollama.com/install.sh | sh

验证安装：

安装完成后，您可以通过查询 Ollama 的版本来验证是否安装成功：

bash
ollama -v

如果命令返回 Ollama 的版本信息，则表示安装成功。

2. Ollama 服务管理 (systemd)

Ollama 默认会作为一个 systemd 服务运行，这意味着它可以随系统自动启动，并且可以通过标准 systemd 命令进行管理。

以下是一些常用的 systemd 命令：

  • 检查服务状态：
    bash
    sudo systemctl status ollama
  • 手动启动服务：
    bash
    sudo systemctl start ollama
  • 停止服务：
    bash
    sudo systemctl stop ollama
  • 设置开机自启：
    bash
    sudo systemctl enable ollama
  • 重启服务：
    在进行任何配置更改后，通常都需要重启 Ollama 服务以使更改生效。
    bash
    sudo systemctl restart ollama
  • 重新加载 systemd 守护进程：
    如果您直接修改了 Ollama 的 systemd 服务文件，需要重新加载 systemd 守护进程。
    bash
    sudo systemctl daemon-reload
  • 查看服务日志：
    bash
    journalctl -e -u ollama

3. Ollama 配置 (环境变量)

您可以通过设置环境变量来定制 Ollama 的行为。这些环境变量通常在 Ollama 的 systemd 服务文件中进行配置。

配置步骤：

  1. 编辑 Ollama systemd 服务文件：
    推荐使用 sudo systemctl edit ollama.service 命令。这会创建一个覆盖文件（override file），在保留原始服务文件的同时允许您进行自定义配置。
    bash
    sudo systemctl edit ollama.service

  2. 设置环境变量：
    在打开的编辑器中，找到 [Service] 部分，并添加 Environment="VARIABLE_NAME=value" 来设置您需要的环境变量。

    常用环境变量：

    • OLLAMA_HOST：定义 Ollama 监听的地址。默认情况下，Ollama 只监听 127.0.0.1（本地主机）。如果您希望网络上的其他机器也能访问 Ollama，可以将其设置为 0.0.0.0:11434。
      ini
      [Service]
      Environment="OLLAMA_HOST=0.0.0.0:11434"
    • OLLAMA_MODELS：设置自定义的模型存储目录。请确保 ollama 用户对该目录拥有读写权限。
      ini
      [Service]
      Environment="OLLAMA_MODELS=/path/to/your/models"
      如果您更改了模型目录，请确保设置正确的权限：
      bash
      sudo chown -R ollama:ollama /path/to/your/models
    • OLLAMA_DEBUG：启用调试输出。
    • OLLAMA_ORIGINS：配置允许访问 Ollama 服务器的来源 URL，这对于基于 Web 的界面非常有用。
    • HTTPS_PROXY：如果 Ollama 需要通过代理拉取模型，请设置此变量。请注意，Ollama 使用 HTTPS 进行模型拉取，因此应避免使用 HTTP_PROXY。

  3. 保存并退出编辑器。

  4. 重新加载 systemd 守护进程并重启 Ollama：
    bash
    sudo systemctl daemon-reload
    sudo systemctl restart ollama

4. GPU 加速 (可选)

为了获得更好的性能，特别是在处理大型模型时，Ollama 可以利用 GPU 进行加速。

  • NVIDIA GPU： 需要安装 CUDA 驱动。您可以使用 nvidia-smi 命令来验证驱动是否安装成功。
  • AMD GPU： 需要安装 ROCm 驱动。

5. 硬件要求

Ollama 及其运行的 LLM 可能会消耗大量资源。以下是运行 7B 参数模型所需的最低推荐硬件配置：

  • RAM： 最低 16GB。
  • 硬盘空间： 至少 50GB，用于 Ollama、Llama3:8b 等模型以及可能的 Web 界面。如果需要运行更多模型，则需要额外的空间。
  • CPU： 推荐配备 4 到 8 核的较新的 Intel 或 AMD CPU。
  • GPU： 虽然不是强制要求，但强烈建议使用 GPU 以获得更好的性能体验。

6. 本地运行 AI 模型

完成安装和配置后，您就可以开始在本地拉取和运行 AI 模型了。

拉取模型示例：

例如，要拉取 Llama3 模型：

bash
ollama run llama3

列出本地模型：

您可以使用以下命令查看本地已下载的模型列表：

bash
ollama list

结论

Ollama 为在 Linux 上本地运行 AI 模型提供了一个强大且易于使用的解决方案。通过简单的安装步骤、灵活的 systemd 服务管理以及可配置的环境变量，您可以轻松地部署和定制您的本地 AI 模型运行环境。利用 Ollama，您可以更好地控制数据隐私，减少对云服务的依赖，并享受快速、高效的 AI 模型推理体验。

滚动至顶部