安装 llama，按内存挑模型，在终端里对话

这一课做完你会得到什么

在自己的电脑上装好 llama 命令，按内存挑一个合适的开源模型并下载，在终端里和它对话，学会设系统提示词、调采样参数、关掉思考过程。全程离线可用，不需要任何账号或 API Key。

Llama App 和 llama.cpp 是什么关系

llama.cpp 是在本机跑大模型的开源推理引擎（MIT 许可），模型用 GGUF 格式：一个文件里打包了权重、分词器和元数据。2026 年 9 月起，llama.cpp 团队和 Hugging Face 在 https://llama.app 推出了 Llama App（Mac 与 Windows 桌面应用），命令行工具则统一成一个 llama 命令：

三者底层都是 llama.cpp，模型都存在标准的 Hugging Face 缓存里，下载一次，App、命令行和其他工具都能用。本课以 llama 命令为主，因为它在 Mac、Windows、Linux 上用法一致，第 2、3 课的 API 也靠它。

第 1 步：安装

Mac 和 Windows 11 用户可以先在 https://llama.app 下载桌面 App（官网写明 Mac 安装包约 1 MB，装好约 4 MB；Mac 也可用 brew install --cask llama-app），装好后它会出现在菜单栏或系统托盘里。

命令行版本用官方一行安装脚本，Linux、macOS 通用（Windows 在 PowerShell 里用官网给出的 irm https://llama.app/install.ps1 | iex）：

curl -LsSf https://llama.app/install.sh | sh

脚本会依次探测 CUDA、ROCm、Vulkan，都没有就按 CPU 指令集下载合适的版本，装到 ~/.local/bin/llama。

对照结果（2026-10-27 实测，Linux x86_64，无显卡，节选）：

Version: b11852
Probing CUDA...
Probing ROCm...
Probing Vulkan...
Probing CPU...
Found: avx2
Found: avx512f
Downloading llama...
Installation completed successfully

Run the following command to start it:

  llama serve

如果提示 ~/.local/bin 不在 PATH 里，按脚本给出的那行 echo 'export PATH=...' 加进 shell 配置，然后重开终端。装好后确认版本：

llama cli --version

对照结果（2026-10-27 实测）：

version: 0.7.0-dev (build 11852, commit 7894e8b92)
built with Clang 22.1.8 for Linux x86_64

能打印版本和 build 号就说明装好了。llama help 可以看所有子命令，常用的是 cli、serve、download 和 update（升级到最新版）。

第 2 步：按内存挑模型

本地模型最先受限于内存。官方模型页 https://llama.app/models 给每个模型标了建议内存，例如（2026-10-27 页面）：

• Qwen 3.5 Small 0.8B：8 GB 以上，Q8_0 文件 0.81 GB，适合入门和低配机器；
• Gemma 4（E2B 到 31B 多个尺寸）：16 GB 以上；
• GPT-OSS 20B：24 GB 以上；
• Qwen 3.8 27B：32 GB 以上。

官方 Quickstart 用的是 unsloth/gemma-4-E4B-it-GGUF:Q4_K_M，约需 6 GB 内存。本课在只有约 2 GB 空闲内存的云主机上实测，所以选了最小的 ggml-org/Qwen3.5-0.8B-GGUF:Q8_0。内存够的话，把下面命令里的模型名换成 Gemma 4 即可，其他步骤完全相同。

模型名写成 Hugging Face 仓库:量化档位，冒号后面不写时默认找 Q4_K_M。先下载：

llama download -hf ggml-org/Qwen3.5-0.8B-GGUF:Q8_0

下载完会打印模型文件路径。看看缓存里有哪些模型：

llama cli -cl

对照结果（2026-10-27 实测）：

number of models in cache: 1
   1. ggml-org/Qwen3.5-0.8B-GGUF:Q8_0

第 3 步：在终端里聊天

直接带上模型名运行就进入交互聊天；如果还没下载，会先自动下载：

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF:Q8_0

进去后输入问题回车即可。界面会列出可用命令：/exit 退出，/regen 重新生成，/clear 清空历史，/read <file> 把一个文本文件加进对话。

只想问一句就退出，用 -st（单轮）加 -p（提示词）。这种写法也方便放进脚本：

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF:Q8_0 -st -rea off \
  -p "用一句话解释什么是 GGUF 文件。"

对照结果（2026-10-27 实测，节选；模型输出每次会不同）：

model      : ggml-org/Qwen3.5-0.8B-GGUF:Q8_0
ftype      : Q8_0
modalities : text

> 用一句话解释什么是 GGUF 文件。
GGUF 文件是一种压缩的量化模型量化文件，它通过降低模型参数量、
使用特定量化方式（如 FP16/INT8）以及高效的压缩技术（如 GPTQ）
来极大提高训练和推理速度。

[ Prompt: 189.0 t/s | Generation: 36.2 t/s ]

最后一行是速度：Prompt 是读入提示词的速度，Generation 是生成速度，单位都是每秒 token 数。

注意这个回答是错的：GGUF 是 llama.cpp 的模型文件格式，和 GPTQ 无关，也不能提高训练速度。0.8B 的小模型适合练手、做格式化和简单分类，事实性问题容易编造。要认真用，请按内存换更大的模型。

第 4 步：系统提示词、采样参数和思考开关

-sys 设系统提示词，--temp 等参数控制随机性：

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF:Q8_0 -st -rea off \
  --temp 0.2 -sys "你是简洁的助手，只用要点回答。" \
  -p "本地跑大模型前要先看哪 3 个硬件指标？"

对照结果（2026-10-27 实测，节选）：

1. **显存 (VRAM)**：需满足模型推理/训练所需显存容量……
2. **算力 (GPU 核心数/显存)**：需匹配模型架构……
3. **内存 (RAM)**：需满足模型加载与上下文窗口大小需求……

[ Prompt: 183.4 t/s | Generation: 53.7 t/s ]

官方 CLI 文档列出的常用采样参数和默认值：

不设时 llama.cpp 会按模型给出合理默认值。

-rea off 是什么：Qwen 3.5、Gemma 4 这类模型会先输出一段思考过程再回答。-rea off 关掉思考，回答更快；想保留思考但限制长度，用 --reasoning-budget 1024。第 2 课会看到不关思考时 API 返回的样子。

第 5 步：上下文和内存

两个和内存有关的参数：

# 指定上下文长度（0 表示用模型支持的最大值）
llama cli -m model.gguf -c 16384

# 大 MoE 模型配小显卡时，把专家权重留在 CPU 上
llama cli -m model.gguf -cmoe

官方文档说明，llama.cpp 默认会按可用内存自动调整没设置的参数（--fit on），所以启动时很少因为内存不够而失败。--list-devices 可以查看本机有哪些 GPU，-dev 指定用哪块。

已经有 .gguf 文件的，用 -m 文件路径 代替 -hf 仓库名。

用桌面 App 的话

本节按官方 Quickstart 描述，未在 Linux 云主机上实测。Mac 和 Windows 上打开 Llama App，在「Recommended for this Mac / PC」里点模型旁边的下载箭头。下载完点这个模型，按内存和需要的对话长度选上下文窗口，再点「Chat with the model」开始聊天。App 下载的模型和命令行共用同一个缓存，llama cli -cl 也能看到。

小结

• 一行脚本装好 llama，llama cli --version 确认；
• 按内存在 https://llama.app/models 挑模型，仓库:量化 指定文件；
• llama cli -st -p 适合单问一句，-sys、--temp、-rea off 是最常用的三个参数。

下一课用 llama serve 把模型变成 OpenAI 兼容的本地 API。