Llama App 与 llama.cpp 上手：本地跑开源模型、OpenAI 兼容 API、结构化输出与工具调用
按 llama.cpp 团队与 Hugging Face 的 Llama 官方文档（llama build b11852 实测）：一行装好 llama 命令，按内存挑模型并在终端对话，用 llama serve 起 OpenAI 兼容的本地 API，接 Python SDK、流式、密钥和 Anthropic 格式，再做 JSON Schema 结构化输出、工具调用、本地向量语义搜索和多模型路由，最后接入 Codex CLI 与 Pi。
入门·3 课时·69 分钟·图文实操
免费学习无需登录
你将学会
- 一行命令装好 llama 并按内存挑模型
- 用 llama cli 在终端对话和调参数
- 用 llama serve 起 OpenAI 兼容本地 API
- 处理思考模型的空回答与用量统计
- 用 JSON Schema 和工具调用做可靠输出
- 本地向量语义搜索与多模型路由
适合谁
- 想离线、免费跑开源大模型的个人用户
- 想把本地模型接进自己程序的开发者
- 在找 Ollama 之外方案的本地 AI 玩家
课前准备
- 会用终端基本命令
- 内存 8 GB 以上（本课实测模型 0.8B）
- 第 2、3 课的 Python 示例需要 uv 或 pip
课程目录
3 课时 · 69 分钟- 01安装 llama，按内存挑模型，在终端里对话弄清 Llama App、llama cli、llama serve 的关系，用官方一行脚本装好 llama，按 llama.app/models 的内存建议挑模型，用 仓库:量化 下载并查看缓存，用 llama cli 单轮提问，学会 -sys、--temp 等采样参数、-rea off 关闭思考，以及上下文与内存相关参数。图文20 分钟开始本课
- 02llama serve：OpenAI 兼容的本地 API用 llama serve 起服务并用 /health 判断就绪，用 curl 发请求时看懂思考模型回答为空、finish_reason 为 length 的原因，读 usage、timings 与提示词缓存，用 OpenAI Python SDK 调用和流式输出，设 --api-key 并对照 401，再用 Anthropic /v1/messages 和 /tokenize、/props 原生接口调试。图文24 分钟开始本课
- 03结构化输出、工具调用、语义搜索、路由模式与智能体用 JSON Schema 约束本地模型抽取发票字段，写两轮工具调用让模型查天气，用 EmbeddingGemma 2 起向量服务做中文语义搜索，用不带模型的 llama serve 路由模式按需加载多个模型，最后按官方文档把本地模型接到 Codex CLI、ChatGPT 桌面版和 Pi。图文25 分钟开始本课
课程说明
llama.cpp 是在自己电脑上跑开源大模型的推理引擎（MIT 许可），也是许多本地 AI 工具的底层。现在 llama.cpp 团队和 Hugging Face 在 https://llama.app 推出了 Llama App：Mac 和 Windows 上有桌面应用，命令行则统一成一个 llama 命令，llama cli 用来在终端对话，llama serve 用来提供 OpenAI 兼容的本地 API 和网页聊天界面。
本课按 Llama 官方文档（https://llama.app/docs ）整理。2026-10-27 在一台没有显卡的 Linux 云主机上，用 llama build b11852 和 0.8B 的小模型逐条实跑，「对照结果」都是真实输出。桌面 App、浏览器聊天界面和接入编程智能体三部分取自官方文档描述，课内会单独注明。全程不需要账号和 API Key。共 3 课时：
| 课时 | 你会做完的事 | 需要什么 |
|---|---|---|
| 1 | 装好 llama，按内存挑模型并下载，在终端单轮提问，学会系统提示词、采样参数和关闭思考 | 终端，8 GB 以上内存 |
| 2 | 用 llama serve 起本地 API，用 curl 和 OpenAI Python SDK 调用，流式输出、设密钥、读用量，再用 Anthropic 格式调用 | 同上，加 uv 或 pip |
| 3 | JSON Schema 抽取发票字段，两轮工具调用，本地向量语义搜索，多模型路由，接入 Codex CLI 与 Pi | 同上 |
适合
- 想离线、免费在自己电脑上跑开源大模型的个人用户
- 想把本地模型接进自己程序或脚本的开发者
- 已经用过 Ollama、想试试 llama.cpp 官方方案的玩家
先修
- 会用终端基本命令
- 内存 8 GB 以上。课内实测用 0.8B 模型，内存更大可以换官方推荐的 Gemma 4 等模型
- 第 2、3 课的 Python 示例需要 uv 或 pip
官方来源：
- Llama 官网与下载：https://llama.app
- 推荐模型：https://llama.app/models
- 文档 Introduction：https://llama.app/docs/introduction
- Installation：https://llama.app/docs/installation
- Quickstart：https://llama.app/docs/quickstart
- Using the CLI：https://llama.app/docs/cli
- Running a server：https://llama.app/docs/serve
- API server：https://llama.app/docs/api
- Web UI：https://llama.app/docs/webui
- Using Llama App with Agents：https://llama.app/docs/agents
- 源码仓库：https://github.com/ggml-org/llama.cpp
绑定工具： Llama（/tools/llama-app/）