简介
llama.cpp 是 Georgi Gerganov 于 2023 年发起的开源大模型推理引擎，GitHub 上约有 13.5 万星。它现由 Hugging Face 的 ggml 团队以 MIT 协议维护。它用纯 C/C++ 实现，CPU、Apple 芯片和各家显卡都能运行，配合低比特量化，普通电脑也跑得动大模型。用 llama cli 可直接下载 GGUF 模型对话，用 llama serve 可启动 OpenAI 兼容的 API 和网页界面。2026 年 11 月 13 日发布的 v1.0.0 起按大版本号标明接口变化。许多本地 AI 应用都基于它或其 ggml 张量库构建。
- 纯 C/C++无外部依赖，可编译到几乎所有平台
- 广泛硬件支持 CUDA、Metal、Vulkan、HIP 等十几种后端
- 量化推理1.5 至 8 比特整数量化，省内存、提速度
- 混合推理CPU 与 GPU 协同，可跑超出显存的模型
- 一键拉模型llama cli -hf 直接下载 Hugging Face 上的 GGUF
- 兼容 APIllama serve 提供 OpenAI 与 Anthropic 兼容接口
- 网页界面内置聊天 Web UI，可上传文件、接 MCP 服务器
- 多模态与语音支持视觉模型，v1.0 新增语音合成接口
界面截图
可左右滑动，或使用方向键、Home 和 End 浏览截图。
定价 · 套餐对比
Open Source$0
