简介
TensorFold 是英国开发者 Ash Hart 发起、以 Apache-2.0 协议开源的本地大模型推理引擎,GitHub 上约有 2,300 星。它用 Zig 编写原生引擎,直接调用 Metal 和 CUDA,并提供兼容 OpenAI 和 Anthropic 的接口,现有智能体和 SDK 不用改代码就能接入。它支持草稿并行解码和提示复用,官方公布的单卡解码成绩最高约每秒 874 个 token。配套的 Mac 应用可下载模型、一键启动本地服务,并内置对话和多智能体房间。桌面应用目前只支持 Apple Silicon,跑分只适用于官方列出的模型和硬件。
- 原生引擎Zig 编写,直接走 Metal 和 CUDA,运行时不依赖 Python
- 兼容接口提供 OpenAI 和 Anthropic 兼容接口,现有工具直接接入
- 并行解码草稿模型一次提议多个 token,只提交校验通过的部分
- 提示复用保留对话状态,续聊时少算重复的前缀
- 多机联跑部分模型可分布在两台 Mac 上运行
- Mac 应用下载模型、启动服务,并提供对话和多智能体房间
- 连接器可接 Slack、Discord、Telegram 和 Google 账号
- StarLight开源企业控制台,统一管理团队的机器和预算
界面截图
可左右滑动,或使用方向键、Home 和 End 浏览截图。
定价 · 套餐对比
Open Source$0




