TensorFold Labs

TensorFold

在自己的 Mac 和显卡上跑大模型的开源推理引擎

更新于 2026-11

  • macOS
  • Linux
产品概览
概览
分类AI 编程
场景编程
平台macOS / Linux

简介

TensorFold 是英国开发者 Ash Hart 发起、以 Apache-2.0 协议开源的本地大模型推理引擎,GitHub 上约有 2,300 星。它用 Zig 编写原生引擎,直接调用 Metal 和 CUDA,并提供兼容 OpenAI 和 Anthropic 的接口,现有智能体和 SDK 不用改代码就能接入。它支持草稿并行解码和提示复用,官方公布的单卡解码成绩最高约每秒 874 个 token。配套的 Mac 应用可下载模型、一键启动本地服务,并内置对话和多智能体房间。桌面应用目前只支持 Apple Silicon,跑分只适用于官方列出的模型和硬件。

  • 原生引擎Zig 编写,直接走 Metal 和 CUDA,运行时不依赖 Python
  • 兼容接口提供 OpenAI 和 Anthropic 兼容接口,现有工具直接接入
  • 并行解码草稿模型一次提议多个 token,只提交校验通过的部分
  • 提示复用保留对话状态,续聊时少算重复的前缀
  • 多机联跑部分模型可分布在两台 Mac 上运行
  • Mac 应用下载模型、启动服务,并提供对话和多智能体房间
  • 连接器可接 Slack、Discord、Telegram 和 Google 账号
  • StarLight开源企业控制台,统一管理团队的机器和预算
本地大模型推理引擎Apple SiliconCUDAOpenAI 兼容开源

界面截图

定价 · 套餐对比

Open Source$0Apache-2.0 开源,引擎、Mac 应用和 StarLight 均免费

相关工具